CN113436173A - 基于边缘感知的腹部多器官分割建模、分割方法及系统 - Google Patents

基于边缘感知的腹部多器官分割建模、分割方法及系统 Download PDF

Info

Publication number
CN113436173A
CN113436173A CN202110733639.0A CN202110733639A CN113436173A CN 113436173 A CN113436173 A CN 113436173A CN 202110733639 A CN202110733639 A CN 202110733639A CN 113436173 A CN113436173 A CN 113436173A
Authority
CN
China
Prior art keywords
abdomen
segmentation
edge
image
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110733639.0A
Other languages
English (en)
Other versions
CN113436173B (zh
Inventor
谢飞
郜刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Great Wisdom Medical Care Technology Co ltd
Original Assignee
Shaanxi Great Wisdom Medical Care Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Great Wisdom Medical Care Technology Co ltd filed Critical Shaanxi Great Wisdom Medical Care Technology Co ltd
Priority to CN202110733639.0A priority Critical patent/CN113436173B/zh
Publication of CN113436173A publication Critical patent/CN113436173A/zh
Application granted granted Critical
Publication of CN113436173B publication Critical patent/CN113436173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像分割技术领域，公开了一种基于边缘感知的腹部多器官分割建模、分割方法及系统。方法包括如下步骤：步骤1：获取原始腹部CT图像集，标注出每张原始腹部CT图像中的肝脏、胃、胰腺和肠道器官，对标注完成后的原始腹部CT图像集进行预处理，获得腹部CT图像集；步骤2：建立腹部多器官分割网络，所述的腹部多器官分割网络包括体素分割模块、边缘感知模块和融合模块；步骤3：将腹部CT图像集作为训练集，将标注出的肝脏、胃、胰腺和肠道器官的原始腹部CT图像作为标签，对腹部多器官分割网络进行训练，将训练好的分割网络作为腹部多器官分割模型。

Description

基于边缘感知的腹部多器官分割建模、分割方法及系统
技术领域
本发明属于医学图像分割技术领域，具体涉及一种基于边缘感知的腹部多器官分割建模、分割方法及系统。
背景技术
CT扫描是腹部疾病的常规检查，也是疾病诊断的重要参考手段。在腹部CT图像中，准确地对器官区域进行自动分割，可以节省大量的时间和人力成本，可以提高后续器官内病灶区域分割和检测结果的准确性，可以帮助医生制定更精准的手术方案，还可以将分割出来的器官进行三维重建及可视化，从而辅助医生完成更精准的诊疗。在面对复杂的腹部疾病时，需要对腹部CT图像中的多种器官同时完成分割才能满足临床应用。因此，腹部CT图像的多器官分割在病理分析、手术方案制定以及临床诊断上都存在巨大的意义。
人的腹部包含了人体许多重要器官，如胃、脾脏、肾脏、肝脏、胰腺、胆囊和肠道等。随着计算机性能的提高和深度学习领域的快速发展，卷积神经网络(CNN)已广泛应用于医学图像分割和检测。其中，U-Net网络结构的提出极大的促进了图像分割在医学图像上的广泛应用，并在各类分割任务上取得了优秀的性能，例如在2D图像上进行细胞检测，在X射线和CT图像上进行器官和肿瘤分割等。然而，腹部多器官分割存在着很多技术难题，例如腹部CT图像对比度差，存在较大的噪声，图像背景复杂且各器官组织边界模糊等，这些问题都为腹部器官分割带来了一定的挑战。目前的分割算法针对体积较大且位置相对固定的器官(胃、肝肾脾)已经取得了不错的效果，但对肠道和胰腺等形变较大、体积较小、组织边缘模糊的器官分割效果相对较差。尤其是胰腺器官的周围脏器较多，在CT图像中边缘不清晰、难以与其他脏器区分。
究其原因，CT图像在分割过程中，前景对象与不相关的背景对象具有较高的相似性，这种相似特征会被神经网络混淆，从而导致分割边缘不准确等错误预测。除此之外，大多数现有的方法侧重于目标区域的特征提取，忽略了边缘特征的提取，而这些边缘信息对于精确分割形变较大、体积较小、组织边缘模糊的器官是至关重要的。如何在腹部影像多器官分割过程中，有效提取上述器官的边缘特征，是制约腹部多器官分割技术发展的主要问题之一。
发明内容
本发明的目的在于提供一种基于边缘感知的腹部多器官分割建模、分割方法及系统，用以解决现有技术中的在进行腹部多器官分割时，组织边缘模糊导致的器官分割边缘不准确问题。
为了实现上述任务，本发明采用以下技术方案：
一种基于边缘感知的腹部多器官分割建模方法，包括如下步骤：
步骤1：获取原始腹部CT图像集，标注出每张原始腹部CT图像中的肝脏、胃、胰腺和肠道器官，对标注完成后的原始腹部CT图像集进行预处理，获得腹部CT图像集；
步骤2：建立腹部多器官分割网络，所述的腹部多器官分割网络包括体素分割模块、边缘感知模块和融合模块；所述的体素分割模块用于提取各个器官的语义分割特征图，所述的边缘感知模块用于提取各个器官的边缘特征图，所述的融合模块用于将各个器官的语义分割特征图和边缘特征图进行融合；
所述的体素分割模块采用nnUNet网络作为主干网络，包括编码器和解码器，所述的编码器包括多层的卷积和下采样，所述的解码器包括多层反卷积和上采样，所述的编码器和解码器层数相同；所述的边缘感知模块设置在体素分割模块的每层卷积之后，所述的边缘感知模块包括依次相连的卷积层、边缘注意门控卷积层和残差块；
步骤3：将腹部CT图像集作为训练集，将标注出的肝脏、胃、胰腺和肠道器官的原始腹部CT图像作为标签，对腹部多器官分割网络进行训练，将训练好的分割网络作为腹部多器官分割模型。
进一步的，所述的边缘注意门控卷积层包括4个AGL分别为AGL1、AGL2、AGL3和AGL4，每个AGL有两路输入；
其中，AGL1的一路输入为体素分割模块第一层的卷积输出的特征图经1×1×1大小的卷积和残差块结构操作之后得到的特征图，另一路输入为体素分割模块第二层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL1的输出为第一个边缘特征图；
AGL2、AGL3和AGL4的输入均为上一层AGL输出的边缘特征图经残差块结构处理之后得到的边缘特征图，以及体素分割网络对应层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL2、AGL3和AGL4的输出分别为第二至四个边缘特征图。
一种基于边缘感知的腹部多器官分割方法，包括如下步骤：
步骤一：获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像；
步骤二：将待分割的腹部CT图像输入任一种基于边缘感知的腹部多器官分割建模方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
一种基于边缘感知的腹部多器官分割系统，该系统包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，所述功能模块包括腹部多器官分割模型和分割模块；
所述的腹部多器官分割模型采用任一种基于边缘感知的腹部多器官分割建模方法获得；
所述的分割模块用于获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像，将待分割的腹部CT图像输入如上述实施例方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如基于边缘感知的腹部多器官分割方法。
本发明与现有技术相比具有以下技术特点：
(1)本发明基于腹部肝脏、胃、胰腺和肠道四个器官的特点，提出了一种基于边缘感知的多器官分割网络架构，在主干网络(nnUNet)中嵌入边缘感知模块来引导分割网络，有效缓解了形变较大、体积较小、组织边缘模糊的器官分割边缘不准确的问题，从而实现了更精准的CT影像的腹部多器官分割结果。
(2)本发明设计了一种基于边缘感知的分割方法，该方法在体素分割网络(nnUNet)中嵌入一种边界感知模块来引导分割网络，边缘感知模块通过边缘注意门控卷积层(AGL)和边缘标签来帮助该模块仅处理图像边界相关信息，而不关注图像的其他信息，最后在融合模块将体素分割网络模块提取的语义特征和边缘感知模块提取的边缘特征进行融合，有效缓解了胰腺和肠道器官分割边缘不准确的问题。
附图说明
图1为本发明的腹部多器官分割模型网络架构图；
图2为实施例中腹部多器官分割模型的网络结构图；
图3为边缘注意门控卷积层结构图；
图4为融合模块具体结构图；
图5为腹部多器官分割测试结果对比图。
具体实施方式
首先对本发明中出现的技术词语进行解释：
nnUNet：基于经典UNet分割网络架构，nnUNet浓缩了图像分割领域的大部分知识，无需人工进行调参，具备自动为不同任务设计不同训练方案的自适应框架。nnUNet在19个国际竞赛中取得最优结果，而且在进行的49个任务的大多数任务中，都达到了SOTA(state-of-the-art，代表目前最优)级别。
边缘注意门控卷积层(AGL)：门控机制可以控制网络模型中信息流通的路径，在循环神经网络中已经被证明是非常有效的手段。本发明将门控单元和卷积操作相结合，再加入边缘注意力机制，构成边缘注意门控卷积层。AGL是边缘感知模块的核心，它帮助边缘感知模块仅处理图像边界相关信息，而不关注图像的其他信息。此外，该门控卷积层将体素分割模块的图像特征连接到边缘感知模块，帮助整个分割网络的特征提取。
注意力机制：注意力机制是受人类处理信息时的特点的启发而产生的。人类通常会选择性地关注完整信息中的某一部分,同时忽略其他信息。例如,在看一幅画时,通常会把视觉关注焦点放到语义信息更丰富的前景物体上,而减少对背景信息的关注,这种机制大大提高了人类对信息的处理效率。注意力机制的核心在于对给定信息进行权重分配,权重高的信息意味着需要系统进行重点加工。
体素：体素是体积元素的简称，是数字数据在三维空间分割上的最小单位。可以用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构，概念上类似二维空间的最小单位像素。体素用于三维成像、科学数据与医学影像等领域。
在本实施例中公开了一种基于边缘感知的腹部多器官分割建模方法，包括如下步骤：
步骤1：获取原始腹部CT图像集，标注出每张原始腹部CT图像中的肝脏、胃、胰腺和肠道器官，对标注完成后的原始腹部CT图像集进行预处理，获得腹部CT图像集；
步骤2：建立腹部多器官分割网络，所述的腹部多器官分割网络包括体素分割模块、边缘感知模块和融合模块；所述的体素分割模块用于提取各个器官的语义分割特征图，所述的边缘感知模块用于提取各个器官的边缘特征图，所述的融合模块用于将各个器官的语义分割特征图和边缘特征图进行融合；
所述的体素分割模块采用nnUNet网络作为主干网络，包括编码器和解码器，所述的编码器包括多层的卷积和下采样，所述的解码器包括多层反卷积和上采样，所述的编码器和解码器层数相同；
所述的边缘感知模块设置在体素分割模块的每层卷积之后，所述的边缘感知模块包括依次相连的卷积层、边缘注意门控卷积层和残差块；
如图2所示，所述的边缘注意门控卷积层包括4个AGL分别为AGL1、AGL2、AGL3和AGL4，且每个AGL有两路输入，为了融合多尺度的特征，如图2所示：AGL1的一路输入为体素分割模块第一层的卷积块结构输出的特征图经1×1×1大小的卷积和残差块结构操作之后得到的特征图，另一路输入为体素分割模块第二层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL1的输出为第一个边缘特征图。AGL2、AGL3和AGL4的输入均为上一层AGL输出的边缘特征图经残差块结构处理之后得到的边缘特征图，以及体素分割网络对应层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL2、AGL3和AGL4分别输出第二至四个边缘特征图。
步骤3：将腹部CT图像集作为训练集，将标注出的肝脏、胃、胰腺和肠道器官的原始腹部CT图像作为标签，对腹部多器官分割网络进行训练，将训练好的分割网络作为腹部多器官分割模型。
具体的，如图2所示，所述的体素分割模块采用nnUNet网络作为主干网络，包括左半边的编码器和右半边的解码器两部分。编码器和解码器都由五层、五个卷积块结构组成，底部的卷积块结构为公用，卷积块结构内部包括两次卷积操作，整体呈现出对称结构。编码器的第一层卷积块结构以腹部CT图像作为输入，输出为卷积得到的特征图，其余层的卷积块结构都以上一层的输出特征图经最大池化下采样操作后得到的特征图作为输入，以此类推。解码器的每一层卷积块结构均以上一层的卷积块结构输出的特征图经反卷积操作后得到的特征图作为输入。编码器和解码器对应层之间通过跳跃连接的方式(对应图中的横向连接)将不同级别的特征进行融合，最终输出用于提取各个器官的语义分割特征图。
边缘注意门控卷积层(AGL)是边缘感知模块的核心，它帮助边缘感知模块仅处理图像边界相关信息，而不关注图像的其他信息，如图3所示。为了帮助边缘感知模块更加关注目标区域的边缘相关信息，忽略其他不相关的信息，在该边缘注意门控卷积层中创新性地引入了注意力机制，同时为了防止梯度消失，还引入了残差学习的思想。此外，该门控卷积层将体素分割模块的图像特征连接到边缘感知模块，帮助整个网络进行特征的提取。由于主干分割网络的下采样过程是特征提取的过程，同时低级的特征能够保留足够的边缘信息，因此将提取边缘特征的网络融合到分割网络下采样的各个阶段。
具体的，在边缘注意门控卷积结构中，首先将体素分割模块的rt(其中r表示体素分割模块输出的特征图)和边缘感知模块的bt进行串联合并，再进行1×1×1的卷积操作，之后进行Sigmoid激活处理，生成D×H×W的注意力图αt，接着将bt作为乘积元素与注意力图αt进行点乘，最后再进行残差连接并使用卷积核wt进行通道加权，从而引入注意力机制。在每个体素(z,x,y)上，得到AGL的计算如式，如下式所示：
αt＝σ(C1×1×1(rt||bt))
Figure BDA0003140674660000081
其中，σ表示Sigmoid，||表示串联，
Figure BDA0003140674660000082
表示对应位元素相乘，
Figure BDA0003140674660000083
表示对应元素相加，用t表示AGL模块的位置下标索引。
具体的，所述的融合模块如图4所示，该模块将体素分割模块的区域特征r与边缘感知模块输出的边缘特征图b融合在一起，最终输出精细的语义分割结果。融合模块的具体流程如下所述，首先使用Canny边缘检测因子来获取输入三维医学图像的梯度信息，之后将该梯度信息与边界图b进行串联合并，再进行1×1×1的卷积操作，接着进行Sigmoid激活处理，并将得到的特征图与体素分割模块输出的特征图r进行串联合并，再进行1×1×1的卷积操作，最终经过softmax层输出分割预测概率图。
具体的，步骤3中训练时所采用的损失函数为：Ltotal＝αLseg+(1-α)Ledge；
其中，Lseg表示体素分割中的损失，Ledge表示边缘感知模块的损失，α为损失权重参数。(补充α的取值范围)。本实施例在预测的边缘特征图b上使用标准的二元交叉熵损失(BCE)函数，在预测的语义分割特征图r上使用原始nnUNet框架中使用的Dice损失函数和标准交叉熵损失(CE)函数之和。
在本实施例中还公开了一种基于边缘感知的腹部多器官分割方法，包括如下步骤：
步骤一：获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像；
步骤二：将待分割的腹部CT图像输入如上述实施例方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
在本实施例中还公开了一种基于边缘感知的腹部多器官分割系统，该系统包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，所述功能模块包括腹部多器官分割模型和分割模块；
所述的腹部多器官分割模型采用如上述实施例方法建立方法获得；
所述的分割模块用于获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像，将待分割的腹部CT图像输入如上述实施例方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
本实施例还公开了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如基于边缘感知的腹部多器官分割方法。
实施例1
本实施例公开了一种基于边缘感知的腹部多器官分割建模方法，在上述实施例的基础上，还公开了如下的技术特征：
在本实施例中，原始腹部CT图像集采用80例腹部平扫与增强CT图像数据，其中包括有肠道疾病的患者的腹部CT图像60例和正常患者的腹部CT图像20例。CT扫描的分辨率为512x512像素，切片厚度为5mm，并以DICOM文件格式进行存储。所有数据均由专业影像科医生指导，使用3DSlicer医学图像处理工具对CT图像的肠道、胃、肝脏和胰腺四个器官进行标注，最终通过专业影像科医生对标注进行检查确认，从而得到训练和测试所需要的数据和标签。实验中按一定比例随机划分数据，其中56例数据作为训练数据，剩余的24例数据作为测试数据。
本实施例在Pytorch的基础上，将边缘感知模块和融合模块加入到nnUnet网络结构中，构建出本发明提出的基于边缘感知的腹部多器官分割网络结构，并对该网络模型进行训练测试，学习速率设置为0.01，学习动量设置为0.99，优化器为SGD，采用五折交叉验证训练1000个epoch。实验环境为英特尔(R)Xeon(R)CPU E5-2650 v4@2.20GHz，NVIDIAGeForce GTX 1080Ti11GB，64Gb运行内存和Ubuntu 16.04LTS操作系统。采用经典图像分割评价指标Dice系数来对实验结果进行评估。
为了验证本方法的有效性，我们进行了充分的对比实验。与目前较为先进的医学图像语义分割算法DenseVNet、3D-UNet以及原始nnUNet网络在分割结果上进行对比，以验证提出方法的有效性和优越性。分割实验对比结果如表1所示，从表中可以看出，本发明提出的基于边缘感知的腹部多器官分割算法在24例测试集上得到了最好的单项和平均Dice系数。尤其是难以分割的肠道和胰腺器官，比目前实现医学影像器官分割效果先进的nnUNet网络提升了1.6％，比目前使用广泛且效果较好的图像分割网络DeepLabv3+的分割结果提升了1％-1.5％，比传统的医学图像分割网络3D-UNet的分割结果提升了6％-7％，实验结果证明了本发明设计的基于边缘感知的腹部多器官分割网络可以有效提升腹部主要器官的分割效果。
表1腹部多器官分割结果实验对比表
Figure BDA0003140674660000101
Figure BDA0003140674660000111
图5为不同方法与本发明提出的方法在腹部CT图像测试集上的分割结果可视化对比图。(a)图为真实标签，图中粗白线标注区域为经医生确认的器官部位，分别为肝脏区域、胃部区域、肠道区域和胰腺区域；(b)为测试数据在3D-UNet网络模型上测试的结果，(c)为测试数据在DenseVNet网络模型上测试的结果，(d)为测试数据在原始nnUNet网络模型上测试的结果，(e)为测试数据在本发明提出的多器官分割方法上测试的结果。从图中可以看出，图(a)的前一例图像在其他对比方法上分割出来的胰腺器官均小于真实器官区域，图(a)的后一例图像(均为肠道区域)在其他对比方法上分割出的肠道区域有漏分割和过分割的现象，而这两个测试图像在本发明提出的网络模型上都有较好的表现，展示了本发明的有效性和优越性。
对比例1
在本对比例中公开了一种基于边缘感知的腹部多器官分割建模方法，在网络模型设计时阶段，考虑了在模型中嵌入不同数量或不同位置的边缘注意门控卷积层(AGL)是否会对模型提取边缘特征的效果产生影响。因此本对比例与上述实施例1不同的是，边缘感知模块使用3个AGL或5个AGL，其中体素分割模块下采样阶段每层连接一个AGL，与实施例1采用4个AGL的方案进行对比，对比实验结果如下表所示：
通过下表的实验结果发现：增加AGL的数量，模型的整体特征提取能力得到了提升，因为增加AGL数量可以融合不同层次的边缘特征，从而使得边缘感知模块更有贡献。但是当数量超过4时反而下降了，原因是体素分割模块和AGL中均包含卷积操作，随着卷积操作的增多，会逐步丢失边缘信息，逐渐实现由低层次特征到高层次特征的转化。虽然本发明的目标是通过多个AGL融合不同层次的边缘特征，但同时也要防止卷积操作增多带来的边缘信息损失和推理时间的增加。实验结果证明，将体素分割网络第一和第二层(浅层蕴含丰富的边缘信息)的特征图一起交给AGL1会比分别交给两个AGL性能要好。
表2边缘感知模块不同配置分割结果实验对比表
Figure BDA0003140674660000121

Claims (5)

1.一种基于边缘感知的腹部多器官分割建模方法，其特征在于，包括如下步骤：
步骤1：获取原始腹部CT图像集，标注出每张原始腹部CT图像中的肝脏、胃、胰腺和肠道器官，对标注完成后的原始腹部CT图像集进行预处理，获得腹部CT图像集；
步骤2：建立腹部多器官分割网络，所述的腹部多器官分割网络包括体素分割模块、边缘感知模块和融合模块；所述的体素分割模块用于提取各个器官的语义分割特征图，所述的边缘感知模块用于提取各个器官的边缘特征图，所述的融合模块用于将各个器官的语义分割特征图和边缘特征图进行融合；
所述的体素分割模块采用nnUNet网络作为主干网络，包括编码器和解码器，所述的编码器包括多层的卷积和下采样，所述的解码器包括多层反卷积和上采样，所述的编码器和解码器层数相同；所述的边缘感知模块设置在体素分割模块的每层卷积之后，所述的边缘感知模块包括依次相连的卷积层、边缘注意门控卷积层和残差块；
步骤3：将腹部CT图像集作为训练集，将标注出的肝脏、胃、胰腺和肠道器官的原始腹部CT图像作为标签，对腹部多器官分割网络进行训练，将训练好的分割网络作为腹部多器官分割模型。
2.如权利要求1所述的基于边缘感知的腹部多器官分割建模方法，其特征在于，所述的边缘注意门控卷积层包括4个AGL分别为AGL1、AGL2、AGL3和AGL4，每个AGL有两路输入；
其中，AGL1的一路输入为体素分割模块第一层的卷积输出的特征图经1×1×1大小的卷积和残差块结构操作之后得到的特征图，另一路输入为体素分割模块第二层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL1的输出为第一个边缘特征图；
AGL2、AGL3和AGL4的输入均为上一层AGL输出的边缘特征图经残差块结构处理之后得到的边缘特征图，以及体素分割网络对应层的卷积块结构输出的特征图经1×1×1大小的卷积操作之后得到的特征图，AGL2、AGL3和AGL4的输出分别为第二至四个边缘特征图。
3.一种基于边缘感知的腹部多器官分割方法，其特征在于，包括如下步骤：
步骤一：获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像；
步骤二：将待分割的腹部CT图像输入如权利要求1～2中任一种基于边缘感知的腹部多器官分割建模方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
4.一种基于边缘感知的腹部多器官分割系统，该系统包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，其特征在于，所述功能模块包括腹部多器官分割模型和分割模块；
所述的腹部多器官分割模型采用如权利要求1～2中任一种基于边缘感知的腹部多器官分割建模方法获得；
所述的分割模块用于获取待分割的原始腹部CT图像并进行预处理，得到待分割的腹部CT图像，将待分割的腹部CT图像输入如上述实施例方法建立的腹部多器官分割模型中，获得待分割的腹部CT图像的多器官分割结果。
5.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求4的基于边缘感知的腹部多器官分割方法。
CN202110733639.0A 2021-06-30 2021-06-30 基于边缘感知的腹部多器官分割建模、分割方法及系统 Active CN113436173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110733639.0A CN113436173B (zh) 2021-06-30 2021-06-30 基于边缘感知的腹部多器官分割建模、分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110733639.0A CN113436173B (zh) 2021-06-30 2021-06-30 基于边缘感知的腹部多器官分割建模、分割方法及系统

Publications (2)

Publication Number Publication Date
CN113436173A true CN113436173A (zh) 2021-09-24
CN113436173B CN113436173B (zh) 2023-06-27

Family

ID=77758012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110733639.0A Active CN113436173B (zh) 2021-06-30 2021-06-30 基于边缘感知的腹部多器官分割建模、分割方法及系统

Country Status (1)

Country Link
CN (1) CN113436173B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283153A (zh) * 2021-11-15 2022-04-05 天津大学 基于神经网络的肺部病理切片癌细胞分割算法
CN114881909A (zh) * 2022-07-12 2022-08-09 安徽云森物联网科技有限公司 基于注意力机制与边缘约束的人脸素描合成照片方法
CN115063393A (zh) * 2022-06-29 2022-09-16 江南大学 一种基于边缘补偿注意力的肝脏及肝脏肿瘤自动分割方法
CN116129126A (zh) * 2023-04-04 2023-05-16 整数智能信息技术(杭州)有限责任公司 分割预测模型的构建方法、图片语义分割标注方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN112241966A (zh) * 2020-09-21 2021-01-19 西北大学 多任务多分类的胸部器官分割模型建立、分割方法及系统
US10929981B1 (en) * 2019-08-21 2021-02-23 Ping An Technology (Shenzhen) Co., Ltd. Gross tumor volume segmentation method and computer device
CN112419348A (zh) * 2020-11-18 2021-02-26 西安电子科技大学 基于多任务学习边缘校正网络的男性盆腔ct分割方法
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113052849A (zh) * 2021-04-16 2021-06-29 中国科学院苏州生物医学工程技术研究所 腹部组织图像自动分割方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
US10929981B1 (en) * 2019-08-21 2021-02-23 Ping An Technology (Shenzhen) Co., Ltd. Gross tumor volume segmentation method and computer device
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN112241966A (zh) * 2020-09-21 2021-01-19 西北大学 多任务多分类的胸部器官分割模型建立、分割方法及系统
CN112419348A (zh) * 2020-11-18 2021-02-26 西安电子科技大学 基于多任务学习边缘校正网络的男性盆腔ct分割方法
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113052849A (zh) * 2021-04-16 2021-06-29 中国科学院苏州生物医学工程技术研究所 腹部组织图像自动分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGCAI CHENG等: "《FusionNet: Edge Aware Deep Convolutional Networks for Semantic Segmentation of Remote Sensing Harbor Images》", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283153A (zh) * 2021-11-15 2022-04-05 天津大学 基于神经网络的肺部病理切片癌细胞分割算法
CN115063393A (zh) * 2022-06-29 2022-09-16 江南大学 一种基于边缘补偿注意力的肝脏及肝脏肿瘤自动分割方法
CN114881909A (zh) * 2022-07-12 2022-08-09 安徽云森物联网科技有限公司 基于注意力机制与边缘约束的人脸素描合成照片方法
CN116129126A (zh) * 2023-04-04 2023-05-16 整数智能信息技术(杭州)有限责任公司 分割预测模型的构建方法、图片语义分割标注方法及装置

Also Published As

Publication number Publication date
CN113436173B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN116309650B (zh) 基于双分支嵌入注意力机制的医学图像分割方法与系统
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Xie et al. SERU: A cascaded SE‐ResNeXT U‐Net for kidney and tumor segmentation
Khan et al. PMED-net: Pyramid based multi-scale encoder-decoder network for medical image segmentation
CN113298830A (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN112465754A (zh) 基于分层感知融合的3d医疗图像分割方法、装置及存储介质
Yaniv et al. V-net light-parameter-efficient 3-d convolutional neural network for prostate mri segmentation
CN115619797A (zh) 一种基于注意力机制的并行U-Net网络的肺部图像分割方法
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
US20220287647A1 (en) Disease classification by deep learning models
CN117095016A (zh) 一种基于多视角一致性的半监督3d肝脏ct图像分割方法
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
CN115272357A (zh) 基于多时相融合与双注意力机制的肝肿瘤分割方法
CN114612662A (zh) 一种基于边界引导的息肉图像分割方法
Hu et al. Synthetic Data as Validation
CN113205454A (zh) 基于多尺度特征提取的分割模型建立、分割方法及装置
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant