CN112785592A - 基于多重扩张路径的医学影像深度分割网络 - Google Patents

基于多重扩张路径的医学影像深度分割网络 Download PDF

Info

Publication number
CN112785592A
CN112785592A CN202110259383.4A CN202110259383A CN112785592A CN 112785592 A CN112785592 A CN 112785592A CN 202110259383 A CN202110259383 A CN 202110259383A CN 112785592 A CN112785592 A CN 112785592A
Authority
CN
China
Prior art keywords
path
decoding
segmentation
network
paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110259383.4A
Other languages
English (en)
Inventor
许铮铧
王波
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110259383.4A priority Critical patent/CN112785592A/zh
Publication of CN112785592A publication Critical patent/CN112785592A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明为基于多重扩张路径的医学影像深度分割网络，该神经网络包括以多个串联的残差网络编码模块构成的收缩编码路径、以多个串联的残差网络解码模块构成的扩张解码路径，共有N个扩张解码路径，后N‑1个扩张解码路径构成多重扩张路径；通过跳跃连接将收缩编码路径上的语义特征图与在相邻的扩张解码路径上相同分辨率的对应级别特征图在通道维度上进行拼接；多重扩张路径中每个路径的残差网络解码模块中Sigmdid激活函数处理后的语义特征图与下一个扩张解码路径上对应级别的残差网络解码模块中的特征图在通道维度上进行拼接。该方法以引入多重扩张路径对收缩编码路径实现多重监督，降低网络对噪声扰动的敏感性，提高分割网络的分割鲁棒性。

Description

基于多重扩张路径的医学影像深度分割网络
技术领域
本发明涉及基于多重扩张路径的医学影像深度分割网络及针对医学影像的语义分割方法。
背景技术
医学影像分割在基于计算机辅助诊断系统的临床诊疗过程中有着非常重要的作用，例如：在对肿瘤的影像学初筛、部分肿瘤的确诊、放射治疗方案制定以及手术治疗方案的制定等过程中，均需要实现对相关肿瘤病灶的精确识别分割。当前，在医学临床影像复杂、读片分析过程极具专业经验性以及对医学影像分割结果的临床要求高等临床实际与分析技术背景下，完全端到端的医学影像自动化读片分析技术还不成熟，主要还是依赖于具有丰富专业技术经验的放射科医师去完成对采集到的医学影像的分割任务。然而，以人工的方式分割医学影像，每完成对一张医学影像的分割分析，均需要耗费大量的时间精力，故而对大量的医学影像进行分割是一项具有庞大工作量的事情。此外，受到所用成像仪器、成像环境、医师工作疲劳度等客观因素与医师自身专业的主观经验的影响，对同一病例影像的分析结果往往可能会出现一定偏差。因此，实现端到端的对临床医学影像的高效准确的自动化分割具有着重要的理论价值与社会经济效益。
在深度学习方法全面发展前，主要是通过传统的图像处理方法或者相应的机器学习算法实现对医学影像的分割。例如边缘检测滤波器等数学方法，然后手工提取特征等技术方法。然而，这些方法无法满足临床诊疗过程对医学影像分割精度以及算法可移植性的要求。近年来，卷积神经网络以对图像的欧氏空间特征优秀的特征提取能力，获得了很好的图像分割性能表现。基于深度神经网络的医学影像分割是指通过利用深度卷积神经网络等深度学习方法，学习医学影像中的目标特征，并有选择地将感兴趣的目标器官组织或者炎症、囊肿与肿瘤等病灶靶区以轮廓或区域掩码形式自动标注。
当前针对医学影像的深度神经网络分割方法主要可以分为两类，一类是基于全卷积神经网络，通过将VGG、GoogLeNet、ResNet等用于解决图像分类问题的卷积神经网络改造成可以实现图像分割的密集预测神经网络。基于全卷积神经网络的图像分割思路，如SegNet、Deeplab、RefineNet、DANet等系列图像分割卷积神经网络。然而由于医学影像分割任务与自然图像分割任务存在的差异性问题，Ronneberger等人在InternationalConference on Medical Image Computing and Computer-Assisted Intervention(MICCAI2015)上发表的论文U-Net:Convolutional Networks for Biomedical ImageSegmentation提出了U-Net网络应用于医学影像的语义分割。该网络左侧部分(即收缩编码路径)由卷积和池化构成一系列编码采样操作，收缩编码路径由4个模块层组成，每个模块层使用了3层卷积和1层池化降采样；网络右侧部分(即扩张解码路径)同样由4个模块层组成，每个模块层开始之前通过反卷积将特征图尺寸扩大两倍，然后和左侧对称的收缩编码路径的特征图合并。最近几年，有研究人员通过向U-Net网络中引入多尺度模块、注意力机制等特征提取优化方法，并以更宽更深的庞大网络引导分割模型获得更加精细的分割结果。但这些方法往往需要付出极大的计算成本，计算量大，同时在面对医学影像数据量较少的情况下容易发生模型过拟合的情况。因此，亟需提出一种可以解决上述问题的医学影像分割方法。
因此，针对医学影像分割任务需要一种结构简洁、分割性能精确并且鲁棒性好的端到端医学影像分割网络。
发明内容
针对医学影像分割任务存在的难点与现有技术的不足，本发明旨在提供一种基于多重扩张路径的医学影像深度分割网络及应用该网络的分割方法，用于针对临床医学影像的语义分割。该方法以引入多重扩张路径对收缩编码路径实现多重监督，利用多阶段分割，在粗分割基础上进一步实现精确分割，提高浅层网络结构的学习能力，降低网络对噪声扰动的敏感性，从多重解码约束的角度提高分割网络的分割鲁棒性。
为实现上述医学影像分割目的，本发明提出的技术方案是：
基于多重扩张路径的医学影像深度分割网络，该神经网络包括以多个串联的残差网络编码模块构成的收缩编码路径、以多个串联的残差网络解码模块构成的扩张解码路径，N-1个扩张解码路径构成多重扩张路径；N为大于1的整数；
通过跳跃连接将收缩编码路径上的语义特征图与在相邻的扩张解码路径上相同分辨率的对应级别特征图在通道维度上进行拼接，即收缩编码路径中的每个残差网络编码模块中Sigmdid激活函数处理后的语义特征图与相邻的扩张解码路径上对应级别的残差网络解码模块中的特征图在通道维度上进行拼接；
多重扩张路径中的每个残差网络编码模块中的残差结构也通过跳跃连接方式提高了信息流传播的效率；即多重扩张路径中每个路径的残差网络解码模块中Sigmdid激活函数处理后的语义特征图与下一个扩张解码路径上对应级别的残差网络解码模块中的特征图在通道维度上进行拼接；
至此获得基于多重扩张路径的医学影像深度分割网络。
本申请中共有N(N>＝2)个扩张解码路径，第一个扩张解码路径记为前景信息恢复与扩张解码路径，其余的扩张解码路径统一称为多重扩张路径。不同路径之间残差网络编码模块/残差网络解码模块之间定义为不同网络层，同一路径中的残差网络编码模块/残差网络解码模块定义为不同语义级。
所述残差网络编码模块包含两个3×3卷积、1×1卷积、Sigmoid激活函数以及全局池化操作；以两个连续3×3卷积核提取感兴趣区域特征信息，同时利用1×1卷积核和Sigmoid激活函数操作调整特征图通道数，Sigmoid激活函数的输出记为语义特征，用于和相邻对应级别的残差网络解码模块进行跳跃连接；全局池化处理后的信息即为该残差网络模块的输出，连接下一级残差网络编码模块的输入。
所述残差网络解码模块包含3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积以及拼接操作；通过跳跃连接将残差解码模块的输入特征图与上一层路径中Sigmoid激活函数的输出进行通道维度上的拼接操作，获得2倍于原本通道数的特征图；利用一层1×1卷积核操作将得到的2倍原本通道数特征图调整通道数到原本的1倍通道数，其目的是通过拼接过程来融合浅层分割细节信息和深层语义类别信息，实现分割特征互补；然后利用具有两层3×3卷积核操作的残差模块进行解码分割信息，再进行1×1卷积组合Sigmoid激活函数操作，Sigmoid激活函数的输出记为语义特征，用于和下一层路径对应级别的残差网络解码模块进行跳跃连接；Sigmoid激活函数的输出再通过转置卷积进行信息上采样恢复，转置卷积操作处理后的输出连接同层路径的上一级残差网络解码模块的输入。N个扩张解码路径中的第1～N-1个扩张解码路径的整体输出用于训练时的损失函数计算，从而实现对网络优化的多重约束，在网络训练完成后就不再作输出，也即在做实际测试使用时这中间的多条路径不输出，而只是最后一条即第N条扩张解码路径的输出作为分割预测输出。
一种针对临床医学影像的语义分割方法，该方法应用上述的基于多重扩张路径的医学影像深度分割网络，包括以下内容：
病例数据加载与预处理：获得医学影像数据及目标分割掩码的标准注释；
首先收集获取目标诊断病症的病例数据库，对该数据库中每个病人的影像文件夹以编号ID命名，而每个病人的影像文件夹存放有通过影像仪器采集到的影像图片和对应的诊断结果；分别对每个病例中的所有影像数据逐一进行灰度值归一化，之后再按照通道顺序构成完整的多通道影像数据，作为医学影像的输入Ij；分别将每个病例中诊断结果的标注数据的影像背景像素置零，将目标器官组织的像素置[255，0，0]，将目标病灶像素置[0，0，255]，然后再按通道顺序合并生成标准诊断分割数据，以此生成目标分割掩码的标准分割掩码标注图Tj；
特征提取与收缩编码路径：该特征提取与收缩编码路径利用基于多重扩张路径的医学影像深度分割网络中的收缩编码路径实现，对输入的原始医学影像进行特征提取，并编码与分割任务相关的特征信息；通过多级别连续采样提取不同语义深度(也即具有不同抽象程度)的特征信息，从而抓取输入医学影像中为完成分割任务需要的语义特征；
前景信息恢复与扩张解码路径：该前景信息恢复与扩张解码路径实现对特征提取与收缩编码路径中相应级别的残差网络编码模块所输出的特征图及Sigmoid激活函数的输出经过拼接、3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积等操作进行信息上采样过程，恢复前景位置信息，并解码生成具有目标前景与背景的影像分割掩码结果；
跳跃连接路径：所述跳跃连接路径采用对特征图进行通道维度上拼接的形式，实现对收缩编码路径和/或扩张解码路径上相同分辨率特征图的特征融合，从而弥补语义特征抽取过程丢失的位置细节信息，提高语义分割精度；
多重扩张路径：所述多重扩张路径通过跳跃连接的方式，利用转置卷积上采样与卷积神经网络，在前景信息恢复与扩张解码路径获得目标粗分割的基础上，进一步实现对前景目标的精细分割；多重扩张路径可以提高浅层网络对较高分辨率特征图的学习能力，增强对噪声扰动信息的鲁棒性，进一步提高语义分割性能。
将原始医学影像数据输入到基于多重扩张路径的医学影像深度分割网络中，经过前景信息恢复与扩张解码路径的粗分割处理和多重扩张路径的细分割处理，输出自动标注有相关器官组织及其靶区病灶的位置和形状的分割图，完成医学影像分割任务。
与当前分割技术相比，本发明的有益效果是：
1)本发明提出了一种新的用于医学影像分割任务的深度神经网络。本发明在U-Net编码解码对称路径结构的基础上再通过跳跃连接方式连接多重扩张路径进行解码，以多重扩张路径约束收缩编码路径，提升收缩编码路径编码计算的鲁棒性，同时提高网络浅层结构的特征学习能力，降低模型对噪声扰动的敏感性；在对前景目标粗分割的基础上对感兴趣器官以及靶区病灶进行细分割，进一步实现医学影像的精细分割，以此提高深度神经网络的分割性能，实现密集分割。多重扩张路径中的扩张解码路径依次对上一层的扩张解码路径中对应级别的残差网络解码模块中的Sigmdid激活函数处理后的语义特征图进行通道维度上的拼接处理。
2)本发明基于实例数据实验优选扩张解码路径的数量N为2，基于多重扩张路径的医学影像深度分割网络由一条特征提取与收缩编码路径与另外两支扩张解码路径构成，各路径中均融合了残差卷积模块，在不改变信息输入的情况下获得更丰富的信息流传递，兼顾语义特征提取与分割细节保留，可以获得更加精确的分割性能。
3)本发明设计的网络结构通过收缩编码路径以及多条的扩张解码路径依次连接，使得网络可以端到端地分割医学影像的目标前景，并具有很好的可移植性。
4)本申请利用收缩编码路径提取医学影像中感兴趣器官以及目标病灶靶区的特征信息，用跳跃连接将抽取到的各语义层特征信息依次传递到构建的两阶段分割网络结构(第一阶段为第一个扩张解码路径，第二阶段为多重扩张路径)中，以第一支信息恢复扩张解码路径作为粗分割网络，将该分支中的各语义层特征图通过跳跃连接输入到第二条扩张解码路径的对应级别的残差网络解码模块中，从而实现目标前景的细分割。相比于其他基于医学影像分割任务的深度卷积神经网络，本发明提出的基于多重扩张路径的医学影像深度分割网络，结构简洁，且可以增强网络浅层结构的特征提取能力以及对非前景特征信的抗扰动能力；同时引入的多重扩张路径对收缩编码路径加以多重约束，提高网络对前景目标分割特征信息的编码鲁棒性。因此，本发明提出的基于多重扩张路径的医学影像深度分割网络具有很好的分割精度、鲁棒性以及框架可移植性。
5)本发明中残差网络解码模块中设置两个1×1卷积，能够显著减少计算量，并能提高解码过程对特征信息的非线性平滑学习能力。1×1卷积操作可以通过降低通道数来降低算力，并增加网络的非线性学习能力，本申请方法通过引入多重扩张路径对收缩编码路径实现多重监督，从多重解码约束的角度提高收缩编码路径的编码鲁棒性，从而降低过拟合，结构简洁、计算成本低。
附图说明
图1为基于多重扩张路径的医学影像深度分割网络的分割方法的实施流程图，
图2分别展示了图1网络结构中所包含的用于特征提取的残差网络编码模块以及用来恢复信息与实现分割的残差网络解码模块的具体结构示意图，图中灰色填充框表示残差网络编码模块，白色填充框表示残差网络解码模块。
具体实施方式
下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
本发明基于多重扩张路径的医学影像深度分割网络的分割方法，根据图1，包括以下步骤：
步骤一：收集获取目标诊断病症的病例数据库，对该数据库中每个病人的影像文件夹以编号ID命名，而每个病人的影像文件夹存放有通过影像仪器采集到的影像图片和对应的诊断结果；分别对每个病例中的所有影像数据逐一进行灰度值归一化，之后再按照通道顺序构成完整的多通道影像数据，作为医学影像的输入Ij；分别将每个病例中诊断结果的标注数据的影像背景像素置零，将目标器官组织的像素置[255，0，0]，将目标病灶像素置[0，0，255]，然后再按通道顺序合并生成标准诊断分割数据，以此生成目标分割掩码的标准分割掩码标注图Tj；
步骤二：以残差网络编码模块构建收缩编码路径：根据图2，所述残差网络编码模块包含3×3卷积、1×1卷积、Sigmoid激活函数以及全局池化操作。以两个连续3×3卷积核提取感兴趣区域特征信息，同时利用1×1卷积核和Sigmoid激活函数操作调整特征图通道数，并提高网络结构的非线性特征提取能力。最后以全局池化操作抽取关键语义特征，扩大了目标感受野，使分割特征的类别判断信息源更广，更加准确。以五个上述的残差网络编码模块依次串联构建具有5层语义深度的收缩编码路径，其目的是逐层抽取前景特征语义信息，以此获得具有不同分辨率的各语义深度特征图，作为后续判断区域像素语义类别的依据图。
步骤三：以残差网络解码模块构建扩张解码路径：根据图2，所述残差网络解码模块包含3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积以及拼接操作。将通过跳跃连接(跳跃连接收缩编码路径中同级别的残差网络编码模块的Sigmoid激活函数输出)引入的收缩编码路径上各语义特征图与在第一个扩张解码路径上相同分辨率的对应级别输入特征图在通道维度上进行拼接，获得2倍于原本通道数的特征图；利用一层1×1卷积核操作将得到的2倍通道数特征图调整通道数到原本的1倍通道数，其目的是通过拼接过程来融合浅层分割细节信息和深层语义类别信息，实现分割特征互补；在此融合特征信息基础上，利用具有两层3×3卷积核操作的残差模块进行解码分割信息，再利用1×1卷积组合Sigmoid激活函数，目的是提高解码过程对特征信息的非线性平滑学习能力；并通过转置卷积对输入的特征图进行信息上采样恢复其目的是对融合后的特征信息上采样恢复生成第一阶段的粗分割标注图。五个上述的残差网络解码模块依次串联构成扩张解码路径。
步骤四：以残差网络解码模块构建多重扩张路径：根据图1，与步骤三类似，利用包含有3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积以及拼接操作的残差网络解码模块构建多重扩张路径。五个上述的残差网络解码模块依次串联构成一条扩张解码路径，多条扩张解码路径构成多重扩张路径。通过跳跃连接将上一支扩张解码路径上的各语义深度的特征图输入到下一支扩张解码路径的具有相同分辨率的对应级别的残差网络解码模块中，以实现在第一阶段粗分割基础上进一步的细分割。目的是构建多重扩张路径结构同时约束用于特征提取的收缩编码路径，以多重约束提高特征提取过程的鲁棒性；同时增强浅层网络结构的特征学习能力，其目的是降低非前景特征信息的噪声通过浅层网络在跳跃连接融合信息时对分割预测图的扰动，以获得更加精确的分割标注。
步骤五：计算粗分割网络分支损失约束训练过程：将通过步骤一获得的医学影像Ij(以胰腺CT影像为例，一个病例会有大量影像切片，j表示某个病例中的第j批次影像数据)输入到基于多重扩张路径的医学影像深度分割网络中，经收缩编码路径的特征提取过程获得特征图Fi(i表示网络的语义级数，i＝1，2，3，4，5，在本实施例中一个收缩编码路径中网络的语义级数为5)，之后由扩张解码路径上对应级别的残差网络解码模块解码上采样得到粗分割信息热图mi，经过整个扩张解码路径之后整体输出恢复生成粗分割预测图oj，利用已知的标注分割图Tj(Tj是第j批次影像数据Ij对应的标准分割掩码标注)计算损失函数，因此粗分割阶段的二值交叉熵损失函数为：E(oj，Tj)，其形式为：
E(oj，Tj)＝-[Tjlog(oj)+(1-Tj)log(1-oj)] (1)
即希望基于扩张解码路径的粗分割网络自动生成的粗分割预测图oj与已有的标准分割掩码标注图Tj尽可能相似，从而达到训练收缩编码路径以及扩张解码路径的相关系数优化的目的。
步骤六：计算细分割网络分支损失约束训练过程：将第一个扩张解码路径对应级别的残差网络解码模块解码上采样得到的粗分割信息热图mi，通过跳跃连接输入到多重扩张路径中对应级别的残差网络解码模块(这里跳跃连接的是第一个扩张解码路径和第二个扩张解码路径，第后N-1个扩张解码路径都属于多重扩张路径)解码上采样得到进一步细化的分割信息热图mi’，经过整个第二个扩张解码路径之后整体输出分割预测图o′j；按照公式(1)再次计算当前路径的损失函数，
将第二个扩张解码路径对应级别的残差网络解码模块解码上采样得到的进一步细化的分割信息热图mi’，通过跳跃连接输入到第三个扩张解码路径中对应级别的残差网络解码模块解码上采样得到进一步细化的分割信息热图mi”，经过整个第三个扩张解码路径之后整体输出分割预测图o″j，以此类推，第N-1个扩张解码路径的对应级别的残差网络解码模块解码上采样得到进一步细化的分割信息热图，通过跳跃连接输入到N个扩张解码路径中对应级别的残差网络解码模块解码上采样得到最终细化的分割信息热图Mi，经过整个第N个扩张解码路径(多重扩张路径中最后一个路径)之后整体输出分割预测图，最后一个扩张解码路径经整体输出记为细分割预测图Oj；再利用已知的标准分割掩码标注图Tj，按照公式(2)计算损失，因此细分割阶段的二值交叉熵损失函数为：E(Oj，Tj)，其形式为：
E(Oj，Tj)＝-[Tjlog(Oj)+(1-Tj)log(1-Oj)]。
即希望基于多重扩张路径的细分割网络自动生成的细分割预测图Oj与已有的标准分割掩码标注图Tj进一步尽可能接近，从而达到训练收缩编码路径以及两分支扩张解码路径的相关系数优化的目的。
至此，如上构建的基于多重扩张路径的医学影像深度分割网络获得两重损失约束，且总的损失Ej为多次路径损失函数的加权和，以N＝2的两条扩张解码路径为例，总损失函数计算公式如下：
Ej＝λE(oj，Tj)+(1-λ)E(Oj，Tj)，
基于网络中第二阶段的细分割输出作为最终的预测结果这一情况，也即显然希望E(Oj，Tj)的权重系数更大，因此上式中的权重系数λ利用网格搜索的方法在0到0.5之间取一个值。
对于N>2的情况，所有扩张解码路径的损失函数的权重之和＝1，具体取值可根据实验设定。
至此获得训练后的基于多重扩张路径的医学影像深度分割网络。
步骤七：将原始影像数据预处理后(是指仅仅做一个灰度归一化后的未标注数据，输入到已经训练好的模型中，)输入到步骤六所得的基于多重扩张路径的医学影像深度分割网络，即可自动得到预测分割掩码图，实现医学影像的分割。所述分割模型在构建时需要对原始输入影像数据进行标注，对标注后的影像进行训练优化得到优化后的基于多重扩张路径的医学影像深度分割网络，直接用于分割任务。
实施例1
本实例针对胰腺肿瘤数据库中的CT影像进行胰腺及其肿瘤病灶的分割。
胰腺肿瘤数据库的病例收集自282个胰腺肿瘤病人，每个病例有数量大小不一的CT切片，共有26719例CT切片，其中，有8792例是包含胰腺组织，或肿瘤病灶，或同时包含胰腺组织与肿瘤病灶的样本，17927例是不包含胰腺组织或者肿瘤病灶的样本。共占用3.16GB空间。
加载病人影像数据：获取某种病症的数据库，该数据库包括采集自每个病人的原始未标注分割掩码的影像数据(记为原始影像数据)以及对应影像数据的诊断报告，即包含器官组织或者病灶靶区的影像数据还应有病灶区域的专家标注，即以掩码标注形式表现器官组织或者病灶靶区的位置和形状，该专家标注用于之后的基于多重扩张路径的医学影像深度分割网络的监督训练优化；
根据专家标注分类数据集：将所有病例的影像依照诊断报告进行分类，分为包含分割掩码标注(也即至少包含器官组织或病灶中其一)的数据和不包含分割掩码标注(也即既不包含器官组织也不包含病灶)的数据。记为正样本(包含分割掩码标注的病例)和负样本(不包含分割掩码标注的病例)；
预处理原始影像数据：将某个病人文件夹中的所有影像数据进行灰度值的归一化：按照该病例文件夹中影像数据的灰度值区间[a，b]，计算得到该病例中影像数据的灰度值范围为b-a，假定原始影像数据中某个像素值为x，那么经归一化后此像素值为
Figure BDA0002969332420000071
以此对所有影像数据完成此操作，之后再按照通道顺序构成完整的多通道影像数据，作为医学影像的输入Ij；
分别将每个病例中诊断结果的标注数据的影像背景像素置零，将目标器官组织的像素置[255，0，0]，将目标病灶像素置[0，0，255]，然后再按通道顺序合并生成标准诊断分割数据，以此生成目标分割掩码的标准分割掩码标注图Tj；
下面详细说明各步骤详情以及模型的相关参数设置：
步骤一：加载影像数据。
利用python语言中的os库去遍历查找并存放影像数据文件夹中的所有.png格式的影像文件，并以列表形式保存路径，再根据路径列表中的路径文件名获取待分割影像数据所对应的分割好的专家标注。以存放在’home/wb/pancreas/data/’路径下文件夹名为case_0001的病例为例，先获取该病例的存放路径，即’home/wb/pancreas/data/case_0001’,再依据这个文件路径，去查找在该影像数据文件夹下所有后缀为.png的影像文件，例如待分割影像数据的文件路径为‘home/wb/pancreas/data/case_0001/image_00001’，因此对应到专家标注的文件路径即为‘home/wb/pancreas/data/case_0001/label_00001’。原始未标注分割掩码预处理后的医学影像的输入Ij与相应的专家分割标注数据用于后期分割模型的训练。
所有的病例影像数据及其所对应的专家分割标注的路径获取后均是以列表形式存储，并利用pandas库保存到.csv表文件里。
步骤二：数据集划分。
利用scikit-learn库对本申请所构建的网络模型(即基于多重扩张路径的医学影像深度分割网络)训练与评估所需要的训练集，验证集和测试集，以7：1：2的比例获得。此处，训练集是用于网络模型的训练过程，验证集是用于从训练优化过程中根据模型在验证集上的性能表现，选择出最优的模型，而测试集则用于测试模型最终的分割效果。最后，本发明将数据集划分的结果同样以步骤一中生成的.csv文件保存。
步骤三：影像数据输入与预处理。
将某个病例影像批次具有批量数J中的所有影像数据进行批次内灰度值的归一化：按照该输入批次中J张影像数据的灰度值区间[s，t]，计算得到该病例中影像数据的灰度值范围为t-s，假定原始影像数据中某个像素值为x，那么经归一化后此像素值为
Figure BDA0002969332420000081
以此对批次内影像数据完成此操作；分别将批次内每个影像数据及其对应的专家标注数据进行尺寸形状验证，若大于[512，512]，则进行切去边缘像素操作，若小于[512，512]，则用0补足。故而，最终每批次输入形状为[J，512，512]。
步骤四：构建基于多重扩张路径的医学影像深度分割网络。
基于多重扩张路径的医学影像深度分割网络包含一条特征编码收缩路径和两条信息解码扩张路径。如图1所示，包含残差网络编码模块的收缩路径具有5层模块深度结构，旨在提取分割前景特征，逐层抽取前景信息相关的语义特征；包含残差网络解码模块的扩张解码路径作为前景粗分割网络，具有5层模块深度结构；相同地，右侧地第二条扩张解码路径作为前景细分割网络，同样具有5层模块深度结构，两条扩张解码路径均旨在提取分割前景特征，逐层抽取前景信息相关的语义特征。结合图1分割框架与图2所示残差网络编码模块以及残差网络解码模块操作细节，用于特征信息提取与编码的收缩编码路径(Con)结构为：
[(R64，k1s164，Sigmoid，P)，(R128，k1s1128，Sigmoid，P)，(R256，k1s1256，Sigmoid，P)，
(R512，k1s1512，Sigmoid，P)，(R1024，k1s11024，Sigmoid，P)]，[R64]表示两个[核大小为3×3，步长大小为1，层数为64的残差块，[k1s164]表示[核大小为1×1，步长大小为1，层数为64的卷积-批标准化-ReLU激活函数]结构，[Sigmoid]表示引入的sigmoid激活函数，[P]表示核大小为2×2的全局池化操作；[R128]表示两个[核大小为3×3，步长大小为1，层数为128的残差块，[k1s1128]表示[核大小为1×1，步长大小为1，层数为128的卷积-批标准化-ReLU激活函数]结构；[R256]表示两个[核大小为3×3，步长大小为1，层数为256的残差块，[k1s1256]表示[核大小为1×1，步长大小为1，层数为256的卷积-批标准化-ReLU激活函数]结构；[R512]表示两个[核大小为3×3，步长大小为1，层数为512的残差块，[k1s1512]表示[核大小为1*1，步长大小为1，层数为512的卷积-批标准化-ReLU激活函数]结构；[R1024]表示两个[核大小为3×3，步长大小为1，层数为1024的残差块，[k1s11024]表示[核大小为1×1，步长大小为1，层数为1024的卷积-批标准化-ReLU激活函数]结构；
两条用于逐层解码恢复前景分割信息的扩张解码路径仅输入的信息流不同，而残差网络解码模块操作相同，用于特征信息解码的扩张解码路径(Exp)结构自低分辨率向高分辨率为：
[(Con，k1s11024，R1024，k1s11024，Sigmoid，Tra),(Con，k1s1512，R512，k1s1512，Sigmoid，Tra),(Con，k1s1256，R256，k1s1256，Sigmoid，Tra),Con，k1s1128，R128，k1s1128，Sigmoid，Tra),(Con，k1s164，R64，k1s12，Sigmoid)]
[Con]表示将来自收缩编码路径或者前一个扩张解码路径的相同分辨率特征图与前一输入特征图在通道方向上进行拼接操作，[k1s11024]表示[核大小为1*1，步长大小为1，层数为1024的卷积-批标准化-ReLU激活函数]结构，[R1024]表示两个[核大小为3*3，步长大小为1，层数为1024的残差块，[Sigmoid]表示引入的sigmoid激活函数，[Tra]表示上采样两倍的转置卷积操作；[k1s1512]表示[核大小为1*1，步长大小为1，层数为512的卷积-批标准化-ReLU激活函数]结构，[R512]表示两个[核大小为3*3，步长大小为1，层数为512的残差块；[k1s1256]表示[核大小为1*1，步长大小为1，层数为256的卷积-批标准化-ReLU激活函数]结构，[R256]表示两个[核大小为3*3，步长大小为1，层数为256的残差块；[k1s1128]表示[核大小为1*1，步长大小为1，层数为128的卷积-批标准化-ReLU激活函数]结构，[R128]表示两个[核大小为3*3，步长大小为1，层数为128的残差块；[k1s164]表示[核大小为1*1，步长大小为1，层数为64的卷积-批标准化-ReLU激活函数]结构，[R64]表示两个[核大小为3*3，步长大小为1，层数为64的残差块，[k1s12]表示[核大小为1*1，步长大小为1，层数为2的卷积-批标准化-ReLU激活函数]结构。
步骤五：训练基于多重扩张路径的医学影像深度分割网络。
利用在数据集中所预处理后的医学影像医学影像的输入Ij(即包括归一化处理后的胰腺CT影像及其对应的标准分割掩码标注图)对构建所得到的基于多重扩张路径的医学影像深度分割网络进行训练，并利用二值交叉熵损失函数在粗分割网络分支和细分割网络分支上的损失计算来约束整个网络模型的训练过程。计算损失函数的过程是：在训练过程中，将通过医学影像的输入Ij输入到网络模型中，经收缩编码路径的特征提取过程获得特征图Fi，之后由扩张解码路径上对应级别的残差网络解码模块解码上采样得到粗分割信息热图mi，经过整个扩张解码路径之后整体输出恢复生成粗分割预测图oj，再利用已知标准分割掩码标注图Tj，计算粗分割网络分支损失E(oj，Tj)；在训练过程中，将第一个扩张解码路径对应级别的残差网络解码模块解码上采样得到的分割信息热图mi，通过跳跃连接输入到多重扩张路径对应级别的残差网络解码模块(本实施例中只有两个扩张解码路径，第二个扩张解码路径即为多重扩张路径)解码上采样得到细分割信息热图Mi，经多重扩张路径中最后一个路径整体输出之后恢复生成细分割预测图Oj；再利用对应有标准分割掩码标注图Tj，计算细分割网络分支损失E(Oj，Tj)。
步骤六：分割。
如前所述，已构建并训练好基于多重扩张路径的医学影像深度分割网络。加载当前病种的某个病例的影像数据，按照上述步骤一的预处理操作(对未标注影像做归一化处理按照通道顺序构成完整的多通道影像数据)后，输入到训练好的基于多重扩张路径的医学影像深度分割网络中，输出对应自动表现了相关器官组织和病灶区域的位置与形状的掩码分割预测图，实现对医学影像的自动分割。
本实例以患者病例为单位完成对胰腺CT影像进行器官及其肿瘤自动分割的任务，分割的效果优于原始U-Net分割模型的DICE指标0.5870，分割性能效果提升明显。
本发明创新性地提出了一种新的医学影像分割方法。本发明在U-Net编码解码对称路径结构的基础上结合跳跃连接与多重扩张路径解码的方法，以多重扩张路径约束收缩编码路径，提升收缩路径编码计算的鲁棒性，同时提高网络浅层结构的特征学习能力，降低模型对噪声扰动的敏感性；同时，本发明基于多重扩张路径的医学影像深度分割网络的收缩编码路径与另外两支扩张解码路径，均融合了残差卷积模块，在不改变信息输入的情况下获得更丰富的信息流传递，兼顾语义特征提取与分割细节保留，可以获得更加精确的分割性能，使得本发明能够更加适用于实际的临床CAD(Computer-Aided-Diagnosis)系统。相比于其他基于医学影像分割任务的深度卷积神经网络，本发明提出的以多重扩张路径融合残差模块方式，结构简洁，且可以增强网络浅层结构的特征提取能力以及对非前景特征信的抗扰动能力；同时引入的多重扩张路径对收缩编码路径加以多重约束，提高网络对前景目标分割特征信息的编码鲁棒性。因此，本发明提出的基于多重扩张路径的医学影像深度分割网络具有很好的分割精度、鲁棒性以及框架可移植性。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于多重扩张路径的医学影像深度分割网络，其特征在于，该神经网络包括以多个串联的残差网络编码模块构成的收缩编码路径、以多个串联的残差网络解码模块构成的扩张解码路径，共有N个扩张解码路径，后N-1个扩张解码路径构成多重扩张路径；N为大于1的整数；
通过跳跃连接将收缩编码路径上的语义特征图与在相邻的扩张解码路径上相同分辨率的对应级别特征图在通道维度上进行拼接，即收缩编码路径中的每个残差网络编码模块中Sigmdid激活函数处理后的语义特征图与相邻的扩张解码路径上对应级别的残差网络解码模块中的特征图在通道维度上进行拼接；
多重扩张路径中每个路径的残差网络解码模块中Sigmdid激活函数处理后的语义特征图与下一个扩张解码路径上对应级别的残差网络解码模块中的特征图在通道维度上进行拼接；
至此获得基于多重扩张路径的医学影像深度分割网络。
2.根据权利要求1所述的分割网络，其特征在于，所述残差网络编码模块包含两个3×3卷积、1×1卷积、Sigmoid激活函数以及全局池化操作；以两个连续3×3卷积核提取感兴趣区域特征信息，同时利用1×1卷积核和Sigmoid激活函数操作调整特征图通道数，Sigmoid激活函数的输出记为语义特征，用于和相邻对应级别的残差网络解码模块进行跳跃连接；全局池化处理后的信息即为该残差网络模块的输出，连接下一级残差网络编码模块的输入。
3.根据权利要求1所述的分割网络，其特征在于，所述残差网络解码模块包含3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积以及拼接操作；通过跳跃连接将残差解码模块的输入特征图与上一层路径中Sigmoid激活函数的输出进行通道维度上的拼接操作，获得2倍于原本通道数的特征图；利用一层1×1卷积核操作将得到的2倍原本通道数特征图调整通道数到原本的1倍通道数；然后利用具有两层3×3卷积核操作的残差模块进行解码分割信息，再进行1×1卷积组合Sigmoid激活函数操作，Sigmoid激活函数的输出记为语义特征，用于和下一层路径对应级别的残差网络解码模块进行跳跃连接；Sigmoid激活函数的输出再通过转置卷积操作进行信息上采样恢复，转置卷积操作处理后的输出连接同层路径的上一级残差网络解码模块的输入。
4.根据权利要求1所述的分割网络，其特征在于，收缩编码路径(Con)由五个串联的残差网络编码模块构成，具体结构为：
[(R64，k1s164，Sigmoid，P)，(R128，k1s1128，Sigmoid，P)，(R256，k1s1256，Sigmoid，P)，(R512，k1s1512，Sigmoid，P)，(R1024，k1S11024，Sigmoid，P)]，
其中，[R64]表示两个[核大小为3×3，步长大小为1，层数为64的残差块；[k1s164]表示[核大小为1×1，步长大小为1，层数为64的卷积-批标准化-ReLU激活函数]结构；[Sigmoid]表示引入的sigmoid激活函数；[P]表示核大小为2×2的全局池化操作；
[R128]表示两个[核大小为3×3，步长大小为1，层数为128的残差块；[k1s1128]表示[核大小为1×1，步长大小为1，层数为128的卷积-批标准化-ReLU激活函数]结构；
[R256]表示两个[核大小为3×3，步长大小为1，层数为256的残差块；[k1s1256]表示[核大小为1×1，步长大小为1，层数为256的卷积-批标准化-ReLU激活函数]结构；
[R512]表示两个[核大小为3×3，步长大小为1，层数为512的残差块；[k1s1512]表示[核大小为1*1，步长大小为1，层数为512的卷积-批标准化-ReLU激活函数]结构；[R1024]表示两个[核大小为3×3，步长大小为1，层数为1024的残差块，[k1s11024]表示[核大小为1×1，步长大小为1，层数为1024的卷积-批标准化-ReLU激活函数]结构；
一个扩张解码路径(Exp)由五个串联的残差网络解码模块构成，自低分辨率向高分辨率为：
[(Con，k1s11024，R1024，k1s11024，Sigmoid，Tra)，(Con，k1s1512，R512，k1s1512，Sigmoid，Tra)，(Con，k1s1256，R256，k1s1256，Sigmoid，Tra)，(Con，k1s1128，R128，k1s1128，Sigmoid，Tra)，(Con，k1s164，R64，k1s12，Sigmoid)]
其中，[Con]表示将来自收缩编码路径或者前一个扩张解码路径的相同分辨率特征图与前一输入特征图在通道方向上进行拼接操作，[k1s11024]表示[核大小为1*1，步长大小为1，层数为1024的卷积-批标准化-ReLU激活函数]结构；[Tra]表示上采样两倍的转置卷积操作；[k1s12]表示[核大小为1*1，步长大小为1，层数为2的卷积-批标准化-ReLU激活函数]结构。
5.一种针对临床医学影像的语义分割方法，该方法应用权利要求1-4任一所述的基于多重扩张路径的医学影像深度分割网络，包括以下内容：
病例数据加载与预处理：获得原始影像数据归一化处理后的医学影像的输入Ij及标准分割掩码标注图Tj；
特征提取与收缩编码路径：该特征提取与收缩编码路径利用基于多重扩张路径的医学影像深度分割网络中的收缩编码路径实现，对输入的原始医学影像进行特征提取，并编码与分割任务相关的特征信息；通过多级别连续采样提取不同语义深度的特征信息，从而抓取输入医学影像中为完成分割任务需要的语义特征；
前景信息恢复与扩张解码路径：该前景信息恢复与扩张解码路径实现对特征提取与收缩编码路径中相应级别的残差网络编码模块所输出的特征图及Sigmoid激活函数的输出经过拼接、3×3卷积、1×1卷积、Sigmoid激活函数、转置卷积操作进行信息上采样过程，恢复前景位置信息，并解码生成具有目标前景与背景的影像分割掩码结果；
跳跃连接路径：所述跳跃连接路径采用对特征图进行通道维度上拼接的形式，实现对收缩编码路径和/或扩张解码路径上相同分辨率特征图的特征融合，从而弥补语义特征抽取过程丢失的位置细节信息；
多重扩张路径：所述多重扩张路径通过跳跃连接的方式，利用转置卷积上采样与卷积神经网络，在前景信息恢复与扩张解码路径获得目标粗分割的基础上，进一步实现对前景目标的精细分割；
将待测试的当前病种的归一化处理后的医学影像数据输入到训练后的基于多重扩张路径的医学影像深度分割网络中，经过前景信息恢复与扩张解码路径的粗分割处理和多重扩张路径的细分割处理，输出自动标注有相关器官组织及其靶区病灶的位置和形状的分割图，完成医学影像分割任务。
6.根据权利要求5所述的分割方法，其特征在于，基于多重扩张路径的医学影像深度分割网络的训练过程是：
每经过一个扩张解码路径，以该扩张解码路径的整体输出和已知的标准分割掩码标注图Tj逐一计算一次二值交叉熵损失函数；
总损失函数即为所有扩张解码路径计算获得的二值交叉熵损失函数的加权和，所有扩张解码路径的损失函数的权重之和＝1。
CN202110259383.4A 2021-03-10 2021-03-10 基于多重扩张路径的医学影像深度分割网络 Withdrawn CN112785592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259383.4A CN112785592A (zh) 2021-03-10 2021-03-10 基于多重扩张路径的医学影像深度分割网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259383.4A CN112785592A (zh) 2021-03-10 2021-03-10 基于多重扩张路径的医学影像深度分割网络

Publications (1)

Publication Number Publication Date
CN112785592A true CN112785592A (zh) 2021-05-11

Family

ID=75762488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259383.4A Withdrawn CN112785592A (zh) 2021-03-10 2021-03-10 基于多重扩张路径的医学影像深度分割网络

Country Status (1)

Country Link
CN (1) CN112785592A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343943A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 基于巩膜区域监督的眼部图像分割方法
CN113592766A (zh) * 2021-05-21 2021-11-02 东南大学 一种基于深度序列信息融合的冠脉造影图像分割方法
CN113723523A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 医学影像的处理方法、装置、计算机设备及存储介质
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN114387481A (zh) * 2021-12-30 2022-04-22 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN117197156A (zh) * 2022-10-21 2023-12-08 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统
WO2024098379A1 (zh) * 2022-11-11 2024-05-16 深圳先进技术研究院 一种基于扩张残差网络的全自动心脏磁共振成像分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475505A (zh) * 2017-01-27 2019-11-19 阿特瑞斯公司 利用全卷积网络的自动分割
CN110680284A (zh) * 2019-10-17 2020-01-14 山东工商学院 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN110956172A (zh) * 2019-11-18 2020-04-03 四创科技有限公司 一种基于图像语义分割的水尺识别方法
CN111754472A (zh) * 2020-06-15 2020-10-09 南京冠纬健康科技有限公司 一种肺结节检测方法与检测系统
CN112132777A (zh) * 2020-08-11 2020-12-25 浙江工业大学 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475505A (zh) * 2017-01-27 2019-11-19 阿特瑞斯公司 利用全卷积网络的自动分割
CN110680284A (zh) * 2019-10-17 2020-01-14 山东工商学院 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统
CN110956172A (zh) * 2019-11-18 2020-04-03 四创科技有限公司 一种基于图像语义分割的水尺识别方法
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111754472A (zh) * 2020-06-15 2020-10-09 南京冠纬健康科技有限公司 一种肺结节检测方法与检测系统
CN112132777A (zh) * 2020-08-11 2020-12-25 浙江工业大学 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO WANG 等: ""w-Net:Dual supervised medical image segmentation model with multi-dimensional attention and cascade multi-scale convolution"", 《COMPUTER SCIENCE》 *
李全红 等: ""基于残差U-Net的遥感影像土地覆盖类型自动分割"", 《中国土地科学》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592766A (zh) * 2021-05-21 2021-11-02 东南大学 一种基于深度序列信息融合的冠脉造影图像分割方法
CN113343943A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 基于巩膜区域监督的眼部图像分割方法
CN113723523A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 医学影像的处理方法、装置、计算机设备及存储介质
CN113723523B (zh) * 2021-08-31 2024-05-10 平安科技（深圳）有限公司 医学影像的处理方法、装置、计算机设备及存储介质
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN114387481A (zh) * 2021-12-30 2022-04-22 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114387481B (zh) * 2021-12-30 2024-03-29 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN117197156A (zh) * 2022-10-21 2023-12-08 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统
CN117197156B (zh) * 2022-10-21 2024-04-02 南华大学 基于双解码器UNet和Transformer的病变分割方法及系统
WO2024098379A1 (zh) * 2022-11-11 2024-05-16 深圳先进技术研究院 一种基于扩张残差网络的全自动心脏磁共振成像分割方法

Similar Documents

Publication Publication Date Title
CN112785592A (zh) 基于多重扩张路径的医学影像深度分割网络
CN108492297B (zh) 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
Zhang et al. 2d convolutional neural networks for 3d digital breast tomosynthesis classification
CN115631127B (zh) 一种工业缺陷检测的图像分割方法
CN113327258A (zh) 一种基于深度学习的肺部ct图像识别方法
CN112259223B (zh) 基于全视野数字切片的病人级别肿瘤智能诊断方法
CN111784711A (zh) 一种基于深度学习的肺部病理图像分类与分割方法
CN111524140A (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN115409846A (zh) 一种基于深度学习的结直肠癌病灶区域轻量级分割方法
CN114037699B (zh) 一种病理图像分类方法、设备、系统及存储介质
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN117078941B (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN115170564B (zh) 一种结直肠癌放化疗反应自动预测系统
CN117649385A (zh) 一种基于全局和局部注意力机制的肺部ct图像分割方法
CN111595737A (zh) 一种基于三维分支网络的光学全息粒子场颗粒点检测方法
Heidarian et al. Cae-transformer: Transformer-based model to predict invasiveness of lung adenocarcinoma subsolid nodules from non-thin section 3d ct scans
CN115527204A (zh) 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法
CN115294093A (zh) 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法
Le et al. RRc-UNet 3D for lung tumor segmentation from CT scans of Non-Small Cell Lung Cancer patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210511