CN109584246B - 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 - Google Patents

基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 Download PDF

Info

Publication number
CN109584246B
CN109584246B CN201811363678.0A CN201811363678A CN109584246B CN 109584246 B CN109584246 B CN 109584246B CN 201811363678 A CN201811363678 A CN 201811363678A CN 109584246 B CN109584246 B CN 109584246B
Authority
CN
China
Prior art keywords
image
segmentation
feature
convolution
dcm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811363678.0A
Other languages
English (en)
Other versions
CN109584246A (zh
Inventor
吴锡
夏朝阳
陈玉成
李孝杰
徐源蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201811363678.0A priority Critical patent/CN109584246B/zh
Publication of CN109584246A publication Critical patent/CN109584246A/zh
Application granted granted Critical
Publication of CN109584246B publication Critical patent/CN109584246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学影像处理技术领域，公开了一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法,将心脏MRI图像进行分割，完整得分割出心肌和血池等医学解剖结构。本发明通过使用带孔卷积取代传统的卷积，这样的好处就是卷积核的感受野更大能够获取到更大的上下文信息；通过使用空间金字塔池化，可以在不同尺度上对图像进行信息提取，应对图像的多尺度特性，即使是很小的物体也能有效地捕捉；通过使用编码器和解码器结构可以恢复细节信息，将浅层的特征和高层的特征进行融合，得到语义丰富且细节完整的分割掩膜；本发明减轻了医生的工作负担，对病情分析还有后续的治疗计划和术后评估都有重大的意义。

Description

基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法
技术领域
本发明属于医学影像处理技术领域，尤其涉及一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法。
背景技术
目前，业内常用的现有技术是这样的：
图像的语义分割(Semantic Image Segmentation)是人工智能和计算机视觉领域的重要研究主题。该研究旨在利用算法自动或半自动地将图像中不同物体所在的区域进行精细的、像素级的区分。
图像语义分割就要将区分图中的摩托车和人，得到右边摩托车的绿色和人的红色分割掩膜。该研究要求算法产生与原始图像相同大小的分割掩膜，掩膜中使用不同的值对原始图像中不同类别的物体进行像素语义标注，同时保留物体的精细的边缘细节。图像语义分割的难点在于要对图像中不同物体进行语义分类，因为物体存在着不同的纹理、颜色、尺寸等特性，要区分不同物体的同时还要求物体与物体之间的边缘清晰，细节保留完整。
传统的机器学习算法从简单的阈值法，到基于像素聚类的分割法，再到图划分的分割方法，效果都不太如人意。现在深度学习的浪潮，特别是卷积神经网络的飞速发展，各种基于深度卷积的分割方法百花齐放。在各种图像视觉学习任务中取得了优秀的成果，卷积神经网络能够有效提取图像的深层特征，相对于传统的方法，深度学习在方法应用和结果上有着优异的表现
同时随着生活环境、生活习惯、饮食习惯的变化，肿瘤及其他重大疾病的发病率及死亡率，均呈现上升的趋势，已对人类健康构成了巨大威胁。其中扩张性心肌病(dilatedcardiomyopathy，DCM)是一种严重的心脏疾病，特征为左或右心室或双侧心室扩大，并伴有心室收缩功能减退，伴或不伴充血性心力衰竭。室性或房性心律失常多见。病情呈进行性加重，死亡可发生于疾病的任何阶段。严重威胁着人们的生命健康。
在恶性肿瘤的治疗中，需要医生对患者的医学影像进行手工标注，勾画出肿瘤的区域，以便进行前期的治疗方案的制定，癌症特征分析和后期治疗效果的评估。对于DCM的诊疗，医生需要根据医学放射影像，一般是CT或者MRI，根据心肌内外膜之间的距离和其他指标来判断是否患病。如图心肌放射医学影像中显示的绿色和黄色锚点来测定相关指标，如平均Hounsfield单位值，面积等。
这一过程需要医生手动勾画出心肌内外膜，这项工作重复且耗时，而且由于不同医生的经验不同和个人因素导致了标注准确度的不一致，这就亟待发明一种全自动、稳定、精确的端到端医学图像分割系统。
随着社会的发展，自动化实现任务要求越来越多，且该类自动化任务也非常依赖计算机视觉，特别是图像语义分割的实现。如汽车的自动驾驶中，对障碍物、行人、道路标识等等的识别与标记；无人机着陆时对环境物体、地面物体的识别与标记；医疗领域对身体器官组织或恶性肿瘤的标定等等，所以说图像的语义分割在生活、工业、医疗、军事上有着举足轻重的作用。
图像的语义分割技术是指给定一张图片，使用计算机算法自动区分图像中的不同“语义”的物体，输出一个和原图同样大小分辨率的分割掩膜。图像语义分割算法从简单的阈值分割法，到边缘检测法，再到现在基于卷积神经网络的各种方法，分割效果是越来越好。
综上所述，现有技术存在的问题是：
(1)在深度学习之前，有一种叫“Normalized Cut”的机器学习方法，简称N-Cut，它的思想主要是通过像素和像素之间的关系权重来综合考虑，根据给出的阈值，将图像一分为二。但是在实际运用中，每运行一次N-cut，只能切割一次图片，为了分割出图像上的多个物体，需要多次运行N-Cut算法。而且这种方法还有一个缺陷就是，当一个物体不同部分差别过大时，就会判断成两个物体，比如衣服和肢体颜色反差太大就会导致分割错误。
(2)深度学习中，各种计算机方法如春草般以旺盛的生命力不断出现和革新。其中图像语义分割领域出现了全卷积网络(Fully Convolutional Networks，FCN)的一种卷积神经网络((Convolutional Neural Network，CNN)。FCN利用卷积对图像进行特征提取，然后通过转置卷积(Transposed Convolution)恢复分辨率。但是这种方法也存在不足，因为抽象的语义提取，导致了从高级语义中恢复细节信息很困难，差距过大的下采样和上采样率也会导致分割性能的减弱。本发明采用编码器-解码器结构，将来自浅层的低阶细节特征，和来自深层的高阶语义信息进行结合，有效地恢复了对象的边界信息，得到精确的分割掩膜。
(3)“U-Net”的用于分割的CNN，采用U型的网络结构而得名。他们的方法使用了下采样捕获语义信息，上采样恢复分辨率，同时具有编码器-解码器结构，将细节信息和语义信息进行结合，有效地恢复分辨率，避免细节丢失。但是他们的网络不够深，无法容纳更多的参数，提取高级语义信息的能力较弱。本发明的网络中采用更深的网络层结构，同时采用更宽的层组件，加深网络的深度的同时增加网络的宽度，从而达到更高的特征提取能力。此外，U-Net输入的图像为统一的分辨率，经过固定的卷积层，处理物体多尺度特性的能力较弱。
(4)“PSPNet”，PSPNet中使用金字塔池化模块，该模块将ResNet的特征图谱连接到并行池化层的上采样输出，其中内核分别覆盖了图像的整个区域、半各区域和小块区域，很好的利用的全局的分类信息。但不能对全局信息更有效的理解和利用；本发明提出的方案更进一步改进金字塔池化方式，本发明将其封装为一个模块，并以残差连接。通过重复使用金字塔池化模块，达到对全局信息更有效的理解和利用。
解决上述技术问题的难度和意义：
针对以上现有方法存在的问题，包括细节信息的丢失、语义信息提取能力较弱、未能应对对象的多尺度特性，这是现有技术解决问题的难点；
解决上述技术问题后，带来的意义为：本发明提出的技术方案中使用了多种手段进行改进。
针对细节信息的丢失，本发明采用了编码器-解码器架构，组合低阶特征和高阶特征，得到分类准确且分割精确的结果。这样需要本发明精准地设计逐级的下采样和上采样，将相同的下采样倍率和上采样倍率的特征图对应结合。针对语义信息提取能力较弱，本发明增加网络的深度，通过重叠多个卷积模块来编码高级语义信息。但是过于深的网络可能会带来梯度消失的问题，本发明通过使用残差连接来补充梯度，防止梯度消失，有效地进行学习。针对对象的多尺度特性，本发明提出特征金字塔池化模块，将不同内核尺度的卷积进行封装，增加网络的宽度。这同意会带来上面提到的梯度消失问题，同样的，本发明在模块内部使用残差连接，防止梯度消失。
通过一系列的技术手段，诸如使用编码器-解码器架构、加深网络深度、加宽网络宽度、使用残差连接、组合金字塔池化模块，本发明提出的技术方案很好地解决了现有方案存在一些问题。对于特征的提取、细节信息的恢复、对象多尺度性的应对，本发明的技术方案都可以很好地处理，最终产生精确的分割掩膜。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法。
本发明是这样实现的，一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法包括：
使用带孔卷积获取图像中更远距离的上下文信息；使用空间金字塔池化，在不同尺度上对图像进行信息提取、捕捉；通过使用编码器和解码器结构恢复细节信息；使用跳跃连接，将浅层的特征和高层的特征进行融合，在被分割物体边缘上得到语义丰富且细节完整的分割掩膜。
进一步，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法具体包括：
第一步：输入一张心脏磁共振图像；
第二步：对图像进行预处理；
第三步：使用卷积神经网络进行训练，对图像进行特征提取；
第四步：将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
第五步：重复多次卷积和残差连接的特征提取；
第六步：将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
第七步：将经过融合的特征图进行上采样，到达与原图相同大小；
第八步：将第七步得到的特征图送入softmax层，得到分割概率响应图；
第九步：对图像进行后处理；
第十步：保存到文件，得到最终的分割掩膜结果。
进一步，第二步具体包括：
步骤一：将图像重新采样，保证空间分辨率为1x1x1；
步骤二：将图像归一化，保证图像中的亮度值在-1到1之间；
步骤三：将图像裁剪，只保留ROI区域；
进一步，第三步具体包括：
步骤一：使用卷积核对图像进行卷积操作；
步骤二：对上一步深度可分离卷积(depthwise separable convolutions)后的特征图进行批归一化(batch normalization)；
步骤三：将上一步得到的特征图通过ReLU激活函数；
进一步，第九步具体包括：
步骤一：将概率响应图二值化，得到分割掩膜；
步骤二：将上一步的分割掩膜进行图像形态学morphology处理。
本发明的另一目的在于提供一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割计算机程序，其特征在于，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割计算机程序实现所述的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法。
本发明的另一目的在于提供一种终端，所述终端至少搭载实现所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法的控制器。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法。
本发明的另一目的在于提供一种实现所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统包括：
图像输入模块，用于输入心脏磁共振图像；
图像预处理模块，用于对输入的心脏磁共振图像进行预处理；
图像特征提取模块，用于使用卷积神经网络进行训练，对图像进行特征提取；
图像残差连接模块，用于将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
残差连接的特征提取模块，用于重复多次卷积和残差连接的特征提取；
特征图像融合模块，用于将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
特征图上采样模块，用于将经过融合的特征图进行上采样，与原图相同大小；
分割概率响应图获取模块，用于将得到的特征图送入softmax层，得到分割概率响应图；
图像后处理模块，用于对图像进行后处理；
分割掩膜获取模块，用于保存到文件，得到最终的分割掩膜结果。
本发明的另一目的在于提供一种至少搭载所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统的医学影像处理设备。
综上所述，本发明的优点及积极效果为：
本发明多尺度指的是在一张图像经过多层深度可分离卷积之后，再使用不同扩张率的带孔卷积进行空间金字塔池化方式的特征提取。
本发明能够很好地将心脏MRI图像进行分割，完整得分割出心肌和血池等医学解剖结构。本发明通过使用带孔卷积取代传统的卷积，这样的好处就是卷积核的感受野更大能够获取到更大的上下文信息；通过使用空间金字塔池化，可以在不同尺度上对图像进行信息提取，应对图像的多尺度特性，即使是很小的物体也能有效地捕捉；通过使用编码器和解码器结构可以恢复细节信息，将浅层的特征和高层的特征进行融合，得到语义丰富且细节完整的分割掩膜。通过上述技术的有机组合，本发明可以有效且全自动地获取高质量的心脏分割掩膜，减轻医生的工作负担，对病情分析还有后续的治疗计划和术后评估都有重大的意义。本发明采用编码器-解码器结构，将来自浅层的低阶细节特征，和来自深层的高阶语义信息进行结合，有效地恢复了对象的边界信息，得到精确的分割掩膜。本发明的网络中采用更深的网络层结构，同时采用更宽的层组件，加深网络的深度的同时增加网络的宽度，从而达到更高的特征提取能力。此外，U-Net输入的图像为统一的分辨率，经过固定的卷积层，处理物体多尺度特性的能力较弱。本发明提出的方案更进一步改进金字塔池化方式，本发明将其封装为一个模块，并以残差连接。通过重复使用金字塔池化模块，达到对全局信息更有效的理解和利用。
通过与其他方法和现有技术的对比，本发明能从定性的角度发现本发明能够准确分割出心脏磁共振中重要的生理解剖结构，例如扩心病中最为关注的心肌。效果如下图所示。从图9中很明显地可以发现第三列分割结果与Ground-Truth的对比中，第一行的U-Net的结果最差，准确分割的面积最小，有很多欠分割的区域。而deeplabv3+则有较多的过分割的区域。本发明提出的方法最好，能准确覆盖大部分区域，过分割和欠分割都达到了很好的平衡。图中，第一列为同一个原图，第二列为分割结果，第三列为分割结果与Ground-Truth的对比。第一行为U-Net方法，第二行为deeplabv3+方法，第三行为本发明提出的方法。
同时，为了更有说服力地证明本发明提出的方法的效果，本发明使用了K-Fold交叉验证的方法来进行试验，在实验中取K＝5，使用5折的平均结果。得到下表所示的各种方法的对比指标。同样可以得出结论，以分割最为关心的DSC和Jaccard指标为例，本发明的方法比最先进的deeplabv3+网络要好，分别达到了0.7945和0.6681，如下表2。
表2本发明方法与其他方法定量结果对比
方法\指标 DSC Jaccard AUC F-Measure
U-Net 0.6150 0.4546 0.7695 0.6150
Deeplabv3+ 0.7476 0.5942 0.9610 0.7476
本发明方法 0.7945 0.6681 0.8861 0.7945
附图说明
图1是本发明实施例提供的多尺度卷积神经网络整体结构图。
图2是本发明实施例提供的网络入口结构图。
图3是本发明实施例提供的Relay激活函数图。
图4是本发明实施例提供的残差单元图，由深度可分离卷积和常规卷积进行残差连接构成。
图5是本发明实施例提供的空间金字塔池化图。
图6是本发明实施例提供的解码器图。
图7是本发明实施例提供的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法流程图。
图8是本发明实施例提供的心肌分割定性效果图；
图中：(a)、输入原图；(b)、预测结果图，如图中的圆圈所示；(c)预测结果与ground-truth的比较图。
图9是本发明实施例提供的本发明方法与其他方法定性结果对比图；
图中，第一列为同一个原图，第二列为分割结果，第三列为分割结果与Ground-Truth的对比；第一行为U-Net方法，第二行为deeplabv3+方法，第三行为本发明提出的方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，多尺度是指，使用多个不同卷积核尺寸的CNN并行进行特征提取。
本发明多尺度指的是在一张图像经过多层深度可分离卷积之后，再使用不同扩张率的带孔卷积进行空间金字塔池化方式的特征提取。
下面结合具体分析对本发明作进一步描述。
本发明利用客观物体存在的多尺度性设计一种多尺寸的卷积神经网络，并将其运用于心脏医学图像的分割，得到边缘清晰，细节保留完好的分割掩膜。即使是体积较小、形状怪异的物体也能得到高质量的分割掩膜。本发明主要针对心脏磁共振成像(MagneticResonance Image，MRI)数据实现端到端的全自动心肌分割，让医生摆脱枯燥繁重的手工标注工作，同时也避免了人工标注带来的经验性和人为误差。传统的CNN网络使用多个池化层(Pooling Layer)进行特征提取，导致最终的特征图的尺寸缩小到了仅为原来图像的1/2n倍。该信息稠密的特征图对于图像物体特征分类是大有裨益的，但是对于要求产生和原图同样大小分辨率的细节完整分割掩膜的端对端分割网络而言则是有着相悖而行的作用。本发明综合运用了多种技术手段保证得到的分割掩膜的完整性和精确性，如通过使用一种特殊的带孔卷积取代传统的卷积核，扩大卷积核的感受野，获取图像中更远距离的上下文信息，产生稠密的特征提取。同时使用跳跃连接，将浅层和深层的特征进行有机融合，通过跳跃连接，使浅层特征的丰富细节和深层特征的丰富语义将互相取长补短，即有利于物体分类又利于分割。此外最重要的是通过组合使用不同孔率的1x1的带孔卷积，利用了物体客观存在的多尺度特性，获得更精确的分割掩膜。
下面结合具体分析对本发明作进一步描述。
本发明基于卷积神经网络，通过使用带孔卷积、深度可分离卷积、转置卷积、跳跃连接、金字塔池化等技术，解决了传统分割网络不能很好地应对物体的多尺度性的问题。使用端到端的方式，全自动地生成心脏磁共振图像的分割掩膜，而且本发明所获得的分割掩膜在被分割物体边缘上细节保留完整，能够处理不同大小，形状各异的分割对象。
步骤1：输入一张心脏磁共振图像；
步骤2：对图像进行预处理；
步骤2-1：将图像重新采样，保证空间分辨率为1x1x1；
步骤2-2：将图像归一化，保证图像中的亮度值在-1到1之间；
步骤2-3：将图像裁剪，只保留ROI区域；
步骤3：使用卷积神经网络进行训练，对图像进行特征提取；
步骤3-1：使用卷积核对图像进行卷积操作；
步骤3-2：对上一步深度可分离卷积(depthwise separable convolutions)后的特征图进行批归一化(batch normalization)；
步骤3-3：将上一步得到的特征图通过ReLU激活函数；
步骤4：将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
步骤5：重复多次卷积和残差连接的特征提取；
步骤6：将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
步骤7：将经过融合的特征图进行上采样，到达与原图相同大小；
步骤8：将上一步得到的特征图送入softmax层，得到分割概率响应图；
步骤9：对图像进行后处理；
步骤9-1：将概率响应图二值化，得到分割掩膜；
步骤9-2：将上一步的分割掩膜进行图像形态学(morphology)处理；
步骤10：保存到文件，得到最终的分割掩膜结果。
本发明实施例提供的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统，包括：
图像输入模块，用于输入心脏磁共振图像；
图像预处理模块，用于对输入的心脏磁共振图像进行预处理；
图像特征提取模块，用于使用卷积神经网络进行训练，对图像进行特征提取；
图像残差连接模块，用于将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
残差连接的特征提取模块，用于重复多次卷积和残差连接的特征提取；
特征图像融合模块，用于将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
特征图上采样模块，用于将经过融合的特征图进行上采样，与原图相同大小；
分割概率响应图获取模块，用于将得到的特征图送入softmax层，得到分割概率响应图；
图像后处理模块，用于对图像进行后处理；
分割掩膜获取模块，用于保存到文件，得到最终的分割掩膜结果。
下面结合具体实施例对本发明作进一步描述。
如图1所示，此为本发明提出的多尺度卷积神经网络结构图。结构中包括了图像输入，卷积特征提取、空间金字塔池化、编码器和解码器结构等计算机视觉中常用的技术。下面将这个巨大的网络进行分解说明，将每部分的结构和功能、还有部分与部分之间的处理逻辑流程进行详尽描述。
本发明实施例提供的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法，包括：
1)输入一张图像I，尺寸为m×m×1；
2)使用卷积核大小为k×k，输出通道数为n1的卷积层对图像进行特征提取，如图2方块所示为卷积层。
a)此时得到的特征图的尺寸可以使用以下公式得出：
N＝(M-K+2P)/S+1
其中M为输入图像尺寸m x m，K为卷积核尺寸k x k，P为padding延拓的大小，S为卷积的步长stride，最终得到的尺寸为N x N
3)然后进入绿色方块，表示深度可分离卷积(depthwise separableconvolutions)。
a)可分离卷积(separable convolution)可将卷积核操作拆分成多个步骤。卷积操作用y＝conv(x,k)来表示，其中输出图像为y，输入图像为x，卷积核为k。接着，假设k可以由下式计算得出：k＝k1.dot(k2)。这就实现了一个可分离卷积操作，因为不用k执行二维卷积操作，而是通过k1和k2分别实现两次一维卷积来取得相同效果。
b)在神经网络中，本发明通常会使用深度可分离卷积结构(depthwise separableconvolution)。这种方法在保持通道分离的前提下，接上一个深度卷积结构，即可实现空间卷积。接下来通过一个例子让大家更好地理解。假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每个数据，从而产生16×32＝512个特征图谱。进而通过叠加每个输入通道对应的特征图谱后融合得到1个特征图谱。最后可得到所需的32个输出通道。针对这个例子应用深度可分离卷积，用1个3×3大小的卷积核遍历16通道的数据，得到了16个特征图谱。在融合操作之前，接着用32个1×1大小的卷积核遍历这16个特征图谱，进行相加融合。这个过程使用了16×3×3+16×32×1×1＝656个参数，远少于上面的16×32×3×3＝4608个参数。这个例子就是深度可分离卷积的具体操作，其中上面的深度乘数(depth multiplier)设为1，这也是目前这类网络层的通用参数。这么做是为了对空间信息和深度信息进行解耦。
4)最后一个深度可分离卷积是步长为2的，而且后面没有池化层，它的作用就是代替池化层。
5)在深度可分离卷积上方有一个来自前面的特征图做卷积之后的跳跃连接。这种特殊的连接结构叫残差连接(Residual Connection)，深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来越准确。但是随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了。这主要是因为深度学习的反向传播机制导致的深层的网络模型的梯度消失问题导致的。残差连接的原理是直接把输入x传到输出作为初始结果，输出结果为H(x)＝F(x)+x。这种残差跳跃式的结构，打破了传统的神经网络n-1层的输出只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为叠加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。
6)此外，还在3x3卷积后面添加批规范化(batch normalization)和ReLU激活函数。
a)批规范化在每次SGD时，通过mini-batch来对相应的激活做规范化操作，使得结果(输出信号各个维度)的均值为0，方差为1。其作用是为了防止反向传播时梯度消失的问题。其算法流程如下算法1所示。
Figure BDA0001867936240000141
Algorithm 1：Batch Normalizing Transform，applied to activation x overa mini-batch.
b)ReLU的全称是修正线性单元(Rectified linear unit)，其公式为ReLU＝max(0，x)，函数图像如图3所示.
使用ReLU作为激活函数有很多优点，比如对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题(Vanishing Gradient Problem)，使得模型的收敛速度维持在一个稳定状态。
7)重复多次残差单元，如图4所示。通过深层的网络结构，提取图像高级的语义特征。
8)空间金字塔池化。空间金字塔池化是一种在图像特征检测中常用的技术，它可以使用尺寸不固定的图像作为输入，不需要想传统方法对图像进行裁剪和缩放，因为那样会改变或丢失图像特征，降低分类精度。而此方法是在卷积后的特征上，使用不同大小的卷积核，例如使用一组5x5、3x3、2x2、1x1的卷积核对特征进行不同尺度的卷积，获得的多尺度特征在进行组合，得到固定的尺度。最后就可以送到全连接层，或者其他分类器中。这样一来，输入的图像的尺度就不需要固定了，而且特征尺度也丰富了。
金字塔池化有三个优点，第一：它可以解决输入图片大小不一造成的缺陷，不需要裁剪和缩放，保持图像原有的特征。第二：由于把一个特征图从不同的角度和尺度进行特征提取，再聚合，信息利用率提高。第三：同时也在目标检测增加了精度。本发明中，使用3x3的带孔卷积，配置不同的孔径来作为多尺度特征提取卷积，最后使用concat组合提取到的特征。结构图如图5所示。
9)解码器，如图6。因为卷积神经网络本身固有的旋转不变性。特征提取越密集越有利于分类，但是这就和分割天然地对立，因为分割要求输出与原图同样尺寸的分割掩膜，而且要有清晰的边缘。所以需要将经过多次下采样的密集特征图进行解码，恢复空间分辨率，恢复细节信息。本发明采用的解码器使用了浅层的特征图，还有深层的特征图，浅层的特征图可以提供细节信息，而深层的特征图提供语义信息，两者互补，得到最终分类准确、细节清晰的分割掩膜。其详细结构如图所示，其中上采样是为了恢复到原图的尺寸。
图7是本发明实施例提供的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法流程图。
下面结合实验对本发明的应用作进一步描述。
本发明方法进行的实验的软硬件环境为：
软件环境：
Ubuntu版本：16.04.0 x86_64
内核版本：4.10.0-28-generic
CUDA版本：8.0,V8.0.61
TensorFlow版本：1.8.0
Keras版本：2.2.0
Python版本：Python 3.6.6
硬件环境：
GPU：Tesla M40
实验数据说明：本方法在实验的过程中使用了165例心脏磁共振图像，都为T1序列。在进行网络训练之前，对图像进行了必要预处理。包括，将图像重采样，使得图像的空间分辨率为1x1x1m3。由于图像包含胸腔甚至腹部的扫描成像结果，故为了减少不必要的计算量，本发明将图像进行裁剪。同时将图像中像素值进行归一化处理。
实验参数设置说明：本方法在实验的过程中使用5层普通的卷积层，卷积核为3x3，前两层卷积步长为2，最后3个卷积步长为1。然后使用22个残差模块进行特征提取。每个残差模块由三个深度可分离卷积核一个普通卷积进行残差连接组成。金字塔池化模块中使用1x1的卷积、扩张率分别为6、12、18的带孔卷积、图像级池化进行特征提取。然后解码器使用来自第2层残差模块的输出和金字塔池化的输出进行组合解码，经过上采样，和softmax层，最终得到二进制的分割掩膜。设置学习率为0.003，目标函数为-dice，优化函数为RMSprop，每批数据大小为1。
实验实施阶段本发明将165例MRI进行划分，使用5折交叉验证。在训练阶段，输入训练集进行学习，使用反向传播算法进行参数更新。然后输入测试集进行性能测试，只进行前馈过程，得到预测结果。训练集和测试集彼此不交叉，互不可见。
下面结合实验结果或评价指标表格对本发明应用作进一步描述。
图8是本发明实施例提供的心肌分割定性效果图。图中：(a)、输入原图；(b)、预测结果图，如图中的圆圈所示；(c)预测结果与ground-truth的比较图。
表1.心肌分割结果评价指标
Figure BDA0001867936240000161
通过与其他方法和现有技术的对比，本发明能从定性的角度发现本发明能够准确分割出心脏磁共振中重要的生理解剖结构，例如扩心病中最为关注的心肌。效果如下图所示。从图9中很明显地可以发现第三列分割结果与Ground-Truth的对比中，第一行的U-Net的结果最差，准确分割的面积最小，有很多欠分割的区域。而deeplabv3+则有较多的过分割的区域。本发明提出的方法最好，能准确覆盖大部分区域，过分割和欠分割都达到了很好的平衡。图中，第一列为同一个原图，第二列为分割结果，第三列为分割结果与Ground-Truth的对比。第一行为U-Net方法，第二行为deeplabv3+方法，第三行为本发明提出的方法。
同时，为了更有说服力地证明本发明提出的方法的效果，本发明使用了K-Fold交叉验证的方法来进行试验，在实验中取K＝5，使用5折的平均结果。得到下表所示的各种方法的对比指标。同样可以得出结论，以分割最为关心的DSC和Jaccard指标为例，本发明的方法比最先进的deeplabv3+网络要好，分别达到了0.7945和0.6681。如下表2
表2本方法与其他方法定量结果对比
方法\指标 DSC Jaccard AUC F-Measure
U-Net 0.6150 0.4546 0.7695 0.6150
Deeplabv3+ 0.7476 0.5942 0.9610 0.7476
本方法 0.7945 0.6681 0.8861 0.7945
。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法，其特征在于，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法包括：
使用带孔卷积获取图像中更远距离的上下文信息；使用空间金字塔池化，在不同尺度上对图像进行信息提取、捕捉；
通过使用编码器和解码器结构恢复细节信息；使用跳跃连接，将浅层的特征和高层的特征进行融合，在被分割物体边缘上得到语义丰富且细节完整的分割掩膜；
所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法具体包括：
第一步：输入一张心脏磁共振图像；
第二步：对图像进行预处理；
第三步：使用卷积神经网络进行训练，对图像进行特征提取；
第四步：将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
第五步：重复多次卷积和残差连接的特征提取；
第六步：将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
第七步：将经过融合的特征图进行上采样，到达与原图相同大小；
第八步：将第七步得到的特征图送入softmax层，得到分割概率响应图；
第九步：对图像进行后处理；
第十步：保存到文件，得到最终的分割掩膜结果；
第二步具体包括：
步骤一：将图像重新采样，保证空间分辨率为1x1x1；
步骤二：将图像归一化，保证图像中的亮度值在-1到1；
步骤三：将图像裁剪，只保留ROI区域；
第三步具体包括：
步骤一：使用卷积核对图像进行卷积操作；
步骤二：对上一步深度可分离卷积后的特征图进行批归一化；
步骤三：将上一步得到的特征图通过ReLU激活函数；
第九步具体包括：
步骤一：将概率响应图二值化，得到分割掩膜；
步骤二：将上一步的分割掩膜进行图像形态学morphology处理。
2.一种终端，其特征在于，所述终端至少搭载实现权利要求1所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法的控制器。
3.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法。
4.一种实现权利要求1所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割方法的基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统，其特征在于，所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统包括：
图像输入模块，用于输入心脏磁共振图像；
图像预处理模块，用于对输入的心脏磁共振图像进行预处理；
图像特征提取模块，用于使用卷积神经网络进行训练，对图像进行特征提取；
图像残差连接模块，用于将第一层和经过三个深度可分离卷积层之后的特征图进行残差连接；
残差连接的特征提取模块，用于重复多次卷积和残差连接的特征提取；
特征图像融合模块，用于将来自深层的特征图经过上采样后，与来自浅层的特征图进行融合；
特征图上采样模块，用于将经过融合的特征图进行上采样，与原图相同大小；
分割概率响应图获取模块，用于将得到的特征图送入softmax层，得到分割概率响应图；
图像后处理模块，用于对图像进行后处理；
分割掩膜获取模块，用于保存到文件，得到最终的分割掩膜结果。
5.一种至少搭载权利要求4所述基于多尺度特征金字塔的DCM心肌诊疗放射影像分割控制系统的医学影像处理设备。
CN201811363678.0A 2018-11-16 2018-11-16 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 Active CN109584246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811363678.0A CN109584246B (zh) 2018-11-16 2018-11-16 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811363678.0A CN109584246B (zh) 2018-11-16 2018-11-16 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法

Publications (2)

Publication Number Publication Date
CN109584246A CN109584246A (zh) 2019-04-05
CN109584246B true CN109584246B (zh) 2022-12-16

Family

ID=65922750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811363678.0A Active CN109584246B (zh) 2018-11-16 2018-11-16 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法

Country Status (1)

Country Link
CN (1) CN109584246B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120040B (zh) * 2019-05-13 2021-09-14 广州锟元方青医疗科技有限公司 切片图像处理方法、装置、计算机设备和存储介质
CN110136135B (zh) * 2019-05-17 2021-07-06 深圳大学 分割方法、装置、设备以及存储介质
CN110136145A (zh) * 2019-05-17 2019-08-16 东北大学 基于多通道可分离卷积神经网络的mr脑部图像分割方法
CN111988609B (zh) * 2019-05-22 2024-07-16 富士通株式会社 图像编码装置、概率模型生成装置和图像解码装置
CN110175613B (zh) * 2019-06-03 2021-08-10 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
CN111784561B (zh) * 2019-06-14 2024-07-19 北京沃东天骏信息技术有限公司 用于从图像中提取对象的方法、装置和存储介质
CN110400317A (zh) * 2019-07-03 2019-11-01 上海联影智能医疗科技有限公司 多结构图像分割方法、计算机设备和存储介质
CN110378913B (zh) * 2019-07-18 2023-04-11 深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN110599495B (zh) * 2019-07-26 2022-08-16 山东大学 一种基于语义信息挖掘的图像分割方法
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
CN110580681B (zh) * 2019-09-12 2020-11-24 杭州海睿博研科技有限公司 高分辨率心机运动模式分析装置和方法
CN110874594B (zh) * 2019-09-23 2023-06-30 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN110675385B (zh) * 2019-09-25 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质
CN110689083B (zh) * 2019-09-30 2022-04-12 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111127472B (zh) * 2019-10-30 2021-09-14 武汉大学 一种基于权重学习的多尺度图像分割方法
CN110648298A (zh) * 2019-11-01 2020-01-03 中国工程物理研究院流体物理研究所 一种基于深度学习的光学像差畸变校正方法及系统
CN111104962B (zh) * 2019-11-05 2023-04-18 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111008647B (zh) * 2019-11-06 2022-02-08 长安大学 一种样本提取及基于空洞卷积与残差链接的图像分类方法
CN111191674B (zh) * 2019-11-30 2024-08-06 北京林业大学 基于密集连接带孔卷积网络的初级特征提取器及提取方法
CN111126451A (zh) * 2019-12-01 2020-05-08 复旦大学 一种对偶式语义分割方法
CN110991617B (zh) * 2019-12-02 2020-12-01 华东师范大学 万花筒卷积网络的构建方法
CN111127470B (zh) * 2019-12-24 2023-06-16 江西理工大学 一种基于上下文和浅层空间编解码网络的图像语义分割方法
CN111192215B (zh) * 2019-12-30 2023-08-29 百度时代网络技术（北京）有限公司 图像处理方法、装置、设备和可读存储介质
CN111145170B (zh) * 2019-12-31 2022-04-22 电子科技大学 一种基于深度学习的医学影像分割方法
CN111192278B (zh) * 2019-12-31 2023-10-24 北京迈格威科技有限公司 语义分割方法、装置、计算机设备和计算机可读存储介质
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
CN111369565B (zh) * 2020-03-09 2023-09-15 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111488884A (zh) * 2020-04-28 2020-08-04 东南大学 低计算量及高度特征融合的实时语义分割方法
CN111695616B (zh) * 2020-05-29 2024-09-24 平安科技（深圳）有限公司 基于多模态数据的病灶分类方法及相关产品
CN111797712B (zh) * 2020-06-16 2023-09-15 南京信息工程大学 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN111860233B (zh) * 2020-07-06 2021-05-18 中国科学院空天信息创新研究院 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN111882565B (zh) * 2020-07-28 2023-07-07 深圳市雨滴科技有限公司 一种图像二值化方法、装置、设备及存储介质
CN111986181B (zh) * 2020-08-24 2021-07-30 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和系统
CN112418170B (zh) * 2020-12-11 2024-03-01 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN113487622B (zh) * 2021-05-25 2023-10-31 中国科学院自动化研究所 头颈部器官影像分割方法、装置、电子设备和存储介质
CN113384261B (zh) * 2021-05-28 2022-12-16 华南理工大学 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统
CN113349753A (zh) * 2021-07-19 2021-09-07 成都芯跳医疗科技有限责任公司 一种基于便携式动态心电监护仪的心律失常检测方法
CN113689441B (zh) * 2021-08-30 2024-08-16 华东师范大学 一种基于DeepLabV3网络的左心室超声动态分割方法
CN114549377B (zh) * 2022-01-11 2024-02-02 上海应用技术大学 医疗影像融合方法
CN114565770B (zh) * 2022-03-23 2022-09-13 中南大学 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN114972165B (zh) * 2022-03-24 2024-03-15 中山大学孙逸仙纪念医院 一种时间平均剪切力的测量方法和装置
CN114419078B (zh) * 2022-04-01 2022-06-24 北京矩视智能科技有限公司 基于卷积神经网络的表面缺陷区域分割方法及装置
CN115760810B (zh) * 2022-11-24 2024-04-12 江南大学 医学图像分割装置、方法及计算机可读存储介质
CN116543147B (zh) * 2023-03-10 2024-10-11 武汉库柏特科技有限公司 一种颈动脉超声图像分割方法、装置、设备及存储介质
CN116807479B (zh) * 2023-08-28 2023-11-10 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN108681692A (zh) * 2018-04-10 2018-10-19 华南理工大学 一种基于深度学习的遥感图像内新增建筑识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
CN108681692A (zh) * 2018-04-10 2018-10-19 华南理工大学 一种基于深度学习的遥感图像内新增建筑识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Dilated residual networks;Yu F等;《https://arxiv.org/pdf/1705.09914.pdf》;20170529;1-9 *
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation;Liang-Chieh Chen等;《https://arxiv.org/abs/1802.02611v3》;20180823;1-18 *
基于 Dense Connected 深度卷积神经网络的自动视网膜血管分割方法;唐明轩等;《成都信息工程大学学报》;20181031;第33卷(第5期);525-530 *
基于多尺度卷积的多源心脏医学图像分割及分类技术研究;夏朝阳;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20220415(第04期);E060-72 *

Also Published As

Publication number Publication date
CN109584246A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584246B (zh) 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109886273B (zh) 一种cmr图像分割分类系统
Qureshi et al. Medical image segmentation using deep semantic-based methods: A review of techniques, applications and emerging trends
Jiang et al. A review of deep learning-based multiple-lesion recognition from medical images: classification, detection and segmentation
Wu et al. Unsupervised brain tumor segmentation using a symmetric-driven adversarial network
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
Nayantara et al. Computer-aided diagnosis of liver lesions using CT images: A systematic review
Chandra et al. Context aware 3D CNNs for brain tumor segmentation
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Li et al. A hierarchical conditional random field-based attention mechanism approach for gastric histopathology image classification
Kaur et al. GA-UNet: UNet-based framework for segmentation of 2D and 3D medical images applicable on heterogeneous datasets
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Bates et al. Extracting 3D vascular structures from microscopy images using convolutional recurrent networks
Selver Segmentation of abdominal organs from CT using a multi-level, hierarchical neural network strategy
Meera et al. A review on automatic detection of brain tumor using computer aided diagnosis system through MRI
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
Kassim et al. Microvasculature segmentation of arterioles using deep CNN
Xu et al. Mammographic mass segmentation using multichannel and multiscale fully convolutional networks
Shao et al. Application of U-Net and Optimized Clustering in Medical Image Segmentation: A Review.
Saini et al. Detector-segmentor network for skin lesion localization and segmentation
Ahmed et al. An appraisal of the performance of AI tools for chronic stroke lesion segmentation
Singh et al. Detection and classification of brain tumor using hybrid feature extraction technique
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
CN112733953B (zh) 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant