CN111429474A - 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 - Google Patents

基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 Download PDF

Info

Publication number
CN111429474A
CN111429474A CN202010125719.3A CN202010125719A CN111429474A CN 111429474 A CN111429474 A CN 111429474A CN 202010125719 A CN202010125719 A CN 202010125719A CN 111429474 A CN111429474 A CN 111429474A
Authority
CN
China
Prior art keywords
image
module
dce
segmentation
mri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010125719.3A
Other languages
English (en)
Other versions
CN111429474B (zh
Inventor
冯宏伟
曹佳琦
王红玉
卜起荣
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202010125719.3A priority Critical patent/CN111429474B/zh
Publication of CN111429474A publication Critical patent/CN111429474A/zh
Application granted granted Critical
Publication of CN111429474B publication Critical patent/CN111429474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于混合卷积的乳腺DCE‑MRI图像病灶分割模型建立及分割方法，其中分割模型建立方法包括：首先获取乳腺DCE‑MRI图像集中每个DCE‑MRI序列图像的三通道图像，其次构建基于混合卷积与ASPP网络的乳腺DCE‑MRI图像病灶分割网络，最后使用三通道的图像训练得到的分割网络，得到训练好的分割模型。基于得到的分割模型，对于待处理的任一DCE‑MRI序列图像，进行预处理得到三通道图像，然后将三通道图像输入到分割模型中，即可得到病灶分割结果。本发明通过混合的2D与3D卷积来提取图像3D空间特征，达到更为精准的分割结果；另外，使用ASPP提取多尺度上下文特征，从而有效地解决病灶尺寸差异对分割结果的影响。

Description

基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立及分割 方法
技术领域
本发明属于医学图像分析技术领域，涉及一种基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立及分割方法。
背景技术
随着科学技术的进步，医学影像技术也有了很大的进步，并成为乳腺癌筛查与诊治必不可缺的手段之一。核磁共振成像(Magnetic Resonance Imaging，MRI)能够获取患者多角度，更全面的断层成像，作为乳腺疾病常规筛查技术之一，对乳腺癌诊断与治疗具有重要的价值。其中，动态增强核磁共振成像(Dynamic contrast-enhanced magneticresonance imaging，DCE-MRI)序列具有高分辨率图像和动态信息表达能力，是观察病灶内部结构和边缘形态的主要序列图像。乳腺DCE-MRI病灶感兴趣区域的分割是医学应用的重要课题，也是病灶分析和诊断的重要步骤。但是，由于临床上每天都会产生大量的影像数据，医生手动分割病灶是一项非常有挑战性的工作，不仅依赖于高超的专业知识，而且费时费力。这极大地推动了计算机辅助分割方法的研究与发展。
早期乳腺病灶分割算法主要依赖于图像的灰度特征和纹理特征。近年来，由于计算机计算能力的强大以及带有注释的数据集的可用性，深度神经网络，比如卷积神经网络(Convolutional Neural Network，CNN)，已经成为分割任务的强大工具。2018年Benjelloun等人成功的应用了一个全卷积网络结构(U-Net)建立了一个集乳腺DCE-MRI影像病变检测与分割于一体的网络。该算法在84例DCE-MRI的5452张切片上进行训练和测试，最终取得了超过人类的分割效果。2019年Piantadosi等人探索了深度学习对于医学图像处理的实用性同时考虑了MRI图像的生理遗传性，提出来一种利用动态增强三个时期图像的“3TP U-Net”网络来进行乳腺MRI影像病变区域分割。上述的方法都是在乳腺MRI的二维切片来进行训练与测试了，并没有考虑到病变的三维立体信息。
为了利用MRI三维的信息来获得更为精准的分割结果，一些研究将2D网络中的2D卷积换为3D卷积，从而同时获取在三个维度的图像特征。2018年Zhang等人提出了一种分级的乳腺区域面具指导(Mask-guided Hierarchical Learning,MHL)的乳腺MRI病变分割的方法，该方法使用了3个3D的FCN来进行乳房区域、病变粗分割以及细分割任务，从而提高了分割的精度。2018年Chen等人提出了一种结合CNN与循环神经网络(Recurrent NeuralNetwork,RNN)的DCE-MRI病变分割算法。该算法使用RNN来提取动态增强时序特征，同时使用3D的FCN获取三维空间特征，通过空间特征与时间特征的融合的得到最终的病变分割结果。通过3D卷积的使用，网络可以直接获取病变的三维信息，这对于获得更为精确的分割结果是有意义的。
综上所述，在现有的基于深度网络的乳腺MRI图像病灶分割方法中，主要是使用2D网络或者3D网络。相较于2D网络，3D的网络可以提取三维的图像特征，提高网络分割性能。但是，3D卷积的使用会增加网络的参数以及计算量，带来网络优化难度增大的困扰。除此之外，乳腺MRI图像在三个维度上的分辨率是不同的，尤其是对于一些深度分辨率较低的MRI图像，直接使用3D卷积在分辨率不一致的3D数据上提取空间特征可能会影响特征的有效性。除此之外，乳腺病变尺寸变化范围比较大，很多研究没有考虑多尺度的图像信息，无法同时兼顾大小尺寸病灶分割任务，所以导致最终的效果不理想。
发明内容
为解决现有技术中存在的不足，本发明提供了一种基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立及分割方法，解决现有研究无法同时兼顾大小尺寸病灶分割任务的问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立方法，包括以下步骤：
步骤1，对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行以下处理：
步骤1.1，获取剪影图像，其中剪影图像是注射造影剂后拍摄图像中的增强高峰图像与注射造影剂前拍摄的一期图像的差值；
步骤1.2，将注射造影剂后拍摄第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像作为增强晚期图像，将剪影图像、增强初期图像与增强晚期图像构建成三通道图像；
步骤2，构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括2D空间特征提取模块、3D空间特征提取模块、2D与3D特征融合模块、多尺度特征提取模块、上采样模块；
其中，2D空间特征提取模块用于使用U-Net编码结构提取步骤1.2得到的三通道图像中每一幅断层切片的2D空间特征图；
3D空间特征提取模块用于使用2D与3D卷积混合模块提取步骤1.2得到的三通道图像中每一幅断层切片的3D空间特征图；其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积；
2D与3D特征融合模块用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合，得到包含有2D空间特征和3D空间特征的特征图；
多尺度特征提取模块用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图；
上采样模块用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图；
步骤3，使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
具体的，所述的步骤1.1中，将注射造影剂后拍摄的图像中像素均值最高的一期作为增强高峰图像。
具体的，在进行步骤1.1之前，对所述的DCE-MRI序列图像进行归一化处理，将灰度值映射到0-1或0-255之间。
具体的，所述的3D空间特征提取模块中，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片。
本发明还公开基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，包括以下模块：
图像预处理模块，用于对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行处理，包括剪影图像获取模块以及三通道图像构建模块，其中：
剪影图像获取模块，用于获取剪影图像，其中剪影图像是注射造影剂后拍摄图像中的增强高峰图像与注射造影剂前拍摄的一期图像的差值；
三通道图像构建模块，用于将注射造影剂后拍摄第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像作为增强晚期图像，将剪影图像、增强初期图像与增强晚期图像构建成三通道图像；
分割网络构建模块，用于构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括：
2D空间特征提取模块，用于使用U-Net编码结构提取三通道图像中每一幅断层切片的2D空间特征图；
3D空间特征提取模块，用于使用2D与3D卷积混合模块提取三通道图像中每一幅断层切片的3D空间特征图；其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积；
2D与3D特征融合模块，用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合，得到包含有2D空间特征和3D空间特征的特征图；
多尺度特征提取模块，用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图；
上采样模块，用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图；
分割模型构建模块，用于使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
具体的，所述的剪影图像获取模块中，将注射造影剂后拍摄的图像中像素均值最高的一期作为增强高峰图像。
具体的，图像预处理模块中，还包括对所述的DCE-MRI序列图像进行归一化处理，将灰度值映射到0-1或0-255之间。
具体的，所述的3D空间特征提取模块中，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片。
本发明还公开了基于混合卷积的乳腺DCE-MRI图像病灶分割方法，包括以下步骤：
步骤1，对于待处理的任一DCE-MRI序列图像，进行上述步骤1的预处理，得到三通道图像；
步骤2，将步骤1得到的三通道图像输入到分割模型中，得到病灶分割结果。
本发明还公开基于混合卷积的乳腺DCE-MRI图像病灶分割系统，包括以下模块：
图像预处理模块，用于对于待处理的DCE-MRI序列图像，使用本发明步骤1或图像预处理模块进行处理，得到三通道图像；
病灶分割模块，用于将图像预处理模块的三通道图像输入到分割模型中，得到病灶分割结果。
与现有技术相比，本发明的有益效果是：
(1)本发明结合乳腺DCE-MRI序列图像特征，提出了DCE-MRI图像多通道表达方法，能够将动态增强时序信息融入到单幅图像中作为分割网络输入，从而提高分割效果。
(2)本发明针对现有2D网络无法利用3D信息，而3D分割网络在分辨率不一致的MRI图像上提取空间特征性能受限和计算量大的问题，提出了使用混合2D与3D卷积来提取切片间的3D空间特征，并与2D的空间特征融合，来提高乳腺病灶分割的精度。
(3)本发明采用ASPP在具有高层语义的特征图上提取多尺度的图像特征，从而有效地解决病灶尺寸差异对分割结果的影响。
附图说明
图1是本方法乳腺MRI分割的整体流程图；
图2是本方法中基于混合卷积的网络结构图；
图3是本方法中使用的乳腺DCE-MRI不同时期图像；其中(a)为未注射造影剂的图像、(b)为增强初期图像、(c)为增强高峰图像、(d)为增强晚期图像；
图4是本方法中DCE-MRI序列三通道图像；其中(a)为剪影图像、(b)为增强初期图像、(c)为增强晚期图像；
图5为本方法中两个DCE-MRI图像的分割结果示意图；其中(a)和(b)为两个样例的金标准和分割结果图。
以下给出本发明的具体实施方式，需要说明的是，本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
具体实施方式
一个乳腺DCE-MRI序列图像中包含n期图像，包括注射造影剂前拍摄的一期图像和注射造影剂后拍摄的n-1期图像，n一般为7～9，在本发明中将注射造影剂后拍摄的第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像作为增强晚期图像。
本发明的增强高峰图像是指注射造影剂后拍摄的n-1期图像中像素均值最高的一期图像。
本发明中的“三通道图像”是指将三个单通道图(即剪影图像、增强初期图像与增强晚期图像)分别作为图像的一个通道，构成一幅具有三个通道的图像。
本发明具体实施例中使用的乳腺DCE-MRI图像集是从医院获得的已有的图像，每个图像集包含多例DCE-MRI序列图像，一个DCE-MRI序列图像一般扫描7-9期图像，而每期图像包含96-188幅断层切片。
DCE-MRI序列图像包含了多期图像，能够记录乳房组织结构在注射造影剂前后的信号变化信息。乳腺DCE-MRI病理学相关研究表明，乳腺病灶的生长很大程度上依赖于内部的血管，因此相较于正常组织，病变内血管渗透性更强。由于不同病灶间毛细血管的通透性和组织细胞外间隙的不同，当静脉注射对比剂后，乳腺病灶区域会呈现不同的信号强度变化，但是正常组织就不会有明显和多样的变化。考虑到DCE-MRI序列图像的这一特性，本发明提出了一种DCE-MRI图像的多通道表达，作为网络的输入，从而提高分割的性能。
本发明的具体实施例中公开的基于混合卷积和ASPP的乳腺DCE-MRI图像病灶分割模型建立方法，具体包括以下步骤：
步骤1，对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行以下处理：
步骤1.1，本实施例中使用的DCE-MRI序列图像为DICOM格式，因此需要对原始DICOM格式的DCE-MRI序列所有期图像进行归一化，将灰度值映射到0-1或0-255，可以将图像保存为PNG形式。
然后获取剪影图像，其中剪影图像是DCE-MRI序列图像中的增强高峰图像与未注射造影剂的一期图像的差值。每个DCE-MRI序列图像包括多期图像，首先统计注射造影剂后的每期所有断层切片中亮度最高的32个像素的值，计算均值，最后选择注射造影剂后的多期图像中像素均值最高的一期作为增强高峰图像。增强高峰图像如图3中(c)图所示，未注射造影剂图像如图3中(a)图所示。
步骤1.2，将注射造影剂后拍摄第一期图像作为增强初期图像，如图3中(b)图所示，注射造影剂后拍摄的最后一期图像作为增强晚期图像，如图3中(d)图所示；将剪影图像、增强初期图像与增强晚期图像构建成三通道图像，如图4所示，作为分隔网络的输入。
步骤2，构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括2D空间特征提取模块、3D空间特征提取模块、2D与3D特征融合模块、多尺度特征提取模块、上采样模块。分隔网络结构如图2所示。
其中，2D空间特征提取模块用于使用U-Net编码结构提取三通道的图像中每一幅断层切片的2D空间特征图，输入U-Net编码结构的是当前断层切片。本实施例采用python语言和pytorch深度网络框架实现分割网络模型的构建，其中卷积、池化和上采样操作均为调用框架相应函数所得。考虑到U-Net网络能够使用小样本数据集进行训练和测试，并在生物医学分割领域取得了巨大的成功，本实施例使用U-Net作为2D切片基础分割网络，构建基于混合卷积与ASPP网络的病灶区域分割模型。
3D空间特征提取模块用于使用2D与3D卷积混合模块提取三通道的图像中每一幅断层切片的3D空间特征图，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片，为了保证不同切片的特征图在相应通道上的空间一致性，在三个切片上使用的2D卷积参数是相同的。
其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积。本实施例中，2D与3D卷积混合模块的原理是：首先使用2个3×3的2D卷积来获取二维的特征图；其次，将三个二维特征图拼接成一个三维的特征图，同时这三个特征图作为下一个2D与3D卷积混合模块的输入；然后，使用一个1×1×3的3D的卷积来提取第三个维度上的空间特征。
2D与3D特征融合模块用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合。本实施例采用图像相加方式进行融合，得到包含有2D空间特征和3D空间特征的特征图，特征图的个数与断层切片数量一致；
多尺度特征提取模块用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图。ASPP结构包括两个3×3的正常卷积，两个采样率为2的3×3的空洞卷积以及两个采样率为6的3×3的空洞卷积。输入的特征图通过三种并行卷积，获得三个尺度的特征图。然后将不同尺度下的特征图进行拼接，并使用1×1的卷积来变换通道，使其与输入特征图的通道数量保持一致。
上采样模块用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图。
步骤3，使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
在本实施例中，构建DSC作为网络的目标函数，网络训练损失函数为Diss loss函数，步骤1得到的三通道的图像送入构建好的分割网络中，使用该损失函数端到端的训练分隔网络，得到训练好的分割模型。
本发明实施例还公开了基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，该系统包括以下模块：
图像预处理模块，用于对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行处理，包括剪影图像获取模块以及三通道图像构建模块，其中：
剪影图像获取模块，用于获取剪影图像，其中剪影图像是DCE-MRI序列图像中的增强高峰图像与未注射造影剂的一期图像的差值；每个DCE-MRI序列图像包括多期图像，将DCE-MRI序列图像中像素均值最高的一期作为增强高峰图像。
三通道图像构建模块，用于将注射造影剂后拍摄第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像为增强晚期图像，将剪影图像、增强初期图像与增强晚期图像构建成三通道图像。
分割网络构建模块，用于构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括：
2D空间特征提取模块，用于使用U-Net编码结构提取三通道的图像中每一幅断层切片的2D空间特征图，U-Net编码结构输入为当前断层切片；
3D空间特征提取模块，用于使用2D与3D卷积混合模块提取三通道的图像中每一幅断层切片的3D空间特征图，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片，为了保证不同切片的特征图在相应通道上的空间一致性，在三个切片上使用的2D卷积参数是相同的。
其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积；本实施例2D与3D卷积混合模块的原理同上述实施例。
2D与3D特征融合模块，用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合，得到包含有2D空间特征和3D空间特征的特征图；本实施例采用图像相加方式进行融合，特征图的个数与断层切片数量一致；
多尺度特征提取模块，用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图。其中，本实施例的ASPP结构同上述实施例。
上采样模块，用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图；
分割模型构建模块，用于使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
通过上述实施例可得到训练好的分割模型，利用该分割模型对需要处理的DCE-MRI序列图像病灶区域进行分割，因此，
本发明的另一个实施例中公开了一种基于混合卷积的乳腺DCE-MRI图像病灶分割方法，该方法包括以下步骤：
步骤1，对于待处理的一个DCE-MRI序列图像，经过上述实施例中步骤1的预处理，得到三通道图像；
步骤2，将得到的三通道图像输入到分割模型中，即可得到病灶分割结果。本实施例中得到的二维分割结果，可将二维的分割结果按照对应输入切片的在三维DCE-MRI中的顺序拼接成三维立体图。
如图5所示为本实施例中其中两个DCE-MRI图像的分割结果。
本发明实施例还公开一种基于混合卷积的乳腺DCE-MRI图像病灶分割系统，该系统包括以下模块：
图像预处理模块，用于对于待处理的DCE-MRI序列图像，使用分割模型建立方法实施例中的步骤1或分割模型建立系统中的图像预处理模块进行处理，得到三通道图像；
病灶分割模块，用于将图像预处理模块的三通道图像输入到分割模型建立方法实施例得到的分割模型或分割模型建立系统的分割模型构建模块中，得到病灶分割结果。
本发明还对比了本发明方法与下面4种不同方法之间的分割效果：
N1：DCE-MRI序列图像不进行步骤1.1～1.2的处理，直接使用单通道的图像作为输入；分割网络包括2D空间特征提取模块和上采样模块；采用端到端的方式训练仅包含2D空间特征提取的U-Net模型，然后使用训练好的模型分割DCE-MRI图像病灶区域。
N2：使用三通道图像作为输入；分割网络包括2D空间特征提取模块和上采样模块；采用端到端的方式训练仅包含2D空间特征提取的U-Net模型，然后使用训练好的模型分割DCE-MRI图像病灶区域。
N3：使用三通道图像作为输入；分割网络包括2D空间特征提取模块、多尺度特征提取模块和上采样模块；采用端到端的方式对整个网络进行训练，使用训练好的模型分割病灶区域。
N4：使用三通道图像作为输入；分割网络包括2D空间特征提取模块、3D空间特征提取模块、2D与3D特征融合模块和上采样模块；采用端到端的方式对整个网络进行训练，使用训练好的模型分割病灶区域。
表1所示为本发明实施例中90个DCE-MRI图像样本的的实验结果的均值，其中戴斯系数(Dice Similarity Coefficient，DSC)与阳性预测值(Positive Predictive Value,PPV)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表分割性能越好。由表1可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。
表1不同方法之间的效果对比
方法 输入图像 DSC PPV
N1 单通道 0.696 0.787
N2 多通道 0.734 0.788
N3 多通道 0.752 0.809
N4 多通道 0.760 0.802
本发明方法 多通道 0.765 0.824

Claims (10)

1.基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立方法，其特征在于，包括以下步骤：
步骤1，对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行以下处理：
步骤1.1，获取剪影图像，其中剪影图像是注射造影剂后拍摄图像中的增强高峰图像与注射造影剂前拍摄的一期图像的差值；
步骤1.2，将注射造影剂后拍摄第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像作为增强晚期图像，将剪影图像、增强初期图像与增强晚期图像构建成三通道图像；
步骤2，构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括2D空间特征提取模块、3D空间特征提取模块、2D与3D特征融合模块、多尺度特征提取模块、上采样模块；
其中，2D空间特征提取模块用于使用U-Net编码结构提取步骤1.2得到的三通道图像中每一幅断层切片的2D空间特征图；
3D空间特征提取模块用于使用2D与3D卷积混合模块提取步骤1.2得到的三通道图像中每一幅断层切片的3D空间特征图；其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积；
2D与3D特征融合模块用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合，得到包含有2D空间特征和3D空间特征的特征图；
多尺度特征提取模块用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图；
上采样模块用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图；
步骤3，使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
2.如权利要求1所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立方法，其特征在于，所述的步骤1.1中，将注射造影剂后拍摄的图像中像素均值最高的一期作为增强高峰图像。
3.如权利要求1所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立方法，其特征在于，在进行步骤1.1之前，对所述的DCE-MRI序列图像进行归一化处理，将灰度值映射到0-1或0-255之间。
4.如权利要求1所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立方法，其特征在于，所述的3D空间特征提取模块中，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片。
5.基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，其特征在于，包括以下模块：
图像预处理模块，用于对于乳腺DCE-MRI图像集中每个DCE-MRI序列图像进行处理，包括剪影图像获取模块以及三通道图像构建模块，其中：
剪影图像获取模块，用于获取剪影图像，其中剪影图像是注射造影剂后拍摄图像中的增强高峰图像与注射造影剂前拍摄的一期图像的差值；
三通道图像构建模块，用于将注射造影剂后拍摄第一期图像作为增强初期图像，注射造影剂后拍摄的最后一期图像作为增强晚期图像，将剪影图像、增强初期图像与增强晚期图像构建成三通道图像；
分割网络构建模块，用于构建基于混合卷积与ASPP网络的乳腺DCE-MRI图像病灶分割网络，所述的分割网络包括：
2D空间特征提取模块，用于使用U-Net编码结构提取三通道图像中每一幅断层切片的2D空间特征图；
3D空间特征提取模块，用于使用2D与3D卷积混合模块提取三通道图像中每一幅断层切片的3D空间特征图；其中，3D空间特征提取模块包括四个2D与3D卷积混合模块，每一个2D与3D卷积混合模块都包括2个2D卷积和一个3D卷积；
2D与3D特征融合模块，用于将2D空间特征提取模块中的每一幅断层切片的2D空间特征图与对应的3D空间特征提取模块中的每一幅断层切片的3D特征图进行融合，得到包含有2D空间特征和3D空间特征的特征图；
多尺度特征提取模块，用于使用ASPP结构对2D与3D特征融合模块中的特征图进行处理，得到具有多尺度图像信息的特征图；
上采样模块，用于使用U-Net的解码结构对多尺度特征提取模块得到的具有多尺度图像信息的特征图进行上采样处理，得到与其对应的断层切片的输入尺寸一致的分割概率图；
分割模型构建模块，用于使用步骤1得到的三通道的图像训练步骤2得到的分割网络，得到训练好的分割模型。
6.如权利要求5所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，其特征在于，所述的剪影图像获取模块中，将注射造影剂后拍摄的图像中像素均值最高的一期作为增强高峰图像。
7.如权利要求1所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，其特征在于，图像预处理模块中，还包括对所述的DCE-MRI序列图像进行归一化处理，将灰度值映射到0-1或0-255之间。
8.如权利要求1所述的基于混合卷积的乳腺DCE-MRI图像病灶分割模型建立系统，其特征在于，所述的3D空间特征提取模块中，2D与3D卷积混合模块输入的是当前断层切片及其上下层切片。
9.基于混合卷积的乳腺DCE-MRI图像病灶分割方法，其特征在于，包括以下步骤：
步骤1，对于待处理的任一DCE-MRI序列图像，进行权利要求1中步骤1的预处理，得到三通道图像；
步骤2，将步骤1得到的三通道图像输入到权利要求1得到的分割模型中，得到病灶分割结果。
10.基于混合卷积的乳腺DCE-MRI图像病灶分割系统，其特征在于，包括以下模块：
图像预处理模块，用于对于待处理的DCE-MRI序列图像，使用权利要求1中步骤1或权利要求5中的图像预处理模块进行处理，得到三通道图像；
病灶分割模块，用于将图像预处理模块的三通道图像输入到权利要求1得到的分割模型或权利要求5的分割模型构建模块中，得到病灶分割结果。
CN202010125719.3A 2020-02-27 2020-02-27 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 Active CN111429474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125719.3A CN111429474B (zh) 2020-02-27 2020-02-27 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125719.3A CN111429474B (zh) 2020-02-27 2020-02-27 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法

Publications (2)

Publication Number Publication Date
CN111429474A true CN111429474A (zh) 2020-07-17
CN111429474B CN111429474B (zh) 2023-04-07

Family

ID=71547308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125719.3A Active CN111429474B (zh) 2020-02-27 2020-02-27 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法

Country Status (1)

Country Link
CN (1) CN111429474B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085736A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于混维卷积的肾肿瘤分割方法
CN112132790A (zh) * 2020-09-02 2020-12-25 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和系统
CN113421633A (zh) * 2021-06-25 2021-09-21 上海联影智能医疗科技有限公司 特征分类方法、计算机设备和存储介质
CN113469229A (zh) * 2021-06-18 2021-10-01 中山大学孙逸仙纪念医院 一种基于深度学习的乳腺癌病灶自动标注方法及装置
CN113657480A (zh) * 2021-08-13 2021-11-16 江南大学 一种基于特征融合网络模型的服装解析方法
CN114066904A (zh) * 2021-11-19 2022-02-18 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN115018862A (zh) * 2022-05-26 2022-09-06 杭州深睿博联科技有限公司 一种基于混合神经网络的肝脏肿瘤分割方法及装置
CN115953781A (zh) * 2023-03-14 2023-04-11 武汉昊博科技有限公司 基于热层析影像的乳腺人工智能分析系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038517A (zh) * 2018-01-02 2018-05-15 东北农业大学 基于改进卷积神经网络模型Cifar10的玉米叶片病害识别方法
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109840913A (zh) * 2019-01-21 2019-06-04 中南民族大学 一种乳腺x线图像中肿块分割的方法和系统
US20190236782A1 (en) * 2018-01-30 2019-08-01 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
WO2019200747A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统
CN110490851A (zh) * 2019-02-15 2019-11-22 腾讯科技（深圳）有限公司 基于人工智能的乳腺图像分割方法、装置及系统
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038517A (zh) * 2018-01-02 2018-05-15 东北农业大学 基于改进卷积神经网络模型Cifar10的玉米叶片病害识别方法
US20190236782A1 (en) * 2018-01-30 2019-08-01 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
WO2019200747A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109840913A (zh) * 2019-01-21 2019-06-04 中南民族大学 一种乳腺x线图像中肿块分割的方法和系统
CN110490851A (zh) * 2019-02-15 2019-11-22 腾讯科技（深圳）有限公司 基于人工智能的乳腺图像分割方法、装置及系统
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任湘等: "基于卷积神经网络的乳腺癌分子分型预测研究", 《杭州电子科技大学学报(自然科学版)》 *
杨珍等: "利用DCE-MRI结合改进卷积神经网络的MR图像自动分割与分类方法", 《重庆理工大学学报(自然科学)》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132790A (zh) * 2020-09-02 2020-12-25 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112132790B (zh) * 2020-09-02 2024-05-14 西安国际医学中心有限公司 Dac-gan模型构建方法及在乳腺mr图像中的应用
CN112085736B (zh) * 2020-09-04 2024-02-02 厦门大学 一种基于混维卷积的肾肿瘤分割方法
CN112085736A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于混维卷积的肾肿瘤分割方法
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和系统
CN113469229A (zh) * 2021-06-18 2021-10-01 中山大学孙逸仙纪念医院 一种基于深度学习的乳腺癌病灶自动标注方法及装置
CN113421633A (zh) * 2021-06-25 2021-09-21 上海联影智能医疗科技有限公司 特征分类方法、计算机设备和存储介质
CN113657480A (zh) * 2021-08-13 2021-11-16 江南大学 一种基于特征融合网络模型的服装解析方法
CN114066904A (zh) * 2021-11-19 2022-02-18 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN115018862A (zh) * 2022-05-26 2022-09-06 杭州深睿博联科技有限公司 一种基于混合神经网络的肝脏肿瘤分割方法及装置
CN114820584B (zh) * 2022-05-27 2023-02-21 北京安德医智科技有限公司 肺部病灶定位装置
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN115953781A (zh) * 2023-03-14 2023-04-11 武汉昊博科技有限公司 基于热层析影像的乳腺人工智能分析系统及方法

Also Published As

Publication number Publication date
CN111429474B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
Cai et al. A review of the application of deep learning in medical image classification and segmentation
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
Yang et al. Research on feature extraction of tumor image based on convolutional neural network
CN110996789B (zh) 执行筛查、诊断或其他基于图像的分析任务的系统和方法
CN107492071A (zh) 医学图像处理方法及设备
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN109035261B (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112446862A (zh) 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
Chen et al. Skin lesion segmentation using recurrent attentional convolutional networks
Kang et al. Renal tumors segmentation in abdomen CT Images using 3D-CNN and ConvLSTM
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Qiu et al. Residual dense attention networks for COVID-19 computed tomography images super resolution
Aslam et al. Liver-tumor detection using CNN ResUNet
Honghan et al. Rms-se-unet: A segmentation method for tumors in breast ultrasound images
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
Ma et al. Amseg: A novel adversarial architecture based multi-scale fusion framework for thyroid nodule segmentation
Muthiah et al. Fusion of MRI and PET images using deep learning neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant