CN110930416A - 一种基于u型网络的mri图像前列腺分割方法 - Google Patents

一种基于u型网络的mri图像前列腺分割方法 Download PDF

Info

Publication number
CN110930416A
CN110930416A CN201911166223.4A CN201911166223A CN110930416A CN 110930416 A CN110930416 A CN 110930416A CN 201911166223 A CN201911166223 A CN 201911166223A CN 110930416 A CN110930416 A CN 110930416A
Authority
CN
China
Prior art keywords
feature map
image
shaped network
mri
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911166223.4A
Other languages
English (en)
Other versions
CN110930416B (zh
Inventor
李新征
金炜
宣荣荣
王玉涛
金戈辉
陈志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201911166223.4A priority Critical patent/CN110930416B/zh
Publication of CN110930416A publication Critical patent/CN110930416A/zh
Application granted granted Critical
Publication of CN110930416B publication Critical patent/CN110930416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种基于U型网络的MRI图像前列腺分割方法,包括:步骤1、从MRI图像数据集中选取S1幅图像组成训练集,并选取S2幅未参与训练的MRI图像组成测试集,二者均包含对应前列腺区域手工标注结果;步骤2、分别对训练集和测试集中的所有MRI图像进行预处理,得到第一图像和第二图像;步骤3、初始化U型网络中的参数,并将所有第一图像依次输入到U型网络中进行训练,不断更新U型网络中的参数,得到训练完成的U型网络;步骤4、将第二图像输入到训练完成的U型网络中,得到每幅MRI图像前列腺区域的分割图。优点在于:使得特征提取工作更加高效、在边缘与细节处的分割结果更加准确、加快了网络模型收敛速度,整体分割精度得到提升。

Description

一种基于U型网络的MRI图像前列腺分割方法
技术领域
本发明涉及图像处理领域,特别涉及一种基于U型网络的MRI图像前列腺分割方法。
背景技术
前列腺疾病作为男科和泌尿外科的主要病种,其相关疾病发病率高达2.5%~16%,已成为困扰男性健康的主要问题之一。目前,计算机断层扫描(ComputedTomography,CT)和磁共振成像(Magnetic Resonance Imaging,MRI)是诊断前列腺疾病的主要手段,其中,由于MRI技术对软组织具有较高的分辨率,能够清晰地呈现出前列腺及病变组织,在前列腺疾病诊断中的应用日渐广泛。
临床上对前列腺病变的传统检测方法,往往需要医生手工勾勒出前列腺的组织轮廓,但受限于医生的经验技术水平以及存在的再现性差、工作量过大等问题,加之前列腺组织与周围组织的对比度较低,边界模糊不清,人工对前列腺区域分割的精确度难于保证,所以常常造成误诊、漏诊等情况。随着数字图像处理技术的飞跃,对MRI图像前列腺的自动分割方法得到了迅速的发展。如:Heimann等人提出了基于模型的MRI图像前列腺分割方法,该方法通过将测试图像与一个包含形状和外形信息的模型进行匹配,从而实现对MRI图像前列腺区域的分割,该方法对局部图像伪影和噪声有很好的鲁棒性,但计算过于复杂,而且通常需要手工标记出许多前列腺边界点作为先验知识,对边界标记点的位置非常敏感;为了缓解此问题,Yang等人引入判别分析法,结合尺度不变特征变换(Scale-invariantfeature transform,SIFT)特征,自适应地调整每一个标记点的位置,取得了一定的效果;在此基础上,基于边界特征学习的算法也被引入MRI图像前列腺分割中,该类方法利用形状和纹理信息来选择显著的特征点,力求正确描述前列腺组织的边缘。此外,得益于图论在图像边缘检测中的成功应用,Mahapatra等提出了一种利用随机森林和基于图论切割的前列腺自动分割方法,该方法首先利用超像素分割获得感兴趣区域,然后利用学习到的图像特征及上下文特征构建随机森林分类器并生成预测概率图,从而勾画出前列腺的组织轮廓。
上述方法虽然实现了前列腺组织的自动分割,但是由于过于依赖人工特征的选取或者需要引入先验信息,不仅分割精度还有待提高,而且计算复杂度高,时间消耗长,难于在临床上推广应用。近年来,深度学习因其强大的特征表达能力,在计算机视觉的图像识别相关领域中取得了巨大的成功,也极大地推动了MRI图像前列腺分割处理技术的发展。如:He提出了一种基于主动形状模型(Active shape model,ASM)的磁共振图像前列腺分割方法,该方法将深度特征学习融入到基于边界模型的三级ASM分割框架中,解决了不同受试者之间前列腺边界外观差异较大、分割效果较差的问题;Liao等人在深度学习框架下,采用堆叠的独立子空间分析(Independent subspace analysis,ISA)网络,以分层和无监督的方式学习最有效的特征,实现前列腺图像的分割,显著提高了算法的分割精度;凌等人则利用MRI图像高分辨率与多模态图像信息互补的特点,构建了一种基于MRI与CT图像的多模态深度学习模型,实现了前列腺组织的分割。
总体而言,相比传统依赖人工特征提取的方法,基于深度学习的MRI图像前列腺分割方法分割效果显著,但由于前列腺组织区域在MRI图像中占比较小的原因,一般的深度学习模型存在特征提取不充分的问题。鉴于深度FCN(Fully Convolutional Networks)在图像分割任务上的成功,将深度FCN引入MRI图像前列腺分割方法逐渐进入人们的视线。Tian等人提出一种深度FCN来自动分割前列腺,该方法将MRI图像和相应的Ground Truth在单个学习阶段进行端到端的训练,从而学习到对像素进行分割的推理信息。由于FCN对图像进行的是像素级的分类,针对医学图像具有生理组织多样化、线条不规则的特点,FCN模型分割时可以对图像中的组织结构等细节信息精准定位,有效地提高了分割精度。在FCN的基础上,Ronneberger提出一种全卷积神经网络(U-net)模型,该模型的网络结构去掉了传统卷积神经网络冗余的全连接层,利用上采样层提高图片输出分辨率,同时利用跳跃连接方式结合浅层像素定位信息和深层像素分类信息,实验表明,该网络模型在诸多医学图像分割的任务中都取得了成功。
虽然U-net模型在在医学图像分割中表现出较好的性能,但当其应用于MRI图像前列腺分割时仍然存在以下问题:(1)、U-net模型通过增加网络层级提升网络分割精度,但这往往会导致反向传播过程中梯度弥散;(2)、U-net网络中的池化下采样操作会导致目标边缘的细节信息丢失,给上采样后特征图的重构带来影响,导致分割精度降低;(3)、待分割的腺体具有不同的大小和形状,且腺体组织与背景对比度不高,导致网络难于专注于腺体结构的学习。因此需要进一步改进。
发明内容
本发明所要解决的技术问题是针对现有技术的现状,提供一种基于U型网络的MRI图像前列腺分割方法,该方法在边缘与细节处的分割结果更加准确,不仅提升了前列腺分割的效果,而且也加快了网络的收敛速度。
本发明解决上述技术问题所采用的技术方案为:一种基于U型网络的MRI图像前列腺分割方法,其特征在于包括以下步骤:
步骤1、数据集由包含前列腺区域的S幅MRI图像及相对应的手工标记图像组成,手工标记图像由人工对MRI图像进行手动分割再标注前列腺区域后形成,从数据集中选取S1幅MRI图像组成训练集,并选取S2幅未参与训练的MRI图像组成测试集,S1和S2均为正整数,S=S1+S2
步骤2、分别对训练集和测试集中的所有MRI图像进行预处理,得到预处理之后的训练集和测试集,将预处理之后的训练集和测试集中的图像分别记为第一图像和第二图像;
步骤3、初始化U型网络中的参数,并将所有第一图像依次输入到U型网络中进行训练,不断更新U型网络中的参数,得到训练完成的U型网络;
其中,使用任意一幅第一图像对U型网络进行训练的具体过程为:
步骤3-1、将任意一幅第一图像输入到U型网络中,其中,U型网络包括N个下采样层、N个上采样层和1个softmax层,N为通过实验确定的最优正整数;
步骤3-2、对输入的第一图像进行M次卷积,得到与输入的第一图像尺寸大小相同的特征图,并将第一图像M次卷积之后得到的特征图与输入的第一图像相减,得到第1残差特征图;其中,M为正整数;
步骤3-3、对该第1残差特征图进行一次卷积下采样,得到第1次下采样特征图;之后对该第1次下采样特征图进行M次卷积,得到与第1次下采样特征图尺寸大小相同的特征图;并将第1次下采样特征图M次卷积之后得到的特征图与第1次下采样特征图相减,得到第2残差特征图;
步骤3-4、按照与步骤3-3相同的方式,再次对第n残差特征图进行一次卷积下采样,得到第n次下采样特征图;之后对该第n次下采样特征图进行M次卷积,得到与第n次下采样特征图尺寸大小相同的特征图;并将第n次下采样特征图M次卷积之后得到的特征图与第n次下采样特征图相减,得到第n+1残差特征图;其中,n的初始值为2;
步骤3-5、将n的值加1后再次执行步骤3-4;
步骤3-6、反复执行步骤3-5,直到n=N+1时,则转至步骤3-7;
步骤3-7、对第N+1残差特征图进行一次上采样,得到第1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加,得到第1特征图;
步骤3-8、对该第1特征图进行K次卷积,得到与该第1特征图尺寸大小相同的特征图;并将第1特征图K次卷积之后的特征图与第1特征图相减,得到第1次上采样残差特征图,其中,K为正整数;
步骤3-9、按照与步骤3-7相同的方式,再次对第m次上采样残差特征图进行一次上采样,得到第m+1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加,得到第m+1特征图;其中,m的初始值为1;
步骤3-10、按照与步骤3-8相同的方式,再次对第m+1特征图进行K次卷积,得到与该第m+1特征图尺寸大小相同的特征图;并将第m+1特征图K次卷积之后的特征图与第m+1特征图相减,得到第m+1次上采样残差特征图;
步骤3-11、将m的值加1后再次执行步骤3-9和步骤3-10;
步骤3-12、反复执行步骤3-11,直到m=N时,则转至步骤3-13;
步骤3-13、将得到的第N次上采样残差特征图输入到softmax层,得到该幅第一图像对应的二值分割图;
步骤3-14、计算第一图像中该幅图像对应的二值分割图与第一图像中该幅图像所对应的经手工标记的标准分割图之间的损失函数,并反向传播到U型网络中,更新U型网络中的参数,得到一次训练之后的U型网络;
其中,损失函数D的计算公式为:
Figure BDA0002287523250000041
其中,pij为第一图像中该幅图像经过U型网络分割后的二值图像中坐标位置为(i,j)的像素值,gij为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值,X和Y分别是手工标记的标准分割图像目标区域的长和宽;
步骤4、将第二图像输入到训练完成的U型网络中,得到每幅MRI图像的前列腺预测分割图像。
为了解决原始的前列腺图像对比度极差,整体偏暗,组织特征不明显的问题,本方案中,所述步骤2中预处理的方法包括对训练集和测试集中的所有MRI图像进行直方图均衡化操作。该操作处理之后增强了图像的细节表现,提高了图像整体亮度。
为了解决训练样本数量较少造成的网络训练出现的过拟合现象,所述步骤2中预处理的方法包括对训练集和测试集中的所有MRI图像进行数据增强。其中,常用的数据增强手段有水平垂直平移,扩大缩放,尺度变换,旋转角度等。
作为优选,所述步骤3-3和3-4中每一次卷积下采样使用步长为2,尺寸大小为3*3卷积核。
所述步骤3-2~3-4中M=3,且3次卷积分别对应尺寸大小为1*1、3*3和1*1的卷积核。通过该种恒等映射能有效降低网络的参数量和计算量,且在保持原有精度的基础上进一步加快了网络的收敛速度。
与现有技术相比,本发明的优点在于:在下采样过程中放弃使用传统的池化操作,改用卷积下采样的方式,保留了更多的边缘细节信息,增大了感受野且减小了图像细节丢失;同时在网络中构建残差块,加快了网络模型收敛速度,避免产生梯度弥散问题;另外,通过将经过残差连接后的特征图映射到相同尺寸的上采样特征图中,建立相同尺寸的特征图层之间的跳跃连接,去除了一些附近组织的干扰,保留了相同尺寸特征图细节信息的特征通道,提高了网络对图像细节的刻画能力,使所要求的分割区域图像特征提取工作更加高效;能提取更多更丰富的图像特征,因此该方法的分割效果更好。
附图说明
图1为本发明实施例中U型网络架构示意图;
图2为本发明实施例中使用卷积下采样和池化下采样方法得到的特征图;
图3为本发明实施例中两种残差块的结构示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种基于U型网络的MRI图像前列腺分割方法,包括以下步骤:
步骤1、数据集由包含前列腺区域的S幅MRI图像及相对应的手工标记图像组成,手工标记图像由人工对MRI图像进行手动分割再标注前列腺区域后形成,从数据集中选取S1幅MRI图像组成训练集,并选取S2幅未参与训练的MRI图像组成测试集,S1和S2均为正整数,S=S1+S2
本实施例中,MRI图像的采集仪器是Siemens Trio Tim 3.0T超导型磁共振扫描仪,采集的图片分辨率为512像素×512像素,数据格式为DICOM格式;前列腺区域的手工标记图像由至少两位具有多年临床经验的影像科医生手工标注分割后形成;为了对该U型网络的预测结果好坏进行评价,因此选取的测试集中每幅MRI图像中均包括由人工手动标记的图像,通过将预测的结果与人工标记的结果进行对比,从而得出该U型网络的预测结果的好坏;该方法能有效减少单独人工手动标记或单独通过该U型网络进行预测而造成的误差;当然,当通过测试集中的大量数据验证该U型网络的预测结果准确率较高时,则可直接使用该U型网络对测试集的MRI图像的分割结果进行预测;
步骤2、分别对训练集和测试集中的所有MRI图像进行预处理,得到预处理之后的训练集和测试集,将预处理之后的训练集和测试集中的图像分别记为第一图像和第二图像;
其中,原始的MRI图像存在对比度极差,整体偏暗,组织特征不明显等问题,若直接将其输入到U型网络中进行训练,分割结果将不尽人意,除此之外,较少的数据量也极易导致网络训练出现过拟合现象,目前的解决方法除了使用Dropout技术外,还可以通过增大训练样本的方法。因此考虑到前列腺数据的特性,本发明中首先对原始的前列腺图像进行直方图均衡化预处理操作,增强图像的细节表现,提高图像整体亮度;且针对数据量较少的问题,对原始的MRI图像进行几何变换来增加数据量,也就是数据增强,常用的数据增强手段有水平垂直平移,扩大缩放,尺度变换,旋转角度等,数据增强后图像输入到U型网络中能相对较快较稳定地达到收敛,直观说明了数据增强对U型网络性能提升带来的直接影响;
步骤3、初始化U型网络中的参数,并将所有第一图像依次输入到U型网络中进行训练,不断更新U型网络中的参数,得到训练完成的U型网络;其中,U型网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小以及Dropout层数等参数,权值和偏置是在U型网络训练过程中不断更改的,而卷积核数目、卷积核大小以及Dropout层数是根据实验确定能保证最优分割效果的参数,这类参数是在训练过程中不进行更改的;
其中,使用任意一幅第一图像对U型网络进行训练的具体过程为:
步骤3-1、将任意一幅第一图像输入到U型网络中,其中,如图1所示,U型网络中没有全连接层,主要包括收缩路径和扩展路径,收缩路径对应为下采样层,扩展路径对应为上采样层,是一个对称模型,本实施例中,U型网络包括N个下采样层、N个上采样层和1个softmax层,N为通过实验确定的最优正整数,该U型网络为现有常规技术;
在本方案中,考虑到U型网络的层次N的取值对特征提取效果影响较大,为了找到合适的网络层次,通过预设N值,并通过逐步增加层次的方式搭建不同层次的网络模型进行训练,分别使用Dice相似性系数(Dice coefficient,DSC)、95%霍斯多夫距离(95%Hausdorff distance,95%HD)、绝对相对体积距离(Absolute relative volumedistance,AVD)、精确率(Precision)和召回率(Recall)等多种指标对不同的网络模型的表现性能进行评价和分析前列腺组织区域的分割效果,从而找到最合适的网络层次N值;本实施例中,N=5时该U型网络对前列腺区域的分割效果最好;
步骤3-2、对输入的第一图像进行M次卷积,得到与输入的第一图像尺寸大小相同的特征图,并将第一图像M次卷积之后得到的特征图与输入的第一图像相减,得到第1残差特征图;其中,M为正整数;M值为经验值,本实施例中,M=3,分别对应大小为1*1、3*3和1*1的卷积核;
通过将第一图像M次卷积之后得到的特征图与输入的第一图像相减的方法属于残差学习方法,一般的残差模块设计成如图3中(a)所示的无瓶颈残差块结构,其随着网络深度的加深,所需要的计算资源更多,为了减少网络模型的参数量和计算量,同时保留无瓶颈残差块的精度,本发明中采用了图3中(b)所示的瓶颈残差块结构,当输出通道数为N时,网络参数量约降低到无瓶颈残差块结构的77.8%,较少的参数量使得训练更加容易,同等条件下,能使模型较快达到收敛状态;瓶颈残差块的引入在保持原有精度的基础上进一步加快了网络模型的收敛速度;
步骤3-3、对该第1残差特征图进行一次卷积下采样,得到第1次下采样特征图;之后对该第1次下采样特征图进行M次卷积,得到与第1次下采样特征图尺寸大小相同的特征图;并将第1次下采样特征图M次卷积之后得到的特征图与第1次下采样特征图相减,得到第2残差特征图;本实施例中,一次卷积下采样之后特征图的尺寸缩小了一半;
为了减少池化下采样对分割精度的影响,本实施例中,采用步长为2的3*3卷积核进行卷积下采样代替简单的窗口池化操作,使得下采样模块不仅可以尽可能保留底层的细节信息,而且在训练过程中由于不需要记录池化层输出所对应的位置信息,具有更小的内存占用等特点。如图2所示,相比于传统的池化操作,步长卷积保留了更多的边缘细节信息,在第三、四、五层下采样特征图中组织轮廓相对清晰,特征提取中的优势更加明显;
步骤3-4、按照与步骤3-3相同的方式,再次对第n残差特征图进行一次卷积下采样,得到第n次下采样特征图;之后对该第n次下采样特征图进行M次卷积,得到与第n次下采样特征图尺寸大小相同的特征图;并将第n次下采样特征图M次卷积之后得到的特征图与第n次下采样特征图相减,得到第n+1残差特征图;其中,n的初始值为2;
步骤3-5、将n的值加1后再次执行步骤3-4;
步骤3-6、反复执行步骤3-5,直到n=N+1时,则转至步骤3-7;
步骤3-7、对第N+1残差特征图进行一次上采样,得到第1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加,得到第1特征图;
步骤3-8、对该第1特征图进行K次卷积,得到与该第1特征图尺寸大小相同的特征图;并将第1特征图K次卷积之后的特征图与第1特征图相减,得到第1次上采样残差特征图,其中,K为正整数;本实施例中,K=2;
步骤3-9、按照与步骤3-7相同的方式,再次对第m次上采样残差特征图进行一次上采样,得到第m+1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加,得到第m+1特征图;其中,m的初始值为1;
步骤3-10、按照与步骤3-8相同的方式,再次对第m+1特征图进行K次卷积,得到与该第m+1特征图尺寸大小相同的特征图;并将第m+1特征图K次卷积之后的特征图与第m+1特征图相减,得到第m+1次上采样残差特征图;
步骤3-11、将m的值加1后再次执行步骤3-9和步骤3-10;
步骤3-12、反复执行步骤3-11,直到m=N时,则转至步骤3-13;
步骤3-13、将得到的第N次上采样残差特征图输入到softmax层,得到该幅第一图像对应的二值分割图;
步骤3-14、计算第一图像中该幅图像对应的二值分割图与第一图像中该幅图像对应的手工标记图像之间的损失函数,并反向传播到U型网络中,更新U型网络中的参数,得到训练完成的U型网络;其中,反向传播过程中更改的参数为权值和偏置;上述反向传播的过程是现有的U型网络中常规的技术;
损失函数作为度量神经网络输出预测值和实际值之间差距的一种方式,对于最终的训练效果影响非常大。常用的损失函数包括最小二乘函数、交叉熵函数等。应用于磁共振图像分割时,由于样本中的感兴趣区域分布不均衡,所要提取的感兴趣区域与背景之间差别较小,进而导致网络容易偏向于学习背景区域的特征信息,为了解决这个问题,本发明根据工程实际中常用的Dice相似性系数进行改进得到一种目标损失函数,该损失函数参与反向传播中的网络参数更新过程,促使分割朝着图像所需的标记部分内容进行学习,以提高模型的整体分割性能,损失函数D的计算公式为:
Figure BDA0002287523250000081
其中,pij为第一图像中该幅图像经过U型网络分割后的二值图像中坐标位置为(i,j)的像素值,gij为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值,X和Y分别是手工标记的标准分割图像目标区域的长和宽;
步骤4、将第二图像输入到训练完成的U型网络中,得到每幅MRI图像前列腺区域的分割图像。
为了更好的理解该U型网络的实现过程,本实施例中,以512×512的原始MRI图像为例进行描述,如图1所示,512×512的原始MRI图像经过3次卷积之后计算出第1残差特征图,并对该第1残差特征图进行一次卷积下采样,得到256×256的第1次下采样特征图,之后将该第1次下采样特征图进行3次卷积,计算出第1次下采样特征图卷积之后的特征图与第1次下采样特征图之间的残差,继续按照上述的方法依次对每一层计算得到的残差特征图进行下采样,依次得到128×128的第2次下采样特征图、64×64的第3次下采样特征图、32×32的第4次下采样特征图和16×16的第5次下采样特征图,即完成下采样过程;之后对16×16的第6残差特征图进行上采样,得到32×32的第1次上采样特征图,并将32×32的第4次下采样特征图与该32×32的第1次上采样特征图进行相加,实现跳跃连接,得到第1特征图;之后对该第1特征图进行2次卷积,计算第1特征图2次卷积之后的特征图与第1特征图之间的残差,得到32×32第1次上采样残差特征图,同样采用上述的方法依次对每一层计算得到的残差特征图进行上采样,依次得到64×64的第2次上采样残差特征图、128×128的第3次上采样残差特征图、256×256的第4次上采样残差特征图和512×512的第5次上采样残差特征图,即完成上采样过程;最后将512×512的第5次上采样残差特征图输入到softmax层,将网络的输出结果转换成二分类问题,得到二值分割图,即得到512×512的二值分割图,分割图中白色部分代表前列腺组织,黑色代表其他组织。
同样考虑到原始数据集图像数量的局限,可以利用所有数据中前列腺区域在MRI图像中的分布信息,进行半监督学习;训练分为两个阶段:第一阶段、主要利用经手工标记的标准前列腺分割图像的数据进行训练生成U型网络模型,进而对未标记的前列腺MRI图像进行预测,并将预测结果放进最初的训练集;第二阶段、使用所有数据,进行整合训练,生成最终的网络模型。
一方面,该分割方法在U型网络训练前对MRI图像进行预处理,通过对原始MRI图像进行直方图均衡化,增加了图像的细节表现,以更好地提取图像特征且方便U型网络的学习,数据增强操作增加了训练样本,避免产生过拟合现象;另一方面,在U型网络训练过程中,通过在网络中构建残差块,加快网络收敛速度,避免产生梯度弥散问题;并且放弃使用传统的池化操作,改用卷积下采样的方式,在边缘与细节处的分割结果更加准确,在特征提取中的优势更加明显;另外,通过将经过残差连接后的特征图映射到相同尺寸的上采样特征图中,建立相同尺寸的特征图层之间的跳跃连接,去除了一些附近组织的干扰,保留了相同尺寸特征图细节信息的特征通道,提高了网络对图像细节的刻画能力,使所要求的分割区域图像特征提取工作更加高效,因此本发明中的方法能更好的保证对MRI图像前列腺区域的分割效果。
为了验证本发明方法的分割效果,使用不同的卷积神经网络算法在前列腺区域分割任务中进行了定量实验,表1给出了不同参考方法各项指标的定量评价数据,其中AFL-PBT+CNN-ASM方法引自Liao S,Gao Y,Oto A,et al.Representation Learning:A UnifiedDeep Learning Framework for Automatic Prostate MR Segmentation[J].Med ImageComput Comput Assist Interv,2013,16(2):254-261中公开的算法,CNN、FCN、DeconvNet和U-net方法均为常规的算法,从表中可以看出本发明方法在体现预测结果和手工标注结果相似度的DSC指标上表现较好,经典方法U-net则表现出较好的准确率,本文方法改进了基础的U-net结构,对目标区域特征的挖掘和处理更加的高效,因此在包括DSC、AVD和Recall值等指标的表现上均超过了其它传统方法,具有较高的精确度,较低的误差,同时整体计算在GPU上完成,处理过程花费较少的时间成本,满足实际的临床需求。
表1不同方法分割效果的定量比较
Figure BDA0002287523250000101

Claims (5)

1.一种基于U型网络的MRI图像前列腺分割方法,其特征在于包括以下步骤:
步骤1、数据集由包含前列腺区域的S幅MRI图像及相对应的手工标记图像组成,手工标记图像由人工对MRI图像进行手动分割再标注前列腺区域后形成,从数据集中选取S1幅MRI图像组成训练集,并选取S2幅未参与训练的MRI图像组成测试集,S1和S2均为正整数,S=S1+S2
步骤2、分别对训练集和测试集中的所有MRI图像进行预处理,得到预处理之后的训练集和测试集,将预处理之后的训练集和测试集中的图像分别记为第一图像和第二图像;
步骤3、初始化U型网络中的参数,并将所有第一图像依次输入到U型网络中进行训练,不断更新U型网络中的参数,得到训练完成的U型网络;
其中,使用任意一幅第一图像对U型网络进行训练的具体过程为:
步骤3-1、将任意一幅第一图像输入到U型网络中,其中,U型网络包括N个下采样层、N个上采样层和1个softmax层,N为通过实验确定的最优正整数;
步骤3-2、对输入的第一图像进行M次卷积,得到与输入的第一图像尺寸大小相同的特征图,并将第一图像M次卷积之后得到的特征图与输入的第一图像相减,得到第1残差特征图;其中,M为正整数;
步骤3-3、对该第1残差特征图进行一次卷积下采样,得到第1次下采样特征图;之后对该第1次下采样特征图进行M次卷积,得到与第1次下采样特征图尺寸大小相同的特征图;并将第1次下采样特征图M次卷积之后得到的特征图与第1次下采样特征图相减,得到第2残差特征图;
步骤3-4、按照与步骤3-3相同的方式,再次对第n残差特征图进行一次卷积下采样,得到第n次下采样特征图;之后对该第n次下采样特征图进行M次卷积,得到与第n次下采样特征图尺寸大小相同的特征图;并将第n次下采样特征图M次卷积之后得到的特征图与第n次下采样特征图相减,得到第n+1残差特征图;其中,n的初始值为2;
步骤3-5、将n的值加1后再次执行步骤3-4;
步骤3-6、反复执行步骤3-5,直到n=N+1时,则转至步骤3-7;
步骤3-7、对第N+1残差特征图进行一次上采样,得到第1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加,得到第1特征图;
步骤3-8、对该第1特征图进行K次卷积,得到与该第1特征图尺寸大小相同的特征图;并将第1特征图K次卷积之后的特征图与第1特征图相减,得到第1次上采样残差特征图,其中,K为正整数;
步骤3-9、按照与步骤3-7相同的方式,再次对第m次上采样残差特征图进行一次上采样,得到第m+1次上采样特征图;并将第1残差特征图~第N+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加,得到第m+1特征图;其中,m的初始值为1;
步骤3-10、按照与步骤3-8相同的方式,再次对第m+1特征图进行K次卷积,得到与该第m+1特征图尺寸大小相同的特征图;并将第m+1特征图K次卷积之后的特征图与第m+1特征图相减,得到第m+1次上采样残差特征图;
步骤3-11、将m的值加1后再次执行步骤3-9和步骤3-10;
步骤3-12、反复执行步骤3-11,直到m=N时,则转至步骤3-13;
步骤3-13、将得到的第N次上采样残差特征图输入到softmax层,得到该幅第一图像对应的二值分割图;
步骤3-14、计算第一图像中该幅图像对应的二值分割图与第一图像中该幅图像对应的手工标记图像之间的损失函数,并反向传播到U型网络中,更新U型网络中的参数,得到一次训练之后的U型网络;
其中,损失函数D的计算公式为:
Figure FDA0002287523240000021
其中,pij为第一图像中该幅图像经过U型网络分割后的二值图像中坐标位置为(i,j)的像素值,gij为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值,X和Y分别是手工标记的标准分割图像目标区域的长和宽;
步骤4、将第二图像输入到训练完成的U型网络中,得到每幅MRI图像前列腺区域的分割图。
2.根据权利要求1所述的MRI图像前列腺分割方法,其特征在于:所述步骤2中预处理的方法包括对训练集和测试集中的所有MRI图像进行直方图均衡化操作。
3.根据权利要求2所述的MRI图像前列腺分割方法,其特征在于:所述步骤2中预处理的方法还包括对训练集和测试集中的所有MRI图像进行数据增强。
4.根据权利要求1所述的MRI图像前列腺分割方法,其特征在于:所述步骤3-3和3-4中每一次卷积下采样使用步长为2,尺寸大小为3*3卷积核。
5.根据权利要求1所述的MRI图像前列腺分割方法,其特征在于:所述步骤3-2~3-4中M=3,且3次卷积分别对应尺寸大小为1*1、3*3和1*1的卷积核。
CN201911166223.4A 2019-11-25 2019-11-25 一种基于u型网络的mri图像前列腺分割方法 Active CN110930416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166223.4A CN110930416B (zh) 2019-11-25 2019-11-25 一种基于u型网络的mri图像前列腺分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166223.4A CN110930416B (zh) 2019-11-25 2019-11-25 一种基于u型网络的mri图像前列腺分割方法

Publications (2)

Publication Number Publication Date
CN110930416A true CN110930416A (zh) 2020-03-27
CN110930416B CN110930416B (zh) 2022-05-06

Family

ID=69851855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166223.4A Active CN110930416B (zh) 2019-11-25 2019-11-25 一种基于u型网络的mri图像前列腺分割方法

Country Status (1)

Country Link
CN (1) CN110930416B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612791A (zh) * 2020-05-13 2020-09-01 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN111739034A (zh) * 2020-06-28 2020-10-02 北京小白世纪网络科技有限公司 基于改进的3D Unet的冠状动脉区域分割系统及方法
CN111814693A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海上船舶识别方法
CN112102259A (zh) * 2020-08-27 2020-12-18 温州医科大学附属眼视光医院 一种基于边界引导深度学习的图像分割算法
CN112215814A (zh) * 2020-10-12 2021-01-12 海南大学 基于3dhog辅助卷积神经网络的前列腺图像分割方法
CN112381767A (zh) * 2020-10-27 2021-02-19 深圳大学 角膜反射图像的筛选方法、装置、智能终端及存储介质
CN112418028A (zh) * 2020-11-11 2021-02-26 上海交通大学 一种基于深度学习的卫星图像中船舶识别与分割方法
CN112927224A (zh) * 2021-03-30 2021-06-08 太原理工大学 基于深度学习及随机森林的心脏核磁图像识别方法、装置及设备、存储介质
CN113160256A (zh) * 2021-03-09 2021-07-23 宁波大学 一种多任务生成对抗模型的mr影像胎盘分割方法
CN113379757A (zh) * 2021-05-01 2021-09-10 首都医科大学宣武医院 用于训练脑影像分割模型的方法及脑影像分割方法
CN113476033A (zh) * 2021-08-18 2021-10-08 华中科技大学同济医学院附属同济医院 基于深度神经网络的mri良性前列腺增生目标区域自动生成方法
CN113534251A (zh) * 2020-04-22 2021-10-22 中国石油天然气股份有限公司 基于卷积神经网络的地震数据断裂识别方法及装置
CN113538363A (zh) * 2021-07-13 2021-10-22 南京航空航天大学 一种基于改进U-Net的肺部医学影像分割方法及装置
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050141617A1 (en) * 2003-12-27 2005-06-30 Samsung Electronics Co., Ltd. Residue image down/up sampling method and apparatus and image encoding/decoding method and apparatus using residue sampling
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050141617A1 (en) * 2003-12-27 2005-06-30 Samsung Electronics Co., Ltd. Residue image down/up sampling method and apparatus and image encoding/decoding method and apparatus using residue sampling
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
行者无疆兮: "【深度学习】空洞卷积(Atrous Convolution)", 《CSDN》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113534251A (zh) * 2020-04-22 2021-10-22 中国石油天然气股份有限公司 基于卷积神经网络的地震数据断裂识别方法及装置
CN111612791A (zh) * 2020-05-13 2020-09-01 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN111612791B (zh) * 2020-05-13 2023-11-28 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN111739034A (zh) * 2020-06-28 2020-10-02 北京小白世纪网络科技有限公司 基于改进的3D Unet的冠状动脉区域分割系统及方法
CN111814693A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海上船舶识别方法
CN112102259A (zh) * 2020-08-27 2020-12-18 温州医科大学附属眼视光医院 一种基于边界引导深度学习的图像分割算法
CN112215814A (zh) * 2020-10-12 2021-01-12 海南大学 基于3dhog辅助卷积神经网络的前列腺图像分割方法
CN112215814B (zh) * 2020-10-12 2023-12-22 海南大学 基于3dhog辅助卷积神经网络的前列腺图像分割方法
CN112381767A (zh) * 2020-10-27 2021-02-19 深圳大学 角膜反射图像的筛选方法、装置、智能终端及存储介质
CN112381767B (zh) * 2020-10-27 2023-09-01 深圳大学 角膜反射图像的筛选方法、装置、智能终端及存储介质
CN112418028A (zh) * 2020-11-11 2021-02-26 上海交通大学 一种基于深度学习的卫星图像中船舶识别与分割方法
CN113160256A (zh) * 2021-03-09 2021-07-23 宁波大学 一种多任务生成对抗模型的mr影像胎盘分割方法
CN113160256B (zh) * 2021-03-09 2023-08-18 宁波大学 一种多任务生成对抗模型的mr影像胎盘分割方法
CN112927224A (zh) * 2021-03-30 2021-06-08 太原理工大学 基于深度学习及随机森林的心脏核磁图像识别方法、装置及设备、存储介质
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN113379757A (zh) * 2021-05-01 2021-09-10 首都医科大学宣武医院 用于训练脑影像分割模型的方法及脑影像分割方法
CN113379757B (zh) * 2021-05-01 2024-04-12 首都医科大学宣武医院 用于训练脑影像分割模型的方法及脑影像分割方法
CN113538363A (zh) * 2021-07-13 2021-10-22 南京航空航天大学 一种基于改进U-Net的肺部医学影像分割方法及装置
CN113476033A (zh) * 2021-08-18 2021-10-08 华中科技大学同济医学院附属同济医院 基于深度神经网络的mri良性前列腺增生目标区域自动生成方法

Also Published As

Publication number Publication date
CN110930416B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN110930397A (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN114723669A (zh) 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN115082493A (zh) 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN113269774B (zh) 一种mri图像的帕金森病分类及标注病灶区域的方法
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN113269754A (zh) 用于运动估计的神经网络系统和方法
CN111383759A (zh) 一种肺炎自动诊断系统
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116542924A (zh) 一种前列腺病灶区域检测方法、装置及存储介质
CN115409857A (zh) 一种基于深度学习的三维脑积水ct图像分割方法
Dandan et al. A multi-model organ segmentation method based on abdominal ultrasound image
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant