CN112614112A - Mcsli图像中条纹损伤的分割方法 - Google Patents

Mcsli图像中条纹损伤的分割方法 Download PDF

Info

Publication number
CN112614112A
CN112614112A CN202011553440.1A CN202011553440A CN112614112A CN 112614112 A CN112614112 A CN 112614112A CN 202011553440 A CN202011553440 A CN 202011553440A CN 112614112 A CN112614112 A CN 112614112A
Authority
CN
China
Prior art keywords
module
feature
mcsli
network
context information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011553440.1A
Other languages
English (en)
Other versions
CN112614112B (zh
Inventor
朱伟芳
罗高辉
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202011553440.1A priority Critical patent/CN112614112B/zh
Publication of CN112614112A publication Critical patent/CN112614112A/zh
Application granted granted Critical
Publication of CN112614112B publication Critical patent/CN112614112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明公开了一种MCSLI图像中条纹损伤的分割方法，先构建基于U‑Net网络的融合型图像分割网络模型；再选取多个MCSLI图像构成训练数据集，并将训练数据集输入所述融合型图像分割网络模型中进行训练，并根据训练结果优化所述融合型图像分割网络模型；将待处理的MCSLI图像输入优化后的融合型图像分割网络模型中进行条纹损伤的分割。本发明能够精确高效地实现MCSLI图像的条纹损伤的自动分割。

Description

MCSLI图像中条纹损伤的分割方法
技术领域
本发明涉及医学影像处理技术领域，具体涉及一种MCSLI图像中条纹损伤的分割方法。
背景技术
医学影像，是指为了医疗或医学研究目的，对人体或人体某部分以非侵入方式取得内部组织器官影像的技术与处理过程，根据其实现步骤不同，医学影像包括医学成像技术和医学处理技术，借助医学影像技术，医疗人员可以更清晰地了解人体特定的组织器官状况进而给出更为精准和合理的诊疗方案。而医学图像分割是现代医学影像处理中的关键技术，它是正常组织和病变组织的三维重建、定量分析等后续操作的基础。
医学图像分割分为传统图像分割方法和深度学习图像分割方法，其中，传统图像分割方法包括基于阈值分割方法，基于区域的分割方法，基于边缘的分割方法以及基于特定工具的分割方法(如MATLAB等工具)等，相较于传统图像分割方法，深度学习图像分割方法能够在多个公共数据集的多种场景图像中精确地分割出多种分割目标，其具有高准确度和高泛化性的优点，因此，鉴于深度学习图像分割方法的上述优点，自2015年FCN网络提出之后，深度学习图像分割方法被得以广泛应用。SegNet和U-Net等编解码分割网络被广泛应用在医学图像分割中。
病理性近视是导致失明的一个主要原因。条纹损伤(如附图1中的箭头所指)是评估病理性近视的一个重要临床表现。现有的眼部成像主要采用ICGA(Indocyanine GreenAngiography，吲哚菁绿血管造影术)和MCSLI(Multi-Color Scanning Laser Imaging，炫彩多色扫描激光成像)成像方式，其中，ICGA图像是是临床诊断条纹损伤的“金标准”，但是该图像的成像方式属于有创检测，图像在成像时需要注射造影剂—吲哚菁绿(ICG)，且造影剂可能引起不良反应，例如过敏，头晕，甚至休克。而MCSLI成像则属于无创成像，它是使用三种不同波长的激光(488nm，515nm，820nm)同时扫描眼底，再通过叠加技术,来清晰显示多层次的视网膜结构，因此MCSLI图像可以比其他无创成像方式(普通眼底彩照和无赤光眼底彩照等)和其他一些有创成像(ICGA)显影更丰富的条纹损伤改变。例如，图1中(a)、(c)为条纹损伤的ICGA图像，图1中(b)、(d)则分别是(a)、(c)对应的MCSL图像。
利用现有的深度学习图像分割方法来对MCSLI图像进行条纹损伤的自动分割时，可采用以下两种方式，一种是采用条件生成式对抗网络(conditionalGenerativeAdversarial Network，CGAN)来进行条纹损伤自动分割，但是该方式的CGAN模型复杂度较高，超参数过多且CGAN训练过程不稳定；另一种是采用一种尺度感知金字塔融合(SAPF)模块，用以动态融合高级特征中的多尺度上下文信息，从而使用该SAPF模块实现图像中条纹损伤的自动分割，但SAPF模块仅融合了多尺度信息，而不能充分获取全局上下文信息，条纹损伤分割的效果不佳。
综上所述，现有的深度学习图像分割方法无法精确高效地实现MCSLI图像的条纹损伤的自动分割。
发明内容
本发明要解决的技术问题是提供一种MCSLI图像中条纹损伤的分割方法，能够精确高效地实现MCSLI图像的条纹损伤的自动分割。
为了解决上述技术问题，本发明提供的技术方案如下：
一种MCSLI图像中条纹损伤的分割方法，包括以下步骤：
S1)构建基于U-Net网络的融合型图像分割网络模型；
所述U-Net网络包括编码网络和解码网络，所述编码网络包括多个编码器，所述解码网络包括多个解码器，所述编码器和所述解码器一一对应，所述编码器和相应的所述解码器之间设置有注意力门控模块，所述注意力门控模块用于对解码器的输入特征图中的前景和背景分别赋予权重后再输出至解码器，赋予所述前景的权重大于赋予所述背景的权重；
构建所述融合型图像分割网络模型时，在所述编码网络和解码网络之间设置信息融合模块，所述信息融合模块用于提取多尺度上下文信息和全局上下文信息，并将多尺度上下文信息和全局上下文信息进行融合；
S2)选取多个MCSLI图像构成训练数据集，并将所述训练数据集输入至步骤1)中构建的所述融合型图像分割网络模型中进行训练，并根据训练结果优化所述融合型图像分割网络模型；
S3)将待处理的MCSLI图像输入至步骤S2)中优化后的融合型图像分割网络模型中进行条纹损伤的分割。
在其中一个实施方式中，所述编码器和解码器的输出端均设置有通道注意力模块，所述通道注意力模块用于对分割任务响应大的特征通道增大权重，而对分割任务响应小的特征通道减小权重。
在其中一个实施方式中，所述信息融合模块包括全局上下文模块、多尺度上下文模块和特征融合模块；
所述全局上下文模块，用于从编码网络输出的特征图中捕捉具有高级语义信息的全局上下文信息，并将捕捉到的全局上下文信息输入到所述多尺度上下文模块；
所述多尺度上下文模块，用于接收所述全局上下文模块输出的全局上下文信息，并从全局上下文信息中获取多尺度上下文信息，然后将全局上下文信息和多尺度上下文信息输出至所述特征融合模块；
所述特征融合模块，用于接收所述多尺度上下文模块输出的全局上下文信息和多尺度上下文信息，并将接收到的全局上下文信息和多尺度上下文信息进行融合形成另一特征图并输出至解码网络。
在其中一个实施方式中，经所述特征融合模块输出的特征图还需要和编码网络输出的特征图进行加权结合处理，经加权结合处理后特征图再输出至解码网络。
在其中一个实施方式中，所述全局上下文模块包括上下文建模模块和特征转换模块；
所述上下文建模模块，用于计算编码网络输出的特征图的特征权重，并将计算出的特征权重和编码网络输出的特征图相乘，从而获得一个全局上下文特征并输出至所述特征转换模块；
所述特征转换模块，用于将所述上下文建模模块输出的全局上下文特征和编码网络输出的特征图的所有特征通道的特征进行融合而得到全局上下文信息，并将得到的全局上下文信息输入到所述多尺度上下文模块。
在其中一个实施方式中，所述多尺度上下文模块由多个不同膨胀率的膨胀卷积并行组成。
在其中一个实施方式中，所述多尺度上下文模块中多个不同膨胀率的膨胀卷积采用共享权值。
在其中一个实施方式中，，所述步骤S2)中根据训练结果优化所述融合型图像分割网络模型时，采用损失函数对所述融合型图像分割网络模型进行优化，所述损失函数为Dice系数损失函数和交叉熵损失函数相加之和。
在其中一个实施方式中，所述步骤S2)中训练数据集中包含多个经数据增强处理的MCSLI图像，数据增强处理方式为：对MCSLI图像进行翻转、旋转或增加高斯噪声处理。
本发明具有以下有益效果：本发明的MCSLI图像中条纹损伤的分割方法，能够精确高效地实现MCSLI图像的条纹损伤的自动分割，为后续条纹损伤的定量分析以及无创检测评估奠定了良好的基础；所构建的融合型图像分割网络模型不需要调整超参数且训练过程相对稳定，整体模型对图像中的条纹损伤的分割效率较高。
附图说明
图1是ICGA图像和MCSLI图像和条纹损伤图例；
图2是本发明的MCSLI图像中条纹损伤的分割方法的结构示意图；
图3是图2中编码器的结构示意图；
图4是图2中解码器的结构示意图；
图5是图2中信息融合模块(SGCF)的结构示意图；
图6是信息融合模块(SGCF)中全局上下文模块(GC模块)、多尺度上下文模块(MSC模块)和特征融合模块(FF模块)的结构示意图；
图7是三个不同病例的MCSL图像的条纹损伤分割结果图；
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本实施例公开了一种MCSLI图像中条纹损伤的分割方法，包括以下步骤：
S1)构建基于U-Net网络的融合型图像分割网络模型，参阅图2，图2中
Figure BDA0002857836380000051
表示注意力门控模块，
Figure BDA0002857836380000052
表示上采样，
Figure BDA0002857836380000053
表示最大池化(下采样)；
U-Net网络包括编码网络和解码网络，编码网络包括多个编码器，解码网络包括多个解码器，编码器和解码器一一对应，编码器和相应的解码器之间设置有注意力门控模块，注意力门控模块用于在每一层解码器前，先对输入解码器的特征图进行处理，即对特征图中的前景和背景分别赋予权重，然后将处理后的特征图再输出至解码器，其中，赋予前景的权重大于赋予背景的权重，以抑制背景噪声；
其中,U-Net网络是一种常见的卷积分割网络，其在编码网络中使用编码卷积对输入图像进行若干次提取，在解码网络中使用转置卷积生成对应的分割好的图像，即对输入图像进行下采样编码和上采样解码，完成对输入图像的分析处理，但是U-Net网络对特征的利用率不高，不利于小目标的分割，通过增设注意力门控模块，构建形成Attention U-Net网络，注意力门控模块用于对上采样后的特征图和同层下采样层的上一层的特征图进行权重处理后再合并，能有效抑制输入图像中不相关区域，突出对特定任务有用的显著特征，即突出特征图中的前景目标而抑制背景噪声，从而更利于图像的分割，也提高了分割网络的运行稳定性。
融合型图像分割网络模型则是在Attention U-Net网络的基础上进行进一步改进，构建融合型图像分割网络模型时，在编码网络和解码网络之间设置信息融合模块(SGCF)，信息融合模块(SGCF)用于提取多尺度上下文信息和全局上下文信息，并将多尺度上下文信息和全局上下文信息进行融合；全局上下文信息可以表达每个像素与全局像素之间的关系，使得网络可以更准确地分割目标，通过多尺度上下文信息和全局上下文信息进行融合，能够更加精准地进行MCSLI图像中条纹损伤的自动分割；
S2)选取多个MCSLI图像构成训练数据集，并将训练数据集输入至步骤1)中构建的上述融合型图像分割网络模型中进行训练，并根据训练结果优化融合型图像分割网络模型；
S3)将待处理的MCSLI图像输入至步骤S2)中优化后的融合型图像分割网络模型中进行条纹损伤的分割。
在其中一个实施方式中，参阅图3和图4，图中Conv表示二维卷积层，Relu表示修正线性单元，SE模块表示通道注意力模块。编码器和解码器的输出端均设置有通道注意力模块(SE模块)，通道注意力模块用于对分割任务响应大的特征通道增大权重，而对分割任务响应小的特征通道减小权重，以对特征通道进行注意力操作，提高特征信息的利用率，避免过多的冗余信息“淹没”目标信息，从而更利于这对条纹损伤这类小目标的分割，提高图像中条纹损伤的分隔效果。通过引入通道注意力模块和门控注意力模块这两种不同的注意力机制，能够更好地提升条纹损伤小目标的分割性能。
在其中一个实施方式中，如图5-图6所示，信息融合模块(SGCF模块)包括全局上下文模块(GC模块)、多尺度上下文模块(MSC模块)和特征融合模块(FF模块)：
全局上下文模块(GC模块)，用于从编码网络输出的特征图中捕捉具有高级语义信息的全局上下文信息，并将捕捉到的全局上下文信息输入到多尺度上下文模块；全局上下文模块(GC模块)，能够在几乎不增加计算量的情况下，提升目标检测、图像分类与分割等基础任务的性能。
多尺度上下文模块(MSC模块)，用于接收全局上下文模块输出的全局上下文信息，并从全局上下文信息中获取多尺度上下文信息，然后将全局上下文信息和多尺度上下文信息输出至特征融合模块；
特征融合模块(FF模块)，用于接收多尺度上下文模块输出的全局上下文信息和多尺度上下文信息，并将接收到的全局上下文信息和多尺度上下文信息进行融合形成另一特征图并输出至解码网络。
例如，假设三个不同尺度特征FA，FB和FC通过膨胀卷积后得到三个特征图A，B，C∈RH×W(H和W分别表示特征图的高度和宽度)，则三个像素级的注意力图A，B，C∈RH×W，可通过对空间特征图进行softmax操作得到，具体公式如下：
Figure BDA0002857836380000071
Figure BDA0002857836380000072
Figure BDA0002857836380000073
其中，Ai表示注意力图A中第i个元素，Bi表示注意力图B中第i个元素,Ci表示注意力图C中第i个元素；
最后，用注意力图A，B，C分别对尺度特征FA，FB和FC进行加权，得到最终的融合特征图Ffusion：
Ffusion＝A⊙FA+B⊙FB+C⊙FC；
其中，⊙表示像素级乘积操作。
进一步地，经特征融合模块输出的特征图还需要和编码网络输出的特征图进行加权结合处理，经加权结合处理后特征图再输出至解码网络，该过程中加权的权重系数α可由网络自主学习。由于编码网络输出的特征图中仍然具有较丰富的特征信息，经过将特征融合模块输出的特征图还需要和编码网络输出的特征图进行加权结合处理，能够避免必要的特征信息丢失，利于解码器能够利用更多的信息，提升最终的条纹损伤的分隔效果。
在其中一个实施方式中，如图6所示，全局上下文模块(GC模块)包括上下文建模模块和特征转换模块：
上下文建模模块，用于计算编码网络输出的特征图的特征权重，并将计算出的特征权重和编码网络输出的特征图相乘，从而获得一个全局上下文特征并输出至特征转换模块；例如，将C×H×W(C为特征图通道数，H为特征图的高度，W为特征图的宽度)的输入特征图通过一个1×1卷积转换为1×H×W的特征图，然后通过Softmax操作得到HW×1×1的特征权重，特征权重与编码网络输出的特征图(C×H×W变换为C×HW)进行相乘，实现将所有位置的特征聚合在一起形成一个全局上下文特征C×1×1。
特征转换模块，用于捕获通道间的相互依赖性，其用于将上下文建模模块输出的全局上下文特征和编码网络输出的特征图的所有特征通道的特征进行融合而得到全局上下文信息，并将得到的全局上下文信息输入到多尺度上下文模块。例如，上下文建模模块输出全局上下文特征C×1×1，特征转换模块通过一个卷积将其转换为C/r×1×1，经过BatchNormal和ReLU后输入到一个卷积层中进行转换，输出特征为C×1×1，最后将输出特征C×1×1与所有位置的特征进行融合，融合的方式采用元素广播相加，也即将C个通道的H×W中所有像素分别与C个对应通道的1×1的全局上下文特征相加。
在其中一个实施方式中，多尺度上下文模块由多个不同膨胀率的膨胀卷积并行组成，例如，多尺度上下文模块由三个不同膨胀率的膨胀卷积并行组成，膨胀率分别为1、2和4。
进一步地，多尺度上下文模块中多个不同膨胀率的膨胀卷积采用共享权值，以减少网络的参数和模型过拟合的风险。
在其中一个实施方式中，步骤S2)中根据训练结果优化融合型图像分割网络模型时，采用损失函数对融合型图像分割网络模型进行优化，损失函数为Dice系数损失函数和交叉熵损失函数相加之和。具体采用以下公式获取损失函数Ltotal：
Ltotal＝Lbce+Ldice；
Figure BDA0002857836380000081
Figure BDA0002857836380000082
其中，Ltotal表示损失函数，Lbce表示交叉熵损失函数，Ldice表示Dice系数损失函数；o表示融合型图像分割网络模型的输出图的像素值，t表示金标准中的目标像素值，n表示融合型图像分割网络模型的输出图中所有像素的个数，i表示第i个像素。
在其中一个实施方式中，步骤S2)中训练数据集中包含多个经数据增强处理的MCSLI图像，数据增强处理方式为：对MCSLI图像进行翻转、旋转或增加高斯噪声处理，也即训练数据集中包含原始MCSLI图像和经数据增强处理的MCSLI图像，以增加数据的多样性，从而增强网络的泛化性。
其中，翻转处理包括左右翻转、上下翻转；旋转处理包括-30°～30°的旋转。
选择进行数据增强处理的MCSLI图像时，采用随机选择的方式。
下面以来自57个患者的86张二维MCSLI图像数据来具体说明上述MCSLI图像中条纹损伤的分割方法：
首先，将MCSLI图像重采样为(496，496)，以86张二维MCSLI图像数据构成训练数据集，再将训练数据集按患者随机、均匀地分为四折(即四份，存储在四个文件夹中)，分别为22，22，21，21例数据；
接着，使用这四折数据对融合型图像分割网络模型(SGCNet网络模型)进行四折交叉验证训练，具体为：
第一折数据作为验证集时，其它三折数据作为训练集参与SGCNet网络模型的训练，第一折数据仅用来评估网络模型分割的效果；
第二折数据作为验证集时，其它三折数据作为训练集参与SGCNet网络模型的训练，第二折数据用来评估网络模型的分割效果；
以此类推，第三折、第四折数据的交叉验证训练同上。
在进行四折训练之后，会得到四个优化模型，分别将对应的数据子集(验证集)输入这些训练好的优化模型中得出分割结果。经过数次对网络参数的设置(如批数据大小，学习率，学习策略，epoch等)，选出交叉验证的实验结果最好的一组网络参数，然后使用该网络参数和网络结构对全部的数据集进行训练，训练完成得到一个最优的网络模型，也即得到最终优化的SGCNet网络模型，最后将未参加过训练的待处理的MCSLI图像输入该优化的SGCNet网络模型中进行条纹损伤的自动分割即可。
以第一折为例：
数据训练阶段：将第二折、第三折、第四折数据共64个数据经过在线增强(采用了随机左右翻转、上下翻转、-30度到30度旋转以及增加加性高斯噪声等在线方式进行数据扩增)后，输入SGCNet网络模型进行训练；
输入SGCNet网络模型的数据先依次经过四个编码器，每个编码器的输出记为c1,c2,c3,c4，经过四个编码器提取高级语义信息数据A，高级语义信息数据A经过信息融合模块(SGCF模块)进行全局和多尺度上下文信息的提取和融合，输出记为D；具体地：高级语义信息数据A先输入到GC模块提取全局上下文信息B，再将B输入到MSC模块提取出基于全局上下文信息的三个尺度的尺度特征信息，得到三个尺度的信息S1，S2，S3，将这三个尺度的特征信息作为FF模块的三个输入进行融合，输出具有全局和多尺度上下文信息的特征D，最后将A与D进行加权相加(融合)后输出至解码器。另外，SGCF模块的输出数据D在经过上采样后记为d4，SGCF模块的输出数据D在输出至解码器之前，d4与c4相结合输入门控注意力模块(G模块)，然后门控注意力模块(G模块)处理后再进入解码器中。
最后经解码网络中最上层的解码器输出分割结果。将分割结果图与金标准计算损失函数，进而调整网络模型参数，向着预测结果图和金标准损失函数最小的方向改变，以训练网络模型。每次训练完后，根据模型在所述验证集上的表现调整学习率。网络模型训练一定时间后，得到一个最优的网络模型，这个最优的网络模型就是在该实验环境下使得损失函数最小的一组参数。
为了客观评估上述实施例的MCSLI图像中条纹损伤的分割方法的性能，采用了Jaccard(Jaccard Index)指标、Dice系数指标、准确率(Acc)指标这三个评价指标。
本实施例的融合型图像分割网络模型记为SGCNet，将SGCNet网络模型中去除信息融合模块(SGCF模块)后的网络记为基线网络Baseline；将仅提取全局上下文信息的GC模块加入基线网络Baseline，记为“Baseline+GC”；将仅提取多尺度上下文信息的SAPF模块加入基线网络Baseline，记为“Baseline+SAPF”。将本实施例的基线网络Baseline、SGCNet网络模型与现有的U-Net、Attention U-Net进行性能的比较，以及为验证本实施例的SGCF模块的有效性，将本实施例的网络模型与Baseline+GC、Baseline+SAPF也进行了比较，比较结果参阅表1，表1为本实施例的MCSLI图像中条纹损伤的分割网络与其他分割网络的对比结果表：
表1本实施例的MCSLI图像中条纹损伤的分割网络与其他分割网络的对比结果表
分割网络 Jaccard指标 Dice系数 准确率Acc
U-Net 0.452±0.121 0.614±0.125 0.995±0.003
Attention U-Net 0.469±0.112 0.630±0.108 0.995±0.004
本实施例的基线网络Baseline 0.479±0.106 0.641±0.099 0.995±0.003
Baseline+GC 0.482±0.111 0.643±0.108 0.995±0.003
Baseline+SAPF 0.482±0.119 0.641±0.115 0.995±0.003
本实施例的SGCNet 0.491±0.106 0.651±0.098 0.996±0.003
由表1可知，本实施例的基线网络Baseline的性能优于上述其他分割网络。相对于基线网络，aseline，Baseline+GC与Baseline+SAPF网络在Jaccard系数上均有小幅提升，Dice系数提升不明显，而在基线网络Baseline中加入SGCF模块构成的SGCNet，其Jaccard系数比线网络Baseline增加了1.2％，达到49.1％，Dice系数提升了1％。
另外，图7展示了采用不同分割方式进行MCSL图像条纹损伤分割的结果，图7中(a)为原图，(b)为金标准，(c)-(f)依次为U-Net，Attention U-Net，基线网络Baseline和本实施例提出SGCNet网络的分割结果。由图7可知，本实施例提出的SGCNet网络模型在MCSL图像条纹损伤分割中性能最好。
综上所述，本实施例的MCSLI图像中条纹损伤的分割方法，改进了现有的U-Net分割网络对于全局上下文信息、多尺度上下文特征信息获取和融合困难以及特征信息利用率不高的缺点。本实施例通过引入信息融合模块(SGCF模块)实现了多尺度上下文信息和全局上下文信息的融合，通过引入不同的注意力机制提高了通道利用率以及关注前景目标和抑制背景噪声，从而提升了条纹损伤这类小目标分割的效果，能够精确高效地实现MCSLI图像的条纹损伤的自动分割，为后续条纹损伤的定量分析以及无创检测评估奠定了良好的基础。另外，本实施例所构建的SGCNet网络模型不需要调整超参数且训练过程相对稳定，整体模型对图像中的条纹损伤的分割效率较高。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种MCSLI图像中条纹损伤的分割方法，其特征在于，包括以下步骤：
S1)构建基于U-Net网络的融合型图像分割网络模型；
所述U-Net网络包括编码网络和解码网络，所述编码网络包括多个编码器，所述解码网络包括多个解码器，所述编码器和所述解码器一一对应，所述编码器和相应的所述解码器之间设置有注意力门控模块，所述注意力门控模块用于对解码器的输入特征图中的前景和背景分别赋予权重后再输出至解码器，赋予所述前景的权重大于赋予所述背景的权重；
构建所述融合型图像分割网络模型时，在所述编码网络和解码网络之间设置信息融合模块，所述信息融合模块用于提取多尺度上下文信息和全局上下文信息，并将多尺度上下文信息和全局上下文信息进行融合；
S2)选取多个MCSLI图像构成训练数据集，并将所述训练数据集输入至步骤1)中构建的所述融合型图像分割网络模型中进行训练，并根据训练结果优化所述融合型图像分割网络模型；
S3)将待处理的MCSLI图像输入至步骤S2)中优化后的融合型图像分割网络模型中进行条纹损伤的分割。
2.如权利要求1所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述编码器和解码器的输出端均设置有通道注意力模块，所述通道注意力模块用于对分割任务响应大的特征通道增大权重，而对分割任务响应小的特征通道减小权重。
3.如权利要求1所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述信息融合模块包括全局上下文模块、多尺度上下文模块和特征融合模块；
所述全局上下文模块，用于从编码网络输出的特征图中捕捉具有高级语义信息的全局上下文信息，并将捕捉到的全局上下文信息输入到所述多尺度上下文模块；
所述多尺度上下文模块，用于接收所述全局上下文模块输出的全局上下文信息，并从全局上下文信息中获取多尺度上下文信息，然后将全局上下文信息和多尺度上下文信息输出至所述特征融合模块；
所述特征融合模块，用于接收所述多尺度上下文模块输出的全局上下文信息和多尺度上下文信息，并将接收到的全局上下文信息和多尺度上下文信息进行融合形成另一特征图并输出至解码网络。
4.如权利要求3所述的MCSLI图像中条纹损伤的分割方法，其特征在于，经所述特征融合模块输出的特征图还需要和编码网络输出的特征图进行加权结合处理，经加权结合处理后特征图再输出至解码网络。
5.如权利要求3所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述全局上下文模块包括上下文建模模块和特征转换模块；
所述上下文建模模块，用于计算编码网络输出的特征图的特征权重，并将计算出的特征权重和编码网络输出的特征图相乘，从而获得一个全局上下文特征并输出至所述特征转换模块；
所述特征转换模块，用于将所述上下文建模模块输出的全局上下文特征和编码网络输出的特征图的所有特征通道的特征进行融合而得到全局上下文信息，并将得到的全局上下文信息输入到所述多尺度上下文模块。
6.如权利要求3所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述多尺度上下文模块由多个不同膨胀率的膨胀卷积并行组成。
7.如权利要求6所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述多尺度上下文模块中多个不同膨胀率的膨胀卷积采用共享权值。
8.如权利要求1所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述步骤S2)中根据训练结果优化所述融合型图像分割网络模型时，采用损失函数对所述融合型图像分割网络模型进行优化，所述损失函数为Dice系数损失函数和交叉熵损失函数相加之和。
9.如权利要求1所述的MCSLI图像中条纹损伤的分割方法，其特征在于，所述步骤S2)中训练数据集中包含多个经数据增强处理的MCSLI图像，数据增强处理方式为：对MCSLI图像进行翻转、旋转或增加高斯噪声处理。
CN202011553440.1A 2020-12-24 2020-12-24 Mcsli图像中条纹损伤的分割方法 Active CN112614112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011553440.1A CN112614112B (zh) 2020-12-24 2020-12-24 Mcsli图像中条纹损伤的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011553440.1A CN112614112B (zh) 2020-12-24 2020-12-24 Mcsli图像中条纹损伤的分割方法

Publications (2)

Publication Number Publication Date
CN112614112A true CN112614112A (zh) 2021-04-06
CN112614112B CN112614112B (zh) 2023-05-12

Family

ID=75245217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011553440.1A Active CN112614112B (zh) 2020-12-24 2020-12-24 Mcsli图像中条纹损伤的分割方法

Country Status (1)

Country Link
CN (1) CN112614112B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627086A (zh) * 2022-03-18 2022-06-14 江苏省特种设备安全监督检验研究院 一种基于改进特征金字塔网络的起重机表面损伤检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627086A (zh) * 2022-03-18 2022-06-14 江苏省特种设备安全监督检验研究院 一种基于改进特征金字塔网络的起重机表面损伤检测方法
CN114627086B (zh) * 2022-03-18 2023-04-28 江苏省特种设备安全监督检验研究院 一种基于特征金字塔网络的起重机表面损伤检测方法

Also Published As

Publication number Publication date
CN112614112B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN109035255B (zh) 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
Feng et al. CPFNet: Context pyramid fusion network for medical image segmentation
CN112132833B (zh) 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN111354002A (zh) 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法
CN110349162B (zh) 一种视网膜黄斑水肿多病变图像分割方法
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Guo et al. Simultaneous classification and segmentation of intracranial hemorrhage using a fully convolutional neural network
Li et al. Multi-stage attention-unet for wireless capsule endoscopy image bleeding area segmentation
Jiang et al. CT image super resolution based on improved SRGAN
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN112614112B (zh) Mcsli图像中条纹损伤的分割方法
Tan et al. Retinal layer segmentation in OCT images with boundary regression and feature polarization
CN117274607B (zh) 基于多路金字塔轻量级医学图像分割网络、方法和设备
CN114820632A (zh) 基于双通道U形改进Transformer网络的视网膜血管图像分割方法
Qiu A new multilevel feature fusion network for medical image segmentation
Yue et al. Deep pyramid network for low-light endoscopic image enhancement
CN113205496A (zh) 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法
CN112419313A (zh) 一种基于先心病超声的多切面的分类方法
Zijian et al. AFFD-Net: A Dual-Decoder Network Based on Attention-Enhancing and Feature Fusion for Retinal Vessel Segmentation
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法
Wang et al. Vision Transformer-based Classification Study of Intracranial Hemorrhage
Qiu et al. Semi-supervised framework for dual encoder attention network: classification of retinopathy in optical coherence tomography images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant