CN115222942A - 一种基于弱监督学习的新冠肺炎ct图像分割的方法 - Google Patents

一种基于弱监督学习的新冠肺炎ct图像分割的方法 Download PDF

Info

Publication number
CN115222942A
CN115222942A CN202210881646.XA CN202210881646A CN115222942A CN 115222942 A CN115222942 A CN 115222942A CN 202210881646 A CN202210881646 A CN 202210881646A CN 115222942 A CN115222942 A CN 115222942A
Authority
CN
China
Prior art keywords
feature map
segmentation
convolution
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210881646.XA
Other languages
English (en)
Other versions
CN115222942B (zh
Inventor
王旭
尤天舒
徐勇
王生生
陈红宇
郭秀娟
富倩
孙伟
杜丽英
赵越
戴传祗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Jianzhu University
Original Assignee
Jilin Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Jianzhu University filed Critical Jilin Jianzhu University
Priority to CN202210881646.XA priority Critical patent/CN115222942B/zh
Publication of CN115222942A publication Critical patent/CN115222942A/zh
Application granted granted Critical
Publication of CN115222942B publication Critical patent/CN115222942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于弱监督学习的新冠肺炎CT图像分割的方法，包括以下步骤：先建立分割网络模型，模型整体上是编码器‑解码器结构，在分割网络模型的基础上，引入了一个分类模块，分类模块与分割模块共享一部分隐藏层，使得整个网络学习到更多的有用特征，同时改善了分割结果假阳性的问题；基于弱监督学习的思想，在像素级图像标签的基础上，通过分类网络从额外的图像级标签获取优化后的类激活图作为监督信息，增强了模型的分割性能表现。本发明通过利用分类网络注意力转移的特性，提出了类激活图积累模块，使得可以通过分类网络获得更加完整的类激活图，从而获得像素级标注结果。

Description

一种基于弱监督学习的新冠肺炎CT图像分割的方法
技术领域
本发明属于CT图像分割方法技术领域，具体涉及一种基于弱监督学习的新冠肺炎CT图像分割的方法。
背景技术
新冠肺炎的爆发与流行已经严重影响了国家的经济发展与人民的正常生活。目前检验人是否患有新冠肺炎的方式有多种，主流的方法是RT-PCR逆转录聚合酶链式反应，即民间俗称的核酸检测。然而这种方法有着两方面的缺陷，其一是耗时且费力。目前广泛使用的RT-PCR技术从采集样本到得出结果需要多个小时，同时需要大量的人力成本。其二是PCR的敏感性很高，容易因操作失误造成假阳性，即使一切操作正常，也会出现假阴性结果从而造成一定程度的漏检。因此一般使用影像学检测的方法，通过对医学图像，例如CT图像进行分析作为补充手段来弥补RT-PCR的不足，CT是一种放射线医学的检查，通过CT扫描生成的图像是医学影像学中常用的诊断依据。
医学图像分割是医学图像处理领域中的一个重要任务。它是将图像分割为不同像素区域并将其转换为有意义主题的过程。医学图像分割的目的是减轻医务人员的负担，提高工作效率。
在影像学检测中，精确地分割出感染区域对医生诊断非常重要，通常手工分割需要经验丰富的医生逐个像素地进行标注，然而这个标注过程非常耗时耗力。人工智能在近些年发展迅猛，其在图像领域的应用不胜枚举，因此利用人工智能技术对医学图像进行分割，从而减轻医生压力同时提高效率是兼具可行性与必要性的方法。
基于此，提出了一种基于弱监督学习的新冠肺炎CT图像分割的方法。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足，提供一种基于弱监督学习的新冠肺炎CT图像分割的方法，以解决上述背景技术中提出的问题。
为解决上述技术问题，本发明采用的技术方案是：一种基于弱监督学习的新冠肺炎CT图像分割的方法，包括以下步骤：
先建立分割网络模型，模型整体上是编码器-解码器结构，输入图像从一侧的收缩路径进入，每进行两次3×3卷积操作后，就会进行一次最大池化操作；
在分割网络模型的基础上，引入了一个分类模块，分类模块与分割模块共享一部分隐藏层，使得整个网络学习到更多的有用特征，同时改善了分割结果假阳性的问题；
基于弱监督学习的思想，在像素级图像标签的基础上，通过分类网络从额外的图像级标签获取优化后的类激活图作为监督信息，增强了模型的分割性能表现。
进一步的，分割网络模型每进行两次3×3卷积操作后，就会进行一次最大池化操作，在这个过程中特征图尺寸不断变小，直到最大池化操作重复进行四次后，在模型的底层，特征图先经过一个改进的空间池化金字塔模块，然后进行两次3×3卷积，在卷积过程中特征图的通道数翻倍，然后特征分为两个路径，向下进入分类模块，并与类激活图积累模块进行配合，向上则进入扩张路径，首先下层特征图经过上采样后会与来自收缩路径的特征图一同被注意力门模块计算，计算后的特征图与下层特征图的上采样结果进行拼接，然后进行两次3×3卷积操作，通道数减半，此操作同样重复四次，最后通过一个1×1卷积得到分割输出。
进一步的，在分割网络模型的底部获得一个通道数为1024的特征图，将特征图流入分类器，进行全局平均池化操作，全局平均池化强化了特征图与类别之间的联系，它直接利用特征图进行分类，图像的空间位置信息得以保留，而且全局平均池化层的参数不会随着训练而变化，降低了模型的参数量，能够有效地避免过拟合现象。
进一步的，将各个训练轮次的类激活图的显著性区域进行累积，从而获得更加完整的类激活图用于后续的分割；
对于一个在第t个epoch中得到的累计类激活图Mt，其可用公式化表述为：
Mt＝CF(Mt-1，Ct)
其中，CF表示CAM Fusion，即类激活图积累操作，Ct表示在第t个epoch中从分类网络计算得出的类激活图；
对于积累操作，本实验例采用平均策略，其公式化表示为：
Figure BDA0003764370720000031
即每一个轮次的积累激活图由上一个轮次的积累激活图与本轮次的类激活图求均值得到，随着训练的不断进行，网络学习到的特征更加准确，所以本实验例给靠后的类激活图更大的权值。
进一步的，对于一个输入的特征图，其尺寸为H×W×512，先经过一个1×1卷积处理尺寸变为H×W×170，然后进入三个并行的分支，在每个分支中，先进行不同比率的分离空洞卷积处理，再次进行一次点卷积尺寸变为H×W×1，即特征图通过这个点卷积进行了一次降维；
然后通过sigmoid函数计算后成为注意力图，将所述注意力图与原特征图进行像素间相乘后再相加，三个分支进行了相同的操作后拼接起来，特征图尺寸为H×W×510，最后经过点卷积以及批处理层、激活函数的计算后，特征图的尺寸恢复为H×W×512。
进一步的，引入软性注意力模块，使用下层特征监督上层特征，对于上下层的输入特征图input1和input2，input1作为从编码器部分复制过来的特征图，尺寸比input2更大，同时通道数是input2的一半；
对于特征图input1，维持其尺寸与通道数不变，仅对其进行点卷积操作，并通过激活函数增强其非线性表达；
对于特征图input2，通过维持其尺寸与通道数不变，仅对其进行点卷积操作，然后使用1×1卷积对其进行数据降维，通道数减半，经过如此处理后的两特征图整体尺寸一致，此时将两者相加，然后通过一个1×1卷积核和sigmoid函数处理，可以得到一个通道数为1的空间注意力矩阵，将这个矩阵与input1逐个通道相乘即是最终结果。
进一步的，对于分割任务，采用Dice损失函数和交叉熵损失函数同时使用的方案，Dice损失函数从全局出发，优化预测集合与目标集合的交集，而交叉熵损失函数从微观上像素的差距来进行优化，两者可以进行互补，两者配合使用可以平衡Dice损失的剧烈震荡。
本发明与现有技术相比具有以下优点：
1、本发明通过利用分类网络注意力转移的特性，提出了类激活图积累模块，使得可以通过分类网络获得更加完整的类激活图，从而获得像素级标注结果。
2、本发明在分割网络中添加了一个分类模块，使得整个模型成为了一个多任务网络模型，通过分割与分类任务同时训练的方式，让分类任务带来较分割任务不同的学习到的模式，同时有效地抑制了分割结果出现假阳性的情况。此外，还可用通过分类模块网络与类激活图积累模块配合，获取类激活图，从而实现从弱标签中获取像素级信息的功能。
3、本发明提出的多尺度模块从增大感受野的角度出发，通过三个并行的不同比率的空洞分离卷积使得模型可以从多个尺度对图像特征进行提取，同时通过分离卷积大幅降低参数量，避免过拟合现象的产生，此外，在三个并行的路径中，通过1×1卷积和sigmoid激活函数的配合形成空间注意力机制，进一步强化了整合模块的表征能力。
附图说明
图1是本发明整体分割网络模型示意图；
图2是本发明实施例中类激活图积累模块示意图；
图3是本发明实施例中空洞卷积示意图；
图4是本发明实施例中MASPP模块示意图；
图5是本发明实施例中注意力模块结构示意图；
图6是本发明实验例中不同模型在数据集A上的部分输出示例；
图7是本发明实验例中不同模型在数据集B上的部分输出示例；
图8是本发明实验例中数据集B上各指标的箱线图，其中绿线代表中位数；
图9是本发明实验例中装载分类模块前后的图像对比；
(a)是原图像；
(b)是标签；
(c)是没有分类模块的模型的预测结果；
(d)是含有分类模块的模型的预测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，如图1所示，本发明提供一种技术方案：一种基于弱监督学习的新冠肺炎CT图像分割的方法，包括以下步骤：
先建立分割网络模型，模型整体上是编码器-解码器结构，输入图像从一侧的收缩路径进入，每进行两次3×3卷积操作后，就会进行一次最大池化操作；分割网络模型每进行两次3×3卷积操作后，就会进行一次最大池化操作，在这个过程中特征图尺寸不断变小，直到最大池化操作重复进行四次后，在模型的底层，特征图先经过一个改进的空间池化金字塔模块，然后进行两次3×3卷积，在卷积过程中特征图的通道数翻倍，然后特征分为两个路径，向下进入分类模块，并与类激活图积累模块进行配合，向上则进入扩张路径，首先下层特征图经过上采样后会与来自收缩路径的特征图一同被注意力门模块计算，计算后的特征图与下层特征图的上采样结果进行拼接，然后进行两次3×3卷积操作，通道数减半，此操作同样重复四次，最后通过一个1×1卷积得到分割输出，类激活图积累模块具体如图2所示。
在分割网络模型的基础上，引入了一个分类模块，分类模块与分割模块共享一部分隐藏层，使得整个网络学习到更多的有用特征，同时改善了分割结果假阳性的问题；
具体的，在分割网络模型的底部获得一个通道数为1024的特征图，将特征图流入分类器，进行全局平均池化操作，全局平均池化强化了特征图与类别之间的联系，它直接利用特征图进行分类，图像的空间位置信息得以保留，而且全局平均池化层的参数不会随着训练而变化，降低了模型的参数量，能够有效地避免过拟合现象；
将各个训练轮次的类激活图的显著性区域进行累积，从而获得更加完整的类激活图用于后续的分割；
对于一个在第t个epoch中得到的累计类激活图Mt，其可用公式化表述为：
Mt＝CF(Mt-1，Ct)
其中，CF表示CAM Fusion，即类激活图积累操作，Ct表示在第t个epoch中从分类网络计算得出的类激活图；
对于积累操作，本实验例采用平均策略，其公式化表示为：
Figure BDA0003764370720000061
即每一个轮次的积累激活图由上一个轮次的积累激活图与本轮次的类激活图求均值得到，随着训练的不断进行，网络学习到的特征更加准确，所以本实验例给靠后的类激活图更大的权值。
即每一个轮次的积累激活图由上一个轮次的积累激活图与本轮次的类激活图(CAM)求均值得到，本实施例采用的平均策略并不认为每一次轮次的类激活图对最终结果的贡献度相同，而是更靠后轮次的对最终的结果影响度更大，即随着训练的不断进行，网络学习到的特征更加准确，所以本实验例给靠后的类激活图更大的权值。
基于弱监督学习的思想，在像素级图像标签的基础上，通过分类网络从额外的图像级标签获取优化后的类激活图作为监督信息，增强了模型的分割性能表现。
如图3空洞卷积示意图所示，在卷积神经网络中，固定的卷积和池化操作组合在降低图像尺寸的同时增加了卷积核的感受野，而在分割网络中，需要对已经大幅度下采用的特征图上采样到原图的尺寸，在这个过程中势必会造成信息的损失，为了在不损失信息的同时增大感受野，提出了空洞卷积，图中：
(a)图是比率为1的3×3卷积，与普通卷积一致；
(b)图是比率为2的空洞卷积，可以看到，此时的感受野已经扩大到7×7，而实际上只有9个点与3×3的卷积核进行运算，同样也可以认为是尺寸为7×7的卷积核只有9个点的参数进行学习，而其他部分固定为0；
(c)图是比率为4的空洞卷积，感受野的尺寸为15×15。空洞卷积就是通过在已有的像素上跳过一部分的像素，使得一次卷积看到的空间更大。
ASPP模块采用比率分别为6、12、18、24的空洞卷积，并在最后针对四个分支输出的特征图进行合并等操作，对于一个输入的特征图，其尺寸为H×W×512，先经过一个1×1卷积处理尺寸变为H×W×170，然后进入三个并行的分支，在每个分支中，先进行不同比率的分离空洞卷积处理，再次进行一次点卷积尺寸变为H×W×1，即特征图通过这个点卷积进行了一次降维；
然后通过sigmoid函数计算后成为注意力图，将所述注意力图与原特征图进行像素间相乘后再相加，三个分支进行了相同的操作后拼接起来，特征图尺寸为H×W×510，最后经过点卷积以及批处理层、激活函数的计算后，特征图的尺寸恢复为H×W×512。
具体如下：设输入的特征图为X，点卷积为F1×1，比率为1的分离空洞卷积为
Figure BDA0003764370720000081
则每个分支经过分离空洞卷积计算过的特征图Fk为：
Figure BDA0003764370720000082
设每个分支输出的特征图为
Figure BDA0003764370720000083
每个分支的空间注意力处理可公式化表示为：
Figure BDA0003764370720000084
最终，整个MASPP模块的输出可表示为：
Figure BDA0003764370720000085
MASPP模块示意图具体如图4所示。
需要指出的是，在实施例中提出的MASPP模块中，采用了深度可分离卷积，这是一种能够大幅度降低卷积操作参数数量的技术方法。
引入软性注意力模块，如图5所示，使用下层特征监督上层特征，对于上下层的输入特征图input1和input2，input1作为从编码器部分复制过来的特征图，尺寸比input2更大，同时通道数是input2的一半；
对于特征图input1，维持其尺寸与通道数不变，仅对其进行点卷积操作，并通过激活函数增强其非线性表达；
对于特征图input2，通过维持其尺寸与通道数不变，仅对其进行点卷积操作，然后使用1×1卷积对其进行数据降维，通道数减半，经过如此处理后的两特征图整体尺寸一致，此时将两者相加，然后通过一个1×1卷积核和sigmoid函数处理，可以得到一个通道数为1的空间注意力矩阵，将这个矩阵与input1逐个通道相乘即是最终结果。
具体如下式所示：
Figure BDA0003764370720000086
其中F1代表特征图input1，
F2代表特征图input2，
F1×1代表尺寸为1×1的卷积。
对于分割任务，采用Dice损失函数和交叉熵损失函数同时使用的方案，Dice损失函数从全局出发，优化预测集合与目标集合的交集，而交叉熵损失函数从微观上像素的差距来进行优化，两者可以进行互补，两者配合使用可以平衡Dice损失的剧烈震荡。
整体模型结构以及损失函数定义完成后，需要明确整体方案的训练与预测测试的具体流程。首先是训练流程，整个流程分为三个部分：
第一阶段，选取具有像素级标签的数据，在整个模型中进行10次迭代。
第二阶段，此时编码器已经学习到一定的参数，此时获得的类激活图开始具有一定的意义，所以在此阶段固定解码器部分的参数，使用全部图像数据以及其图像级标签，此时整个网络中只有编码器以及分类模块参与训练，整体上相当于只训练分类网络，这个阶段训练50个epoch至分类网络收敛，同时利用类激活图积累模块获得图像级数据的类激活图。
第三阶段，此前第二阶段获得的类激活图已经处理为像素级标签，此时所有数据均具有像素级标签，将所有数据输入模型，训练50个epoch至模型收敛。
模型的训练过程具体如下：
Figure BDA0003764370720000091
Figure BDA0003764370720000101
然后是测试流程，对于一张输入模型的图像，模型会产生一张分割图像，同时分类网络也会给出其分类信息，如果分类网络表示其为阴性，则将分割结果图中的像素全置为0，相反，则分割结果不变。在此给出模型测试时的伪代码流程；
Figure BDA0003764370720000102
实验例：选取两个开源的数据集验证提出的模型方案，它们源于开源数据网站，http://medicalsegmentation.com/covid19/。数据集A包含来源于超过40位患者的100张CT图像，这些图像是从可公开访问源获得，并由医师做了前期的图像归一化处理，并提供了对应的像素级标签，原始图像的分辨率是512×512，出于训练效率等方面考虑，本实验例统一将其尺寸处理为384×384。数据集B来自于开源的放射学资源网站Radiopaedia，与数据集A不同的是，数据集B中的图像由9个完整的卷组成，总共有829张二维切片，其中373张切片因含有新冠肺炎感染区域并医师标记为阳性，同时给出了像素级监督标签，原始图像尺寸为630×630，同样将其处理为384×384。表1给出了这两个数据集的信息：
表1新冠肺炎CT图像数据集信息
Figure BDA0003764370720000111
这两个数据集中，像素级标记分为三类，分别是磨玻璃影，实变以及胸腔积液，考虑到实变以及胸腔积液出现的比率较低，本实验例将分割目标限定为磨玻璃影，并将标签中的实变以及胸腔积液区域作背景区域处理；
本实验的硬件配置以及软件环境如表2所示，在构建以及训练模型时使用Facebook开发的Pytorch深度学习框架，版本为1.2.0，Python版本为3.7.3，CUDA版本为10.0，CUDNN版本为7.4.1，所有实验均运行在一张NVIDIA GeForce RTX 2060 Super 8GB显卡上
表2实验的硬件配置以及软件环境
Figure BDA0003764370720000112
模型中使用的参数见表3：
表3模型中的超参数
Figure BDA0003764370720000113
Figure BDA0003764370720000121
在模型训练时采用Adam优化器，Adam优化器是目前在大范围内形成共识的性能较为优秀的优化器，它计算很快，对内存的需求也不大，更重要的是Adam优化器可以随着训练的进行自行调节学习率，提高了调参的效率，同时其超参数一般无需修改，在本实验中，β1设定为0.9，β2设定为0.999，∈设定为10e-8。受限于GPU显存大小，batch size被设置为5，此时显存占用为7.7GB。类激活图置信度阈值被设定为0.5，也就是说，在通过类激活图积累模块得到的类激活图中，置信度大于0.5的值会被保留，标记为感染区域。此外，根据多次实践，本实验例设置了三个阶段的训练轮次，分别训练10，50，50个epoch。
需要说明的是，由于数据集A的数据阳性率为100％，无法单独进行训练，考虑到两数据集种类相同，分割目标一致，同时数据分布相近，在训练时将两数据集合并训练。合并后的数据集共有929张图像，选取30％的图像作为图像级标签数据参与训练，两数据集各取15％的数据作为测试集，不参与训练。模型测试时，两数据集分别测试。
为了更好地评价模型的效果，并与其他模型进行对比，本实验例采用Dice系数，敏感性(Sensitivity)，特异性(Specificity)以及交并比(Intersection over Union，IoU)作为评价指标。
其中，Dice系数和IoU系数都是用于度量集合的相似度的函数，这两个值越大，说明网络模型预测出的分割图与标签越接近，Dice系数在医学图像分割中更加常见，而IoU系数则是多用于自然图像的分割工作中。敏感性是医学图像相关工作中，较为重要的指标，它代表了模型成功预测感染区域的能力，其在数值上等同于召回率(Recall)，最后的特异性则是度量了模型对背景区域的识别能力。
四个评价指标的计算公式如下：
Figure BDA0003764370720000131
Figure BDA0003764370720000132
Figure BDA0003764370720000133
Figure BDA0003764370720000134
其中TP是真阳例，即模型预测该像素是阳性，实际也是阳性，FP是假阳例，即模型预测该像素是阳性，实际是阴性，TN是真阴例，即模型预测是阴性，实际也是阴性，FN是假阴例，即模型预测是阴性，实际是阳性。若将属于感染区域的像素定义为阳性，属于背景区域的像素定义为阴性，则混淆矩阵如表4；
表4混淆矩阵
Figure BDA0003764370720000135
实验结果与分析，为了验证模型效果，基于已有数据集，复现了一些图像分割模型算法与本实验例提出的模型做出对比，其中包括同样针对新冠肺炎CT图像的弱监督模型USTM-Net，经典图像分割网络U-Net，应用于新冠肺炎CT图像的全监督网络模型MiniSeg。为了显示额外的图像级数据的作用，在对比实验中加入了实施例中提出的模型，但仅用部分全像素级监督数据训练的模型，名字记为Pixel_only。需要指出的是，在对比实验中复现的全监督分割模型的训练数据与本实施例提出的模型所使用的数据一致，沿用了前文提到的像素级数据与图像级数据的划分，即并没有使用数据集中的全部像素级数据，这样做的目的是控制变量，便于进行对比。
图6和图7分别展示了不同模型在数据集A与数据集B上部分输出示例，可以看到USTM-Net分割效果相对较差，原因在于USTM-Net是基于涂鸦监督的弱监督模型，可以利用的信息量较其他模型少，表现在图像上就是分割细节较差。
U-Net作为全监督模型，分割效果明显好于USTM-Net，但表现仍稍弱于MiniSeg，这是因为MiniSeg引入了多个多尺度与注意力模块，同时整个模型的卷积都使用了分离卷积，这样做的效果就是大幅度降低参数量的同时仍能提高模型的分割性能。
V-Pixel_only的分割效果与MiniSeg相仿，略好于MiniSeg，覆盖范围更大，对于较小的区域也能进行识别，一个直观的解释是Pixel_only的参数量大于MiniSeg，MiniSeg追求极致的轻量化，参数量极少，而在深度学习领域中，更多的参数量意味着更强的学习表征能力。最后可以观察到，增加了图像级监督数据后，模型的分割结果有较为明显的质量提升，区域覆盖更加准确，可以认为模型从额外的弱监督数据进一步学到了特征。
从数据指标上可以佐证上述分析，表5给出了不同模型在数据集A和数据集B上的数据指标，各项指标的最高值做了加粗处理。
表5不同模型在数据集A和数据集B上的数据指标
Figure BDA0003764370720000141
在数据集A的实验中，MiniSeg由于额外引入的模块，对比U-Net在Dice系数上提高了1.94％，而Pixel_only则比MiniSeg有着0.74％的提升，本实验例提出的弱监督模型在Dice，Sensitivity以及IoU三项指标中均有着最高的数值，对比Pixel_only在Dice系数上提高了2.49％，敏感性指标上提高了4.29％。而模型在数据集B上的表现整体逊于数据集A，本实验例分析认为数据集B的数据量更大，且大部分图像的感染区域较小，分割难度更大。在数据集B的实验中，Pixel_only的Dice系数指标略高于MiniSeg 0.36％，而MiniSeg的敏感性指标则反超了Pixel_only 0.23％，从指标上分析，Pixel_only的分割性能与MiniSeg极为接近，Pixel_only凭借更多的参数量，以及分类、注意力、多尺度等模块，具有更强的拟合能力，而MiniSeg则是拥有更复杂的结构，同时数据集B的图像有更多的微小感染区域，MiniSeg复杂的结构更能捕捉这些微小的区域。本实验例提出的弱监督模型仍是在三项指标上最高，其在Dice系数，敏感性系数以及IoU系数上分别领先Pixel_only 2.11％，5.97％以及2.43％。值得一提的是USTM-Net虽然表现略逊于其他几种模型，但其在数据集B上的实验中，取得了最高的特异性系数。
在图8数据集B上各指标的箱线图，其中绿线代表中位数，本实验例给出了在数据集B上各个模型的所有指标的箱线图，可以看到在Dice、Sensitivity和IoU图中，本实验例提出的弱监督模型有着更高的中位数值以及更加聚集的数据分布，即使是离散点的值也明显比其他方法更高，这进一步地证明了本实验例方法的有效性。
为了验证各个模块的实际效用，本实验例在数据集B上进行了一系列消融实验，首先是针对分类模块的消融实验。为了证明分类模块在模型中的作用，本实验例实现了另一种相似的方案，即分割网络与分类网络互相独立，全部数据先在分类网络上进行训练，获得类激活图后，再在分割网络上进行训练，为了区别于原模型，将其记为Ours(without cls)。
表6关于模型是否含有分类模块的数据对比
Figure BDA0003764370720000151
从表6关于模型是否含有分类模块的数据对比可以到看，增加了分类模块的模型有着更高的指标，Dice系数有接近1％的提升，这主要来自于分类网络学习到的不同于分割网络的特征，同时也是因为分类模块的存在极大地减少了假阳性预测结果的出现，具体效果见图9。
为了探究其他三个模块的实际效果，本实验例同样做了一系列实验，其数据指标结果见表7MASPP，AG，CF三个模块的消融实验数据指标。
表7 MASPP，AG，CF三个模块的消融实验数据指标
Figure BDA0003764370720000161
可以看到，应用了MASPP，AG，CF三个模块，相比baseline，在Dice，Sensitivity，IoU三个指标上分别提升了1.13％、4.07％、1.22％，1.65％、3.91％、2.13％以及1.20％、3.66％、1.54％。
综上，本实验例中使用到的两个开源数据集的情况进行介绍，然后分别就实验环境、实验设定以及评价指标进行交代，主要对核心实验的实验结果进行定性和定量的分析，结合消融实验的数据结果，证明了本实验例提出的各个模块的实习效用。
需要说明的是，在本实验例中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，包括以下步骤：
先建立分割网络模型，模型整体上是编码器-解码器结构，输入图像从一侧的收缩路径进入，每进行两次3×3卷积操作后，就会进行一次最大池化操作；
在分割网络模型的基础上，引入了一个分类模块，分类模块与分割模块共享一部分隐藏层，使得整个网络学习到更多的有用特征，同时改善了分割结果假阳性的问题；
基于弱监督学习的思想，在像素级图像标签的基础上，通过分类网络从额外的图像级标签获取优化后的类激活图作为监督信息，增强了模型的分割性能表现。
2.根据权利要求1所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，分割网络模型每进行两次3×3卷积操作后，就会进行一次最大池化操作，在这个过程中特征图尺寸不断变小，直到最大池化操作重复进行四次后，在模型的底层，特征图先经过一个改进的空间池化金字塔模块，然后进行两次3×3卷积，在卷积过程中特征图的通道数翻倍，然后特征分为两个路径，向下进入分类模块，并与类激活图积累模块进行配合，向上则进入扩张路径，首先下层特征图经过上采样后会与来自收缩路径的特征图一同被注意力门模块计算，计算后的特征图与下层特征图的上采样结果进行拼接，然后进行两次3×3卷积操作，通道数减半，此操作同样重复四次，最后通过一个1×1卷积得到分割输出。
3.根据权利要求2所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，在分割网络模型的底部获得一个通道数为1024的特征图，将特征图流入分类器，进行全局平均池化操作，全局平均池化强化了特征图与类别之间的联系，它直接利用特征图进行分类，图像的空间位置信息得以保留，而且全局平均池化层的参数不会随着训练而变化，降低了模型的参数量，能够有效地避免过拟合现象。
4.根据权利要求3所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，将各个训练轮次的类激活图的显著性区域进行累积，从而获得更加完整的类激活图用于后续的分割；
对于一个在第t个epoch中得到的累计类激活图Mt，其可用公式化表述为：
Mt＝CF(Mt-1，Ct)
其中，CF表示CAM Fusion，即类激活图积累操作，Ct表示在第t个epoch中从分类网络计算得出的类激活图；
对于积累操作，本实验例采用平均策略，其公式化表示为：
Figure FDA0003764370710000021
即每一个轮次的积累激活图由上一个轮次的积累激活图与本轮次的类激活图求均值得到，随着训练的不断进行，网络学习到的特征更加准确，所以本实验例给靠后的类激活图更大的权值。
5.根据权利要求4所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，对于一个输入的特征图，其尺寸为H×W×512，先经过一个1×1卷积处理尺寸变为H×W×170，然后进入三个并行的分支，在每个分支中，先进行不同比率的分离空洞卷积处理，再次进行一次点卷积尺寸变为H×W×1，即特征图通过这个点卷积进行了一次降维；
然后通过sigmoid函数计算后成为注意力图，将所述注意力图与原特征图进行像素间相乘后再相加，三个分支进行了相同的操作后拼接起来，特征图尺寸为H×W×510，最后经过点卷积以及批处理层、激活函数的计算后，特征图的尺寸恢复为H×W×512。
6.根据权利要求5所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，引入软性注意力模块，使用下层特征监督上层特征，对于上下层的输入特征图input1和input2，input1作为从编码器部分复制过来的特征图，尺寸比input2更大，同时通道数是input2的一半；
对于特征图input1，维持其尺寸与通道数不变，仅对其进行点卷积操作，并通过激活函数增强其非线性表达；
对于特征图input2，通过维持其尺寸与通道数不变，仅对其进行点卷积操作，然后使用1×1卷积对其进行数据降维，通道数减半，经过如此处理后的两特征图整体尺寸一致，此时将两者相加，然后通过一个1×1卷积核和sigmoid函数处理，可以得到一个通道数为1的空间注意力矩阵，将这个矩阵与input1逐个通道相乘即是最终结果。
7.根据权利要求6所述的一种基于弱监督学习的新冠肺炎CT图像分割的方法，其特征在于，对于分割任务，采用Dice损失函数和交叉熵损失函数同时使用的方案，Dice损失函数从全局出发，优化预测集合与目标集合的交集，而交叉熵损失函数从微观上像素的差距来进行优化，两者可以进行互补，两者配合使用可以平衡Dice损失的剧烈震荡。
CN202210881646.XA 2022-07-26 2022-07-26 一种基于弱监督学习的新冠肺炎ct图像分割的方法 Active CN115222942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881646.XA CN115222942B (zh) 2022-07-26 2022-07-26 一种基于弱监督学习的新冠肺炎ct图像分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881646.XA CN115222942B (zh) 2022-07-26 2022-07-26 一种基于弱监督学习的新冠肺炎ct图像分割的方法

Publications (2)

Publication Number Publication Date
CN115222942A true CN115222942A (zh) 2022-10-21
CN115222942B CN115222942B (zh) 2023-06-02

Family

ID=83613596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881646.XA Active CN115222942B (zh) 2022-07-26 2022-07-26 一种基于弱监督学习的新冠肺炎ct图像分割的方法

Country Status (1)

Country Link
CN (1) CN115222942B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486090A (zh) * 2023-06-25 2023-07-25 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN117765256A (zh) * 2023-12-20 2024-03-26 北京建筑大学 基于特征扰动和多尺度注意门的半监督心室图像分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法
CN112614131A (zh) * 2021-01-10 2021-04-06 复旦大学 基于形变表示学习的病理图像分析方法
CN113159048A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于深度学习的弱监督语义分割方法
CN113313199A (zh) * 2021-06-21 2021-08-27 北京工业大学 一种于基于弱监督注意力的脑ct医学报告自动生成方法
CN113610807A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于弱监督多任务学习的新冠肺炎分割方法
CN114049531A (zh) * 2021-10-28 2022-02-15 同济大学 一种基于弱监督人体协同分割的行人再识别方法
CN114119516A (zh) * 2021-11-14 2022-03-01 北京工业大学 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN114373094A (zh) * 2021-12-08 2022-04-19 南京信息工程大学 一种基于弱监督学习的门控特征注意力等变分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法
CN112614131A (zh) * 2021-01-10 2021-04-06 复旦大学 基于形变表示学习的病理图像分析方法
CN113159048A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于深度学习的弱监督语义分割方法
CN113313199A (zh) * 2021-06-21 2021-08-27 北京工业大学 一种于基于弱监督注意力的脑ct医学报告自动生成方法
CN113610807A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于弱监督多任务学习的新冠肺炎分割方法
CN114049531A (zh) * 2021-10-28 2022-02-15 同济大学 一种基于弱监督人体协同分割的行人再识别方法
CN114119516A (zh) * 2021-11-14 2022-03-01 北京工业大学 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN114373094A (zh) * 2021-12-08 2022-04-19 南京信息工程大学 一种基于弱监督学习的门控特征注意力等变分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGYU CHEN 等: ""A weakly supervised learning method based on attention fusion for COVID-19 segmentation in CT images"", pages 3265 *
赵曼雪: ""基于超声图像的乳腺肿瘤自动分割技术研究"", pages 060 - 90 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486090A (zh) * 2023-06-25 2023-07-25 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN116486090B (zh) * 2023-06-25 2023-09-05 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN117765256A (zh) * 2023-12-20 2024-03-26 北京建筑大学 基于特征扰动和多尺度注意门的半监督心室图像分割方法
CN117765256B (zh) * 2023-12-20 2024-07-23 北京建筑大学 基于特征扰动和多尺度注意门的半监督心室图像分割方法

Also Published As

Publication number Publication date
CN115222942B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Abdar et al. UncertaintyFuseNet: robust uncertainty-aware hierarchical feature fusion model with ensemble Monte Carlo dropout for COVID-19 detection
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
CN115222942A (zh) 一种基于弱监督学习的新冠肺炎ct图像分割的方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
Khan et al. Benchmark methodological approach for the application of artificial intelligence to lung ultrasound data from covid-19 patients: From frame to prognostic-level
CN112819768B (zh) 基于dcnn的癌症全视野数字病理切片生存分析方法
Ozdemir et al. Age Estimation from Left-Hand Radiographs with Deep Learning Methods.
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN113724842B (zh) 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
Masood et al. Brain MRI analysis using deep neural network for medical of internet things applications
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
Khalid et al. Deepcens: An end-to-end pipeline for cell and nucleus segmentation in microscopic images
Dhawan et al. Deep Learning Based Sugarcane Downy Mildew Disease Detection Using CNN-LSTM Ensemble Model for Severity Level Classification
CN113269778B (zh) 基于迭代的图像弱监督分割方法
CN117523203B (zh) 一种基于Transformer半监督算法的蜂窝肺病灶图像分割识别方法
Zhao et al. Pulmonary nodule detection based on multiscale feature fusion
Ellis et al. Impact of hybrid supervision approaches on the performance of artificial intelligence for the classification of chest radiographs
Saranya et al. Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model
CN116486068A (zh) 一种基于嵌套u型网络的covid-19病灶分割方法
Wang et al. Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind
Ovi et al. Infection segmentation from covid-19 chest ct scans with dilated cbam u-net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant