CN115457049A - 一种基于迁移学习和注意力机制的肺部ct图像分割方法 - Google Patents

一种基于迁移学习和注意力机制的肺部ct图像分割方法 Download PDF

Info

Publication number
CN115457049A
CN115457049A CN202211018870.2A CN202211018870A CN115457049A CN 115457049 A CN115457049 A CN 115457049A CN 202211018870 A CN202211018870 A CN 202211018870A CN 115457049 A CN115457049 A CN 115457049A
Authority
CN
China
Prior art keywords
module
convolution
network
features
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211018870.2A
Other languages
English (en)
Inventor
张聚
应长钢
龚伟伟
马栋
上官之博
程芸
姚信威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211018870.2A priority Critical patent/CN115457049A/zh
Publication of CN115457049A publication Critical patent/CN115457049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多注意力机制的可变形卷积肺部CT图像分割方法，涉及深度学习领域，本发明首先对数据集进行数据预处理和数据增广，然后构建网络模型，网络模型包括主干网络、边缘注意力模块、自适应可形变卷积模块和双重注意力融合模块。图像进入网络模型，先经过主干网络进行编码，然后通过边缘注意力模块，抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比。再通过自适应可形变卷积模块学习卷积参数和坐标偏移从而自适应感受野。最后通过双重注意力融合模块融合EAM模块和ADC模块所提取的丰富特征，利用上层特征生成的特征图来增强下层特征，再将增强的下层特征与上层特征集成之后输出分割的图像。

Description

一种基于迁移学习和注意力机制的肺部CT图像分割方法
技术领域
本发明属于深度学习技术领域，应用于医学图像分割方面，具体涉及一种基于多注意力机制的可变形卷积肺部CT图像分割方法。
背景技术
医学图像在帮助医疗服务提供者接触患者进行诊断和治疗方面发挥着至关重要的作用。研究医学图像主要取决于放射科医生的视觉解释。然而这通常需要花费大量时间，并且取决于放射科医生的经验，是非常主观的。为了克服这些限制，使用计算机辅助系统就变得非常必要。医学图像分割的计算机化在医学成像应用中发挥着重要作用。它在诊断、病理定位、解剖结构研究、治疗计划和计算机集成手术等不同领域有着广泛的应用。然而，人体解剖结构的可变性和复杂性导致医学图像分割仍然是一个难题。
目前诊断 COVID-19的标准是实时逆转录聚合酶链反应(RT-PCR)拭子试验。然而RT-PCR的诊断结果需要几个小时才能处理，并且该检测的假阴性率很高，通常需要重复检测。与RT-PCR相比，胸部计算机断层扫描(CT)成像能够以高灵敏度对COVID-19进行有效的疾病筛查，并且易于在临床环境中使用。
深度学习技术在医学诊断中的应用可以提高疾病的检测率和效率，在医学图像识别领域取得了巨大的成功。为了诊断肺癌、肺肿瘤和肺结节，许多学者研究了基于深度学习的肺部 CT图像识别方法，已经证明CT图像识别对于肺部疾病的诊断非常有用。如果能够从CT图像中准确分割肺部感染区域，这对于COVID-19的量化和诊断是至关重要的。然而基于以下事实，在CT图像上准确分割新型冠状病毒疾病感染病灶仍然是一项具有挑战性的任务：1. 在CT图像上，感染的边界不规则，大小和形状各不相同，具有模糊的外观和低对比度的特点。这很容易导致遗漏一些小的毛玻璃病变，或对CT图像上的感染产生过度分割；2.缺少标记数据集。临床医生提供的大规模感染注释不容易获得。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于多注意力机制的可变形卷积肺部CT图像分割方法，用于从CT图像中准确分割covid-19肺部感染。
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述。本发明的基于多注意力机制的可变形卷积肺部CT图像分割方法，包含以下步骤：
步骤1)对所选的数据集数据增广和数据预处理；
首先读取所选的患有新冠肺炎的患者肺部CT图像数据集，然后将图像进行随机裁剪、反转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强；数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，一般用于训练集；最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；
步骤2)构建网络模型；
构建分割模型DCSegNet；分割模型DCSegNet包括一个主干网络和三个关键模块，即 ResNet主干网络、边缘注意力模块(Edge Attention Module)、自适应可形变卷积模块(Adaptive Deformable Convolution)和双重注意力融合模块(Dual-attention fusionmodule)；
使用预训练过的ResNet50的前四层作为DCSegNet的编码器；首先从主干网络的不同层级中提取多层次特征；低级特征来源于浅层网络，富含空间信息，此时的感受野比较小，我们采用EAM模块提取边缘信息；高级特征来源于深层网络，富含语义信息，通过ADC模块自适应感受野，采样得到更符合病灶区域的形状和尺寸；最后通过DFM模块融合低级和高级特征来预测分割图；
2.1.构建EAM模块：
边缘信息作为一种重要的图像特征，在深度学习领域受到越来越多的关注，因为边缘信息有助于在分割任务中提取目标轮廓；通常边缘信息可以提供有用的细粒度约束来指导语义分割任务中的特征提取；高级特征几乎没有边缘信息，而低级特征包含更丰富的对象边界；因此引入边缘注意力模块(Edge Attention Module)来抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比，提高网络分割精度；
fRB表示从主干中提取的特征，将其先通过卷积核大小为3×3的卷积单元，然后通过 ReLU激活函数之后，再通过卷积核大小为3×3扩张率为2的空洞卷积单元；将这一操作重复三次之后，最后再通过1×1的卷积单元得到fEAM；
2.2.构建ADC模块：
在CT图像上，病灶的形状大小不规则，自适应可形变卷积模块(AdaptiveDeformable Convolution)能在网络中学习卷积参数和坐标偏移，从而自适应感受野；使用3×3卷积核来描述可形变过程；
G＝{(-1，-1)，(-1，0)，(-1，1)， (0，-1)，(0，0)，(0，1)， (1，-1)，(1，0)，(1，1)} (1)
I＝{(ih，iw)，(ih，iw)，(ih，iw)， (ih，iw)，(ih，iw)，(ih，iw)， (ih，iw)，(ih，iw)，(ih，iw)} (2)
Gi＝G+I (3)
Y[i]＝Conv(X[Gi]，ki) (4)
其中G表示特征图的网格，I表示特征图的坐标，h和w代表特征图的两个维度，Gi代表核卷积的区域，Conv是普通卷积函数，ki是3×3核的九个可学习权重，通过新位置的新值X[Gi]和权重ki最终输出对应像素Y[i]的值；
2.3构建DFM模块：
为了有效地融合EAM模块和ADC模块所提取的丰富特征，提出DFM模块(Dual-attention fusion module)，DFM模块通过将上层特征生成的特征图来增强下层特征，然后将增强的下层特征与上层特征集成；同时将空间注意力机制(SA)和通道注意力机制(CA)相结合，在CA中采用全局平均池化，经过1×1卷积和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；在SA中采用最大池化，经过ReLU和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；用数学公式表达，将DFM模块定义为：
Figure BDA0003813349000000031
Figure BDA0003813349000000032
Figure BDA0003813349000000033
其中Conv表示卷积层，下标代表卷积核尺寸，Deconv(x)表示上采样操作，ReLU(x)表示激活函数ReLU，σ(x)表示Sigmoid激活函数，
Figure BDA0003813349000000034
和
Figure BDA0003813349000000035
代表第k级和第k+1级ADC模块提供的特征，k＝1，2，3；符号*表示元素乘法，GAPool(x)表示全局平均池化操作， MaxPool(x)表示最大池化操作；
步骤3)设置训练策略；
将经过预处理的数据集以6∶3∶1的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize、epoch和合适的初始学习率和每次更新时学习率下降的值，并采用正则化策略防止过拟合；DCSegNet网络模型中采用反向传播算法(BP) 算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；
步骤4)训练网络模型和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练；DCSegNet网络模型中采用反向传播算法(BP)对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；在损失函数的选择上，将骰子损失(Dice Loss)和二元交叉熵损失(Binary CrossEntropy Loss)结合进行参数更新；因此，损失函数被设计为
Figure BDA0003813349000000041
步骤5)设置评估指标；
使用4个广泛采用的评价标准用于衡量DCSegNet模型的性能；评估指标如下所示：
骰子相似系数(Dice similarity coefficient)：DSC用于测量预测的肺部感染与事实之间的相似性，其中VSeg代表通过模型算法分割后的区域，VGT代表事实的分割区域，TP、TN、FP、 FN分别表示真阳性、真阴性、假阳性、假阴性；DSC定义如下：
Figure BDA0003813349000000042
灵敏度(Sensitivity)：SEN表示被正确分割的肺部感染的百分比；其定义如下：
Figure BDA0003813349000000043
特异性(Specificity)：SPE表示被正确分割的非感染区域的百分比；其定义如下：
Figure BDA0003813349000000044
阳性预测值(Precision)：PRE表示肺部感染区分割的准确性，其定义如下：
Figure BDA0003813349000000045
步骤6)验证和使用已训练好的网络模型；
将已经分割好的验证集送入训练好的DCSegNet网络模型，输出的结果会将Covid-19的肺部CT图中病灶的部分分割出来，最后得到已分割的图像，证明得到的模型是可行的。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、采用可形变卷积的方法，可以针对Covid-19的CT图像感染边界不规则，大小和形状各不相同的特点，可以在网络中学习卷积参数和坐标偏移，从而自适应感受野，提高分割精度和泛化能力。
2、提出了一种有效地感染分割网络DCSegNet，它由主干网络以及EAM、ADC和DFM模块组成。利用边缘注意力有利于抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比，有利于提高网络分割精度。利用双重注意力机制进行特征融合，将空间注意力机制和通道注意力机制相结合，利用上层特征生成的特征图来增强下层特征，再将增强的下层特征与上层特征集成，从CT图像中准确地分割Covid-19肺部感染。
附图说明
图1是本发明所提出的DCSegNet网络结构图；
图2是本发明所提出的EAM模块结构图；
图3是本发明所提出的ADC模块实现说明图；
图4a～图4c是本发明所提出的DFM模块结构图，图4b表示CA结构图，图4c表示SA结构图。
具体实施方式
以下结合附图对本发明做进一步说明：
本发明的一种新的基于迁移学习和注意力机制的肺部CT图像分割方法具体包括以下步骤：
步骤1)对所选的数据集数据增广和数据预处理；
首先读取所选的患有新冠肺炎的患者肺部CT图像数据集，然后将图像进行随机裁剪、反转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强；数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，一般用于训练集；最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；
步骤2)构建网络模型；
如图1所示，构建分割模型DCSegNet；分割模型DCSegNet包括一个主干网络和三个关键模块，即ResNet主干网络、边缘注意力模块(Edge Attention Module)、自适应可形变卷积模块(Adaptive Deformable Convolution)和双重注意力融合模块(Dual-attentionfusion module)；
使用预训练过的ResNet50的前四层作为DCSegNet的编码器；首先从主干网络的不同层级中提取多层次特征；低级特征来源于浅层网络，富含空间信息，此时的感受野比较小，我们采用EAM模块提取边缘信息；高级特征来源于深层网络，富含语义信息，通过ADC模块自适应感受野，采样得到更符合病灶区域的形状和尺寸；最后通过DFM模块融合低级和高级特征来预测分割图；
2.1.构建EAM模块：
如图2所示，边缘信息作为一种重要的图像特征，在深度学习领域受到越来越多的关注，因为边缘信息有助于在分割任务中提取目标轮廓；通常边缘信息可以提供有用的细粒度约束来指导语义分割任务中的特征提取；高级特征几乎没有边缘信息，而低级特征包含更丰富的对象边界；因此引入边缘注意力模块(Edge Attention Module)来抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比，提高网络分割精度；
fRB表示从主干中提取的特征，将其先通过卷积核大小为3×3的卷积单元，然后通过ReLU激活函数之后，再通过卷积核大小为3×3扩张率为2的空洞卷积单元；将这一操作重复三次之后，最后再通过1×1的卷积单元得到fEAM；
2.2.构建ADC模块：
在CT图像上，病灶的形状大小不规则，自适应可形变卷积模块(AdaptiveDeformable Convolution)能在网络中学习卷积参数和坐标偏移，从而自适应感受野；如图3所示，使用3 ×3卷积核来描述可形变过程；
G＝{(-1，-1)，(-1，0)，(-1，1)， (0，-1)，(0，0)，(0，1)， (1，-1)，(1，0)，(1，1)} (1)
I＝{(ih，iw)，(ih，iw)，(ih，iw)，(ih，iw)，(ih，iw)，(ih，iw)， (ih，iw)，(ih，iw)，(ih，iw)} (2)
Gi＝G+I (3)
Y[i]＝Conv(X[Gi]，ki) (4)
其中G表示特征图的网格，I表示特征图的坐标，h和w代表特征图的两个维度，Gi代表核卷积的区域，Conv是普通卷积函数，ki是3×3核的九个可学习权重，通过新位置的新值X[Gi]和权重ki最终输出对应像素Y[i]的值；
2.3构建DFM模块：
如图4a所示，为了有效地融合EAM模块和ADC模块所提取的丰富特征，提出DFM模块(Dual-attention fusion module)，DFM模块通过将上层特征生成的特征图来增强下层特征，然后将增强的下层特征与上层特征集成；同时将空间注意力机制(SA)和通道注意力机制 (CA)相结合，如图4b所示，在CA中采用全局平均池化，经过1×1卷积和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；如图4c所示，在SA中采用最大池化，经过 ReLU和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；用数学公式表达，将 DFM模块定义为：
Figure BDA0003813349000000071
Figure BDA0003813349000000072
Figure BDA0003813349000000073
其中Conv表示卷积层，下标代表卷积核尺寸，Deconv(x)表示上采样操作，ReLU(x)表示激活函数ReLU，σ(x)表示Sigmoid激活函数，
Figure BDA0003813349000000074
和
Figure BDA0003813349000000075
代表第k级和第k+1级ADC模块提供的特征，k＝1，2，3；符号*表示元素乘法，GAPool(x)表示全局平均池化操作， MaxPool(x)表示最大池化操作；
步骤3)设置训练策略；
将经过预处理的数据集以6∶3∶1的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize、epoch和合适的初始学习率和每次更新时学习率下降的值，并采用正则化策略防止过拟合；DCSegNet网络模型中采用反向传播算法(BP) 算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；
步骤4)训练网络模型和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练；DCSegNet网络模型中采用反向传播算法(BP)对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；在损失函数的选择上，将骰子损失(Dice Loss)和二元交叉熵损失(Binary CrossEntropy Loss)结合进行参数更新；因此，损失函数被设计为
Figure BDA0003813349000000081
步骤5)设置评估指标；
使用4个广泛采用的评价标准用于衡量DCSegNet模型的性能；评估指标如下所示：
骰子相似系数(Dice similarity coefficient)：DSC用于测量预测的肺部感染与事实之间的相似性，其中VSeg代表通过模型算法分割后的区域，VGT代表事实的分割区域，TP、TN、FP、 FN分别表示真阳性、真阴性、假阳性、假阴性；DSC定义如下：
Figure BDA0003813349000000082
灵敏度(Sensitivity)：SEN表示被正确分割的肺部感染的百分比；其定义如下：
Figure BDA0003813349000000083
特异性(Specificity)：SPE表示被正确分割的非感染区域的百分比；其定义如下：
Figure BDA0003813349000000084
阳性预测值(Precision)：PRE表示肺部感染区分割的准确性，其定义如下：
Figure BDA0003813349000000085
步骤6)验证和使用已训练好的网络模型；
将已经分割好的验证集送入训练好的DCSegNet网络模型，输出的结果会将Covid-19的肺部CT图中病灶的部分分割出来，最后得到已分割的图像，证明得到的模型是可行的。
本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，但以上所述仅为本发明的优选实施例而已，它完全可以被适用于各种适合本发明的领域，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (1)

1.一种基于多注意力机制的可变形卷积肺部CT图像分割方法，包含以下步骤：
步骤1)对所选的数据集数据增广和数据预处理；
首先读取所选的患有新冠肺炎的患者肺部CT图像数据集，然后将图像进行随机裁剪、反转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强；数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，一般用于训练集；最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；
步骤2)构建网络模型；
构建分割模型DCSegNet；分割模型DCSegNet包括一个主干网络和三个关键模块，即ResNet主干网络、边缘注意力模块(Edge Attention Module)、自适应可形变卷积模块(Adaptive Deformable Convolution)和双重注意力融合模块(Dual-attention fusionmodule)；
使用预训练过的ResNet50的前四层作为DCSegNet的编码器；首先从主干网络的不同层级中提取多层次特征；低级特征来源于浅层网络，富含空间信息，此时的感受野比较小，我们采用EAM模块提取边缘信息；高级特征来源于深层网络，富含语义信息，通过ADC模块自适应感受野，采样得到更符合病灶区域的形状和尺寸；最后通过DFM模块融合低级和高级特征来预测分割图；
2.1.构建EAM模块：
边缘信息作为一种重要的图像特征，在深度学习领域受到越来越多的关注，因为边缘信息有助于在分割任务中提取目标轮廓；通常边缘信息可以提供有用的细粒度约束来指导语义分割任务中的特征提取；高级特征几乎没有边缘信息，而低级特征包含更丰富的对象边界；因此引入边缘注意力模块(Edge Attention Module)来抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比，提高网络分割精度；
fRB表示从主干中提取的特征，将其先通过卷积核大小为3×3的卷积单元，然后通过ReLU激活函数之后，再通过卷积核大小为3×3扩张率为2的空洞卷积单元；将这一操作重复三次之后，最后再通过1×1的卷积单元得到fEAM；
2.2.构建ADC模块：
在CT图像上，病灶的形状大小不规则，自适应可形变卷积模块(Adaptive DeformableConvolution)能在网络中学习卷积参数和坐标偏移，从而自适应感受野；使用3×3卷积核来描述可形变过程；
G＝{(-1,-1),(-1,0),(-1,1), (0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)} (1)
I＝{(ih,iw),(ih,iw),(ih,iw), (ih,iw),(ih,iw),(ih,iw), (ih,iw),(ih,iw),(ih,iw)} (2)
Gi＝G+I (3)
Y[i]＝Conv(X[Gi],ki) (4)
其中G表示特征图的网格，I表示特征图的坐标，h和w代表特征图的两个维度，Gi代表核卷积的区域，Conv是普通卷积函数，ki是3×3核的九个可学习权重，通过新位置的新值X[Gi]和权重ki最终输出对应像素Y[i]的值；
2.3构建DFM模块：
为了有效地融合EAM模块和ADC模块所提取的丰富特征，提出DFM模块(Dual-attentionfusion module)，DFM模块通过将上层特征生成的特征图来增强下层特征，然后将增强的下层特征与上层特征集成；同时将空间注意力机制(SA)和通道注意力机制(CA)相结合，在CA中采用全局平均池化，经过1×1卷积和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；在SA中采用最大池化，经过ReLU和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；用数学公式表达，将DFM模块定义为：
Figure FDA0003813348990000021
Figure FDA0003813348990000022
Figure FDA0003813348990000023
其中Conv表示卷积层，下标代表卷积核尺寸，Deconv(x)表示上采样操作，ReLU(x)表示激活函数ReLU，σ(x)表示Sigmoid激活函数，
Figure FDA0003813348990000024
和
Figure FDA0003813348990000025
代表第k级和第k+1级ADC模块提供的特征，k＝1,2,3；符号*表示元素乘法，GAPool(x)表示全局平均池化操作，MaxPool(x)表示最大池化操作；
步骤3)设置训练策略；
将经过预处理的数据集以6:3:1的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize、epoch和合适的初始学习率和每次更新时学习率下降的值，并采用正则化策略防止过拟合；DCSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；
步骤4)训练网络模型和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练；DCSegNet网络模型中采用反向传播算法(BP)对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；在损失函数的选择上，将骰子损失(Dice Loss)和二元交叉熵损失(Binary CrossEntropy Loss)结合进行参数更新；因此，损失函数被设计为
Figure FDA0003813348990000031
步骤5)设置评估指标；
使用4个广泛采用的评价标准用于衡量DCSegNet模型的性能；评估指标如下所示：
骰子相似系数(Dice similarity coefficient)：DSC用于测量预测的肺部感染与事实之间的相似性，其中VSeg代表通过模型算法分割后的区域，VGT代表事实的分割区域，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性、假阴性；DSC定义如下：
Figure FDA0003813348990000032
灵敏度(Sensitivity)：SEN表示被正确分割的肺部感染的百分比；其定义如下：
Figure FDA0003813348990000033
特异性(Specificity)：SPE表示被正确分割的非感染区域的百分比；其定义如下：
Figure FDA0003813348990000034
阳性预测值(Precision)：PRE表示肺部感染区分割的准确性，其定义如下：
Figure FDA0003813348990000035
步骤6)验证和使用已训练好的网络模型；
将已经分割好的验证集送入训练好的DCSegNet网络模型，输出的结果会将Covid-19的肺部CT图中病灶的部分分割出来，最后得到已分割的图像，证明得到的模型是可行的。
CN202211018870.2A 2022-08-24 2022-08-24 一种基于迁移学习和注意力机制的肺部ct图像分割方法 Pending CN115457049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211018870.2A CN115457049A (zh) 2022-08-24 2022-08-24 一种基于迁移学习和注意力机制的肺部ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211018870.2A CN115457049A (zh) 2022-08-24 2022-08-24 一种基于迁移学习和注意力机制的肺部ct图像分割方法

Publications (1)

Publication Number Publication Date
CN115457049A true CN115457049A (zh) 2022-12-09

Family

ID=84299604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211018870.2A Pending CN115457049A (zh) 2022-08-24 2022-08-24 一种基于迁移学习和注意力机制的肺部ct图像分割方法

Country Status (1)

Country Link
CN (1) CN115457049A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN116934780A (zh) * 2023-09-13 2023-10-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN115984293B (zh) * 2023-02-09 2023-11-07 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN116934780A (zh) * 2023-09-13 2023-10-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统
CN116934780B (zh) * 2023-09-13 2023-11-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统

Similar Documents

Publication Publication Date Title
CN108062753B (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN115457049A (zh) 一种基于迁移学习和注意力机制的肺部ct图像分割方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN110717907A (zh) 一种基于深度学习的手部肿瘤智能检测方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN114820635A (zh) 联合注意力u形网络和多尺度特征融合的息肉分割方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
Chen et al. HADCNet: Automatic segmentation of COVID-19 infection based on a hybrid attention dense connected network with dilated convolution
CN117274147A (zh) 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法
Xu et al. Convolution neural network with coordinate attention for the automatic detection of pulmonary tuberculosis images on chest x-rays
CN117456183A (zh) 一种多层级特征提取融合注意力机制的医学图像分割方法
CN114708278A (zh) 一种基于cgan的新冠肺炎ct图像分割方法
CN114549452A (zh) 基于半监督深度学习的新冠肺炎ct图像分析方法
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN116778250A (zh) 基于迁移学习和cbam的冠脉病变分类方法
CN116894943A (zh) 一种双约束的伪装目标检测方法及系统
Chen et al. Attention gate and dilation U-shaped network (GDUNet): an efficient breast ultrasound image segmentation network with multiscale information extraction
CN113936006A (zh) 一种处理高噪低质医学图像的分割方法及装置
Nalla et al. Influence of Convolutional Neural Network Depth on the Efficacy of Automated Breast Cancer Screening Systems
Essaf et al. Review on deep learning methods used for computer-aided lung cancer detection and diagnosis
CN118570202B (zh) 一种基于视觉状态空间模型的强直性脊柱炎评级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination