CN115294093A - 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 - Google Patents

一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 Download PDF

Info

Publication number
CN115294093A
CN115294093A CN202211023965.3A CN202211023965A CN115294093A CN 115294093 A CN115294093 A CN 115294093A CN 202211023965 A CN202211023965 A CN 202211023965A CN 115294093 A CN115294093 A CN 115294093A
Authority
CN
China
Prior art keywords
model
image
segmentation
chest
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211023965.3A
Other languages
English (en)
Inventor
许元号
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202211023965.3A priority Critical patent/CN115294093A/zh
Publication of CN115294093A publication Critical patent/CN115294093A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于嵌入式残差卷积的U型肺炎胸部CT图像分割方法,主要用于解决胸部CT图像中肺部虚影区域精确识别分割问题。本发明基于编码器‑解码器结构,在编码路径中使用ResNet50预训练模型作为主特征提取器,在加深特征提取网络深度的同时缓解了梯度消失、模型退化等问题;同时设计注意力机制,并将其嵌入至解码单元中,提升模型对虚影的识别能力,在保证大量细节特征信息的同时提高模型对肺部区域特征通道权重的学习;最后在模型解码端建立多尺度特征的融合结构,丰富不同尺度特征的语义信息。从kaggle和Github中提取两个数据集进行训练,取得较好的分割效果,提高了对医生诊断病情的辅助作用。

Description

一种基于嵌入式残差卷积的U型肺炎胸部CT图像分割方法
技术领域
本发明涉及一种利用深度学习进行图像分割方法,具体为一种基于改进U-Net网络的胸部CT图像分割方法,属于图像处理领域。
背景技术
RT-PCR被认为是诊断新冠肺炎的“金标准”。胸部CT在肺炎诊断中具有无创、快捷、灵敏度高的优势,在肺炎的早期发现、疑似病例鉴别、疗效评估中起至关重要的作用。然而,各种病毒性肺炎影像学表现非常相似,常规影像诊断方法鉴别困难。近年来,AI辅助诊断系统在肺结节的检测及诊断中显现出较高的应用价值。目前,针对新冠肺炎的Al辅助诊断通常采用影像组学或深度学习的方法,然而影像组学病灶需要医生手工标记,存在主观偏差,深度学习的结果可解释性差。本研究综合深度学习和影像组学的优点,通过深度学习实现肺炎病灶的自动、客观分割,以诊断和鉴别肺炎。
随着深度学习技术的的不断发展,利用人工智能(artificial intelligence,AI)技术分割医学图像取得了很大进展。新冠患者肺部 CT图像,感染区域为毛玻璃样阴影及实变,斑片状模糊阴影弥漫整个肺区,极易与肺部气管、血管等混淆。因此,基于AI技术有效分割新冠肺炎肺部CT图像感染区域极具挑战。关于新冠肺炎 CT图像辅助诊断研究包括CT图像感染区域分割和分类两大类。利用人工智能技术精确划分CTG图像感染区域,辅助医生进行诊断是提高新冠肺炎诊断效率和准确率、减轻医生负担、减少漏诊和误诊的重要手段。
近年来,深度学习在目标检测、图像识别等计算机视觉领域取得了较大突破,目前越来越多的研究人员采用深度学习的方法进行胸部 CT分割。卷积神经网络通过对原始图像数据进行从低层到高层的特征提取,有效提取高层的语义特征。最近几年,研究人员提出了一种基于全卷积神经网络的编码器-解码器网络架构,由于该结构对称呈 U型,故称为U-Net。
发明内容
为了解决现有分割技术分割不精细的问题,本发明提供了一种基于改进U-Net网络的胸部CT图像分割方法。采用公开的kaggle和 Github上的数据集对模型进行训练,实现CT图中肺部阴影的精确分割。
为了验证模型的分割性能,本发明的技术方案为:
步骤1:构建算法模型,设计U型网络编码路径模块,将ResNet50 预训练模型设置为编码端的特征提取器,模型中4个特征提取单元与 ResNet50中的4个Block残差块对应。
步骤2:设计卷积-批量归一化-激活处理结构,暂命名为Bridge Conv,其中卷积核大小设为3×3,采用LeakReLu激活函数,将步骤1的特征输出作为Bridge Conv的输入。
步骤3:设计注意力机制,使用CBAM注意力模块,重新评估输入特征中的通道重要性。在解码器端将步骤2的特征输出作为 CBAM的输入,然后输入到一个与Bridge Conv相同的结构中,构成嵌入注意力机制的解码单元U-Attention中。
步骤4:步骤1中的编码单元输出与步骤3中的解码单元进行拼接,丰富模型的细节特征,同时在解码端的后3个解码单元后面设计一步卷积操作,最后实现模型的多尺度融合,生成更加精确的像素分割图像。
步骤5:以Tensorflow为深度模型框架,实现对以上步骤模型算法的组合搭建。至此,基于深度学习的胸部CT图像分割模型设计完毕,接下来进行数据的处理。
步骤6:从kaggle和Github上获得公开的胸部CT图像数据集,对两个数据集进行整合处理,形成一个混合数据集。
步骤7:对原始胸部CT图像继续进行扩增处理,采用图像翻转、图像旋转或对比度调整对数据集进行扩充,将扩增后的图像执行步骤 8,输入到步骤1所设计的编码器进行全局特征提取。
步骤8:调整图像分辨率,设置为1024×1024像素大小;对每张图像进行绿色单通道提取,再进行一系列的对比度增强和降噪处理。
步骤9:设计损失函数,引入焦点损失函数(Focal loss)作为目标函数,训练过程中,它降低了简单多样本的Loss贡献,使模型更加关注学习难以训练且样本较少的目标,计算公式:FL(pt)=-αt(1-pt)γlog(pt),其中,αt为平衡焦点损失,代表正负样本比例,pt是预测标签,γ为调节因子,当γ为0时,焦点损失函数相当于分类交叉熵。随着γ的增加,调制因子(1-pt)的影响同样增加,实验证明,当α取值为0.25,γ取值为2时,效果最佳。
步骤10:设置模型训练超参数,模型训练过程中使用Adam优化器进行参数调优,初始学习率设为0.00005,batch_size设置为1, Loss计算过程中采用步骤10中的Focalloss,梯度下降寻优过程中采用可变的学习率,学习率衰减因子设置为0.01,且调整学习率等待周期为10个epoch。同时采用5折交叉验证来训练模型,选出性能指标最佳的模型。
步骤11:对步骤11训练完成的模型进行保存,对模型分割效果进行验证,得到的分割效果图与原始标签图像进行比较。同时,为了验证步骤3所设计的注意力模型对分割效果的影响,模型训练时设计分组对照实验,将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。
附图说明
图1是CBAM注意力结构
图2是改进的具体结构示意图
图3胸部CT图像处理过程示意图
图4CT图像分割结果
具体实施方式
针对胸部CT图像肺部病变区域的识别分割问题,提出的一种嵌入残差卷积和注意力模块的U型分割算法,以U-Net网络模型为基本框架,在编码端,为了更好的提取更高层次数据特征和保留更加丰富的空间信息,引入残差模块,加深特征网络的深度。残差结构还有效减少下采样阶段信息丢失的问题。在解码端设计U-Attention单元,引入CBAM注意力,扩大模型的感受野,减少背景信息的干扰,保证细节信息的同时有效提高模型识别病灶的注意权重,并与相应的上采样层相结合,充分利用上下文信息。最后利用解码端后三层的输出进行多尺度特征融合。所提出的模型在kaggle和Github混合数据集上进行训练和测试。
具体包含以下步骤:
步骤1:构建算法模型,设计U型网络编码路径模块,将ResNet50 预训练模型设置为编码端的特征提取器,模型中4个特征提取单元与 ResNet50中的4个Block残差块对应。
步骤2:设计卷积-批量归一化-激活处理结构,暂命名为Bridge Conv,其中卷积核大小设为3×3,采用LeakReLu激活函数,将步骤 1的特征输出作为Bridge Conv的输入。
步骤3:设计注意力机制模块,使用CBAM注意力模块,重新评估输入特征中的通道重要性。在解码器端将步骤2的特征输出作为 CBAM的输入,然后输入到一个与Bridge Conv相同的结构中,构成嵌入注意力机制的解码单元U-Attention中。
步骤4:步骤1中的编码单元输出与步骤3中的解码单元进行拼接,丰富模型的细节特征,同时在解码端的后3个解码单元后面设计一步卷积操作,最后实现模型的多尺度融合,生成更加精确的像素分割图像。
步骤5:以Tensorflow为深度模型框架,实现对以上步骤模型算法的组合搭建。至此,基于深度学习的胸部CT图像分割模型设计完毕,接下来进行数据的处理。
步骤6:从kaggle和Github上获得公开的胸部CT图像数据集,对两个数据集进行整合处理,形成一个混合数据集。
步骤7:对原始胸部CT图像继续进行扩增处理,采用图像翻转、图像旋转或对比度调整对数据集进行扩充,将扩增后的图像执行步骤 8,输入到步骤1所设计的编码器进行全局特征提取。
步骤8:调整图像分辨率,设置为1024×1024像素大小;对每张图像进行绿色单通道提取,再进行一系列的对比度增强和降噪处理。
步骤9:设计损失函数,引入焦点损失函数(Focal loss)作为目标函数,训练过程中,它降低了简单多样本的Loss贡献,使模型更加关注学习难以训练且样本较少的目标,计算公式: FL(pt)=-αt(1-pt)γlog(pt),其中,αt为平衡焦点损失,代表正负样本比例,pt是预测标签,γ为调节因子,当γ为0时,焦点损失函数相当于分类交叉熵。随着γ的增加,调制因子(1-pt)的影响同样增加,实验证明,当α取值为0.25,γ取值为2时,效果最佳。
步骤10:设置模型训练超参数,模型训练过程中使用Adam优化器进行参数调优,初始学习率设为0.00005,batch_size设置为1, Loss计算过程中采用步骤10中的Focalloss,梯度下降寻优过程中采用可变的学习率,学习率衰减因子设置为0.01,且调整学习率等待周期为10个epoch。同时采用5折交叉验证来训练模型,选出性能指标最佳的模型。
步骤11:对步骤11训练完成的模型进行保存,对模型分割效果进行验证,得到的分割效果图与原始标签图像进行比较。同时,为了验证步骤3所设计的注意力模型对分割效果的影响,模型训练时设计分组对照实验,将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。

Claims (1)

1.一种基于嵌入残差卷积的U型肺炎胸部CT图像分割方法,其特征在于,包括以下步骤:
步骤1:构建算法模型,设计U型网络编码路径模块,将ResNet50预训练模型设置为编码端的特征提取器,模型中4个特征提取单元与ResNet50中的4个Block残差块对应。
步骤2:设计卷积-批量归一化-激活处理结构,暂命名为Bridge Conv,其中卷积核大小设为3×3,采用LeakReLu激活函数,将步骤1的特征输出作为Bridge Conv的输入。
步骤3:设计注意力机制,使用CBAM注意力模块,重新评估输入特征中的通道重要性。在解码器端将步骤2的特征输出作为CBAM的输入,然后输入到一个与Bridge Conv相同的结构中,构成嵌入注意力机制的解码单元U-Attention中。
步骤4:步骤1中的编码单元输出与步骤3中的解码单元进行拼接,丰富模型的细节特征,同时在解码端的后3个解码单元后面设计一步卷积操作,最后实现模型的多尺度融合,生成更加精确的像素分割图像。
步骤5:以Tensorflow为深度模型框架,实现对以上步骤模型算法的组合搭建。至此,基于深度学习的胸部CT图像分割模型设计完毕,接下来进行数据的处理。
步骤6:从kaggle和Github上获得公开的胸部CT图像数据集,对两个数据集进行整合处理,形成一个混合数据集。
步骤7:对原始胸部CT图像继续进行扩增处理,采用图像翻转、图像旋转或对比度调整对数据集进行扩充,将扩增后的图像执行步骤8,输入到步骤1所设计的编码器进行全局特征提取。
步骤8:调整图像分辨率,设置为1024×1024像素大小;对每张图像进行绿色单通道提取,再进行一系列的对比度增强和降噪处理。
步骤9:设计损失函数,引入焦点损失函数(Focal loss)作为目标函数,训练过程中,它降低了简单多样本的Loss贡献,使模型更加关注学习难以训练且样本较少的目标,计算公式:FL(pt)=-αt(1-pt)γlog(pt),其中,αt为平衡焦点损失,代表正负样本比例,pt是预测标签,γ为调节因子,当γ为0时,焦点损失函数相当于分类交叉熵。随着γ的增加,调制因子(1-pt)的影响同样增加,实验证明,当α取值为0.25,γ取值为2时,效果最佳。
步骤10:设置模型训练超参数,模型训练过程中使用Adam优化器进行参数调优,初始学习率设为0.00005,batch_size设置为1,Loss计算过程中采用步骤10中的Focal loss,梯度下降寻优过程中采用可变的学习率,学习率衰减因子设置为0.01,且调整学习率等待周期为10个epoch。同时采用5折交叉验证来训练模型,选出性能指标最佳的模型。
步骤11:对步骤11训练完成的模型进行保存,对模型分割效果进行验证,得到的分割效果图与原始标签图像进行比较。同时,为了验证步骤3所设计的注意力模型对分割效果的影响,模型训练时设计分组对照实验,将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。
CN202211023965.3A 2022-08-26 2022-08-26 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 Withdrawn CN115294093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023965.3A CN115294093A (zh) 2022-08-26 2022-08-26 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023965.3A CN115294093A (zh) 2022-08-26 2022-08-26 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法

Publications (1)

Publication Number Publication Date
CN115294093A true CN115294093A (zh) 2022-11-04

Family

ID=83831819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023965.3A Withdrawn CN115294093A (zh) 2022-08-26 2022-08-26 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法

Country Status (1)

Country Link
CN (1) CN115294093A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205967A (zh) * 2023-04-27 2023-06-02 中国科学院长春光学精密机械与物理研究所 医学影像语义分割方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205967A (zh) * 2023-04-27 2023-06-02 中国科学院长春光学精密机械与物理研究所 医学影像语义分割方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110930418B (zh) 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN111798464A (zh) 基于深度学习的淋巴瘤病理图像智能识别方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN112785592A (zh) 基于多重扩张路径的医学影像深度分割网络
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN112750132A (zh) 基于双路径网络和通道注意的白细胞图像分割方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113223005A (zh) 一种甲状腺结节自动分割及分级的智能系统
CN116013449B (zh) 融合临床信息与磁共振图像的心肌病预后辅助预测方法
CN113205524A (zh) 基于U-Net的血管图像分割方法、装置和设备
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN114708278A (zh) 一种基于cgan的新冠肺炎ct图像分割方法
CN114299082A (zh) 一种新冠肺炎ct图像分割方法、装置及存储介质
CN114581701A (zh) 一种t2加权影像特征生成动态增强影像特征的方法
CN115294093A (zh) 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法
CN116779091A (zh) 一种多模态网络互联融合的胸部影像诊断报告自动生成方法
CN114882218A (zh) 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
CN114862865B (zh) 基于多视角冠状动脉造影序列图像的血管分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221104