CN116579982A - 一种肺炎ct图像分割方法、装置及设备 - Google Patents

一种肺炎ct图像分割方法、装置及设备 Download PDF

Info

Publication number
CN116579982A
CN116579982A CN202310330767.XA CN202310330767A CN116579982A CN 116579982 A CN116579982 A CN 116579982A CN 202310330767 A CN202310330767 A CN 202310330767A CN 116579982 A CN116579982 A CN 116579982A
Authority
CN
China
Prior art keywords
image
module
layer
convolution
pneumonia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310330767.XA
Other languages
English (en)
Inventor
吴晨健
周天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202310330767.XA priority Critical patent/CN116579982A/zh
Publication of CN116579982A publication Critical patent/CN116579982A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种肺炎CT图像分割方法，包括将获取的预处理后的待检测肺炎CT图像输入预先训练好的U‑Former模型中，经过Stem模块提取局部特征，生成特征图像；输入编码器中沿正传播方向依次串联的四个编码层进行下采样，每个编码层对输入图像的处理包括：将输入图像经过卷积块送至N个串联的混合模块；利用混合模块中并行的高效多头自注意力模块EMSHA与卷积模块，分别对卷积后的图像进行处理；EMSHA将输入的大小为H×W×C的图像，划分为个Patch，每个Patch的大小为ph×pw，由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算，输出特征图像，与经过卷积模块的输出图像，送入残差模块输出；再经过与编码器跳跃连接的解码器上采样，输出肺炎CT图像病灶分割结果。

Description

一种肺炎CT图像分割方法、装置及设备
技术领域
本发明涉及医学图像处理技术领域，尤其是指一种肺炎CT图像分割方法、装置及设备。
背景技术
深度学习是机器学习方法之一，通过建立多层神经网络来进行高效的特征提取和数据建模。相比于传统机器学习方法，深度学习可以自动学习更加复杂的模式和规律，可以处理包括图像、语音、自然语言等在内的大量高维数据，具有广泛的应用前景。随着深度学习技术的快速发展和应用，它在医学图像处理和分析领域的作用也日益显著。相比于传统的医学图像分析方法，深度学习可以自动从大量的数据中学习并提取特征，从而为相关疾病的诊断提供更加可靠和准确的依据。此外，利用深度学习技术可以实现医学图像的自动分析和识别，可以极大地提高医生的工作效率和准确性。随着深度学习技术不断的发展和应用，它已经成为了现代医疗领域的具有前景的发展方向，有望为人类健康事业的发展做出更大的贡献。
自2019年12月以来，新型冠状病毒(COVID-19)已经在全球迅速传播。该病毒已经经历了多次变异，其传播力强、并发症高的特点依旧是当前医学界面临的重大挑战，其中部分感染者可能出现肺炎相关症状。2023年1月5日，中国国家卫生健康委员会发布了《新型冠状病毒感染诊疗方法》(试行第十版)，其中将胸部影像学特征列为临床特点之一。CT(计算机断层扫描)作为一种非侵入性的成像方法，可以描绘出肺部的特征性表现，帮助医生及时对疾病进行诊断。然而，随着感染患者数量的增加，患者肺部CT数据也逐渐增多，由于人工经验的差异，准确率无法得到保证，很容易造成误判，增加了误诊的风险的同时给医生带来更大的负担。因此，开发出计算机辅助系统，通过自动分析CT图像并输出肺炎疾病类型信息，有利于放射科医生做出决策，同时也有助于早期发现和治疗肺病。
目前，基于计算机辅助系统进行CT图像分析的研究包括：(1)东华大学的王光宇在基于深度学习的肺炎CT图像检测方法研究的硕士论文中，对基于深度学习的肺炎CT图像的分割、分类方法,进行了较系统、深入的研究。该论文构建了Lung Seg-Net模型对CT图像数据进行预分割处理,去除数据集图像中除肺部区域外的背景区域；之后,在分割数据集上,利用U-Net、U-Net++、U-Net+Res Net101以及Deep Lab V3+模型分别进行分割实验；并在Deep Lab V3+模型中引入卷积注意力模块以及深度可分离卷积模块以提升模型性能。(2)宋瑶发表在《计算机工程与应用》中的改进U-Net的肺炎图像分割方法中针对肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了预训练好的EfficientNet-B0网络,对有效信息进行特征提取；在解码器中使用新的上采样操作结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度；在公开数据集上的实验结果表明该方法能有效分割肺炎病灶区域,具有良好的分割性能。(3)中国专利CN111932559B提供了基于深度学习的肺炎肺部病灶区域分割系统,可以精准地将肺部病灶区域从肺部区域中分割出来,完成COVID-19感染区域轮廓的快速自动勾画,便于在现场应用中定性评估疾病,节省了大量人力与时间,同时提高了对COVID-19疑似病患的诊断准确率,降低假阴性概率较高。但上述技术在图像分割领域中所采用的神经网络主要是全卷积网络，由于卷积操作的局限性，其在提取全局特征时存在一定困难。即使某些技术引入了自注意力机制，但其高计算复杂度和需要更多计算资源的限制，也使其在医学图像分割领域的应用存在较大挑战。
综上所述，随着深度学习技术的发展和神经网络结构的不断优化，基于神经网络的图像分割算法在医学影像、自然图像、遥感图像等多个领域都取得了广泛的应用和重要的成果。但是，在医学图像分割领域，由于医学图像的复杂性和多变性，现有的全卷积神经网络仍然存在一些问题。一方面，这些算法仍然不能够完全准确地分割不同类型的病变或组织；另一方面，由于卷积操作的局限性，这些算法也不能够很好地捕捉长距离的依赖关系，因此可能无法对整个图像进行全面的分析。目前，尽管部分研究人员已经将自注意力机制引入卷积神经网络中，以改善全局特征提取问题，但是这些网络模型往往面临着高计算复杂度和计算资源的限制，导致在医学图像分割领域中的应用非常困难。这种情况主要是因为自注意力机制需要处理图像中所有像素之间的关系，导致计算量随着图像尺寸和深度的增加呈指数级增长。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中图像分割模型计算复杂度高的问题。
为解决上述技术问题，本发明提供了一种肺炎CT图像分割方法，包括：
获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；
将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：
将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；
每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
在本发明的一个实施例中，所述U-Former模型的编码端包括：
Stem模块，用于对输入的图像利用卷积提取局部特征，生成特征图像；
编码器，用于对所述特征图像进行下采样，其包括沿正传播方向依次串联的四层编码层；所述编码层沿正传播方向依次包括：
卷积块；
多个混合模块。
在本发明的一个实施例中，所述U-Former模型的解码端包括用于对输入的特征图像进行上采样的解码器，沿正传播方向依次包括：
第一层解码层，其输入为第三层编码层输出图像与经过上采样的第四层编码层输出图像；
第二层解码层，其输入为第二层编码层输出图像与经过上采样的第一层解码层输出图像；
第三层解码层，其输入为第一层编码层输出图像与经过上采样的第二层解码层输出图像。
在本发明的一个实施例中，所述Stem模块包括沿正传播方向依次串联的一个步长为2的3×3卷积块与两个步长为1的3×3卷积块。
在本发明的一个实施例中，所述混合模块将输入图像经过标准化模块后，分别送入并行的高效多头自注意力模块与卷积模块中，两模块的输出经过1×1卷积，与标准化后的输入图像跳跃连接，再经过残差MLP模块输出。
在本发明的一个实施例中，所述预处理包括对待检测肺炎CT图像进行数据增强。
在本发明的一个实施例中，所述解码器的解码层与对应编码层跳跃连接的路径上包括多尺度特征融合模块MSFF，所述MSFF为并行多分支结构，将经过卷积的MSFF的输入图像与多个支路的输出图像进行拼接与卷积后输出，所述并行多分支结构包括：
第一分支，其包括步长为1的3×3卷积块；
第二分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块与步长为2的3×3卷积块；
第三分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块、步长为2的3×3卷积块与步长为3的3×3卷积块；
所述第一分支、所述第二分支与所述第三分支中，每个卷积块之后都串联批归一化层与激活函数层。
在本发明的一个实施例中，所述解码器的解码层与对应编码层跳跃连接的路径上包括通道注意力机制CA，用于对输入图像先使用尺寸为(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，获取一对方向感知注意力图，经过concatenate、1×1卷积块与激活函数，生成联合特征图；沿着空间维度对联合特征图进行split操作，得到宽度特征图与高度特征图，分别经过1×1卷积与激活函数，获取宽度注意力向量与高度注意力向量，进行重新分配输出特征图像。
本发明实施例还提供了另一种肺炎CT图像分割装置，包括：
图像输入模块，用于获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
编码模块，所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码模块，解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
本发明实施例还提供了一种肺炎CT图像分割设备，包括：
肺炎CT图像采集装置，用于采集肺炎CT图像；
处理器，与所述肺炎CT图像采集装置通讯连接，用于执行计算机程序实现如权利要求1至8任一项所述的肺炎CT图像分割方法的步骤，获取肺炎CT图像病灶分割结果；
显示装置，与所述处理器通讯连接，用于获取并显示所述肺炎CT图像病灶分割结果。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的肺炎CT图像分割方法在编码器中利用由高效多头自注意力模块与卷积模块并行的混合模块，从输入图像中提取特征；基于Transformer的高效多头自注意力模块与卷积模块，既发挥了Transformer对于提取全局上下文信息的优势，又保留了卷积神经网络对局部细节特征的提取；且利用高效多头自注意力模块，在进行自注意力计算时，每个Patch中的Token只与其他Patch中对应位置处的Token进行自注意力计算，进而降低了计算成本。
本发明所提供的U-Former模型在解码器与编码器跳跃连接的路径上增加多尺度特征融合模块与通道注意力模块；通道注意力模块考虑了坐标信息，不仅可以在一个方向上获得长距离的依赖关系，还可以在另一个方向上保留坐标信息；多尺度特征融合模块利用空洞卷积，使局部特征与全局特征都得到充分利用；本发明加强了对输入图像的细节特征提取，提高了对肺炎病灶的敏感性，有利于提高分割精度。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明所提供的肺炎CT图像分割方法的步骤流程图；
图2是本发明所提供的U-Former模型的结构示意图；
图3是本发明所提供的混合模块的结构示意图；
图4是现有技术中标准多头自注意力机制的计算示意图；
图5是本发明所提供的输入高效多头自注意力机制的特征图像；
图6是本发明所提供的高效多头自注意力机制图像划分示意图；
图7是本发明所提供的高效多头自注意力机制计算示意图；
图8是本发明所提供的高效多头自注意力机制的另一计算示意图；
图9是本发明所提供的多尺度特征融合模块的结构示意图；
图10是本发明所提供的通道注意力机制结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例1:
参照图1所示，为本发明所提供的肺炎CT图像分割方法，利用所述U-Former模型对采集的待检测肺炎CT图像进行分割，具体步骤包括：
获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；
将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：
将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；
每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
具体地，参照图2所示，为本发明所提供的U-Former模型的结构示意图，具体包括：
编码端：
Stem模块，用于对输入的图像利用卷积提取局部特征，生成特征图像，其包括沿正传播方向依次串联的一个步长为2的3×3卷积块与两个步长为1的3×3卷积块；
编码器，用于对所述特征图像进行下采样，其包括沿正传播方向依次串联的四层编码层，每一层输出不同大小的特征图像；所述编码层沿正传播方向依次包括串联的步长为2的3×3卷积块与多个混合模块。
解码端：
解码器，用于对输入的特征图像进行上采样的，沿正传播方向依次包括：第一层解码层，其输入为第三层编码层输出图像与经过上采样的第四层编码层输出图像；第二层解码层，其输入为第二层编码层输出图像与经过上采样的第一层解码层输出图像；第三层解码层，其输入为第一层编码层输出图像与经过上采样的第二层解码层输出图像；
输出卷积，用于将第三层解码层的输出图像进行卷积输出。
具体地，参照图3所示，为本发明所提供的混合模块的结构示意图，包括通过一种并行的架构结合起来的卷积模块与高效多头自注意力机制，使得所述U-Former模型在捕获全局信息的同时，也能关注到局部细节特征，从而提升模型对肺炎CT图像的病灶分割能力；所述混合模块将输入图像经过标准化模块后，分别送入并行的高效多头自注意力模块与卷积模块中，两模块的输出经过1×1卷积，与标准化后的输入图像跳跃连接，再经过残差MLP模块输出。
具体地，在本发明实施例中，针对Tranformer中的计算复杂度较高的多头自注意力机制，基于MobileViT的启发，提出了所述高效多头自注意力机制EMHSA(EfficientMulti-head Self-attention)。参照图4所示，以3×3的特征图像为例，在传统的多头自注意力机制中，忽略了通道维度，每一个Token都会有其他位置上所有的Token进行自注意力计算；所述Token代表被拆分、扁平后的图像块向量。为降低自注意力机制的计算成本，参照图4所示，本发明实施例提出了EMHSA，参照图5所示，给定的大小为H×W×C的特征图像，参照图6所示，首先将所述特征图像划分为Patch，每个的大小为ph×pw，共有个Patch，每个Patch由ph×pw个Token组成；参照图7所示，在基于所述EMHSA进行自注意力计算时，每个Patch中的Token只与其他Patch中对应位置处的Token进行自注意力计算，不再与所有Token计算自注意力，以此来降低计算成本。
具体地，参照图8所示，为基于本发明实施例提供的高效多头自注意力机制进行自注意力计算的示意图，其中，特征图像大小为6×6，ph与pw均设置为2，每一个小方块均代表一个Token，4个Token组成一个Patch。
本发明实施例针对传统多头自注意力机制进行改进，利用改进的高效多头自注意力机制与卷积并行，既充分发挥了Transformer对于提取全局上下文信息的优势，又保留了卷积神经网络对局部细节特征的提取，且大大减小了Transformer的计算量。
本发明实施例还提供了另一种肺炎CT图像分割装置，包括：
图像输入模块，用于获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
编码模块，所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码模块，解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
本发明实施例还提供了一种肺炎CT图像分割设备，包括：
肺炎CT图像采集装置，用于采集肺炎CT图像；
处理器，与所述肺炎CT图像采集装置通讯连接，用于执行计算机程序实现如上述所述的肺炎CT图像分割方法的步骤，获取肺炎CT图像病灶分割结果；
显示装置，与所述处理器通讯连接，用于获取并显示所述肺炎CT图像病灶分割结果。
实施例2：
基于上述实施例，在本实施例中，为了增强特征图像的表征能力，在解码器与编码器跳跃连接的过程中，利用空洞卷积构造多尺度特征融合模块MSDD，引入了通道注意力机制CA(Coordinate Attention)。所述多尺度特征融合模块通过融合多尺度特征，使得局部特征与全局特征都能得到充分利用，进而提高U-Former模型的CT图像病灶分割能力。所述通道注意力机制CA是一种轻便而高效的注意力机制，使U-Former模型能够从输入的特征图像中提取感兴趣的区域，并能抵抗混杂信息的干扰，从而集中于有效目标的关键信息；其在通道注意力中加入了坐标信息，不同于传统的通道注意力机制将张量形式的特征转换为向量形式的特征，并利用池化操作进行处理的方法，所述通道注意力机制CA将通道注意力拆分为两部分，并按照不同的方向对每部分进行特征编码，最后将这两部分结合起来；利用本发明实施例所提供的通道注意力机制，不仅可以在一个方向上获得长距离的依赖关系，而且可以在另一个方向上保留坐标位置。
参照图9所示，为本发明所提供的所述多尺度特征融合模块，设置在解码层与对应编码层跳跃连接的路径上，所述MSFF为并行多分支结构，将经过卷积的MSFF的输入图像与多个支路的输出图像进行拼接与卷积后输出，所述并行多分支结构包括：
第一分支，其包括步长为1的3×3卷积块；
第二分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块与步长为2的3×3卷积块；
第三分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块、步长为2的3×3卷积块与步长为3的3×3卷积块；
所述第一分支、所述第二分支与所述第三分支中，每个卷积块之后都串联批归一化层与激活函数层。
参照图10所示，为本发明所提供的所述通道注意力机制模块，设置在解码层与对应编码层跳跃连接的路径上，用于对输入图像先使用尺寸为(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，获取一对方向感知注意力图，经过concatenate、1×1卷积块与激活函数，生成联合特征图；沿着空间维度对联合特征图进行split操作，得到宽度特征图与高度特征图，分别经过1×1卷积与激活函数，获取宽度注意力向量与高度注意力向量，进行重新分配输出特征图像。
本发明实施例在编码层与对应解码层跳跃连接的路径上引入了多尺度特征融合模块与通道注意力模块，加强了对细节特征的提取；多尺度特征融合模块使得局部特征与全局特征都得到充分利用；通道注意力模块使U-Former模型能够从输入中提取到感兴趣的区域，并抵抗混杂信息的干扰，从而集中有效目标的关键信息，提高模型分割精度。
基于上述实施例，在本实施例中，基于现有的肺炎CT图像数据集进行数据增强，并对数据增强后的数据集，按照8:1:1的比例，划分为训练集、验证集与测试集。
具体地，本实施例采用的现有肺炎CT图像数据集之一是来自国家生物信息中心的“2019新型冠状病毒信息库”；该数据集包含150个病人的CT扫描图像及来自专业医生的掩膜标注；其中，CT图像大小与掩膜大小均为512×512，掩膜中每个像素对应着0-3的数值，分别代表着背景、肺野、磨玻璃样影与肺实变。与其他类似的数据库相比，该数据集在样本的收集数量及特征表现方面更为全面，而且图像尺寸同一，类别数量均衡，图像质量高且经过了国家专业人士的研究和认证。本实施例采用的另一现有肺炎CT图像数据集是来自于国家生物信息中心的由专业人士进行了精细标注的数据集；该数据集中的原始CT图像来源于分类数据集中的COVID-19感染患者肺部的CT图像；该数据集的标注与第一个数据集相同，均为四个类别，是由专业的医生根据自身经验与认知，参考了第一个数据集的标注，进行的细致详细的掩膜标注。
在原始的肺部CT数据集中，各类CT样本虽然包含了不同的特征差异，但在形状、角度、数量等方面都较为固定。从复杂性上来说，并不符合现实场景中的实际应用，因此，在本实施例中，将本实施例所采用的两个数据集合并，对合并后数据集中每一张参与了训练的CT图像样本，进行了随机性的图像增强处理；所述图像增强处理主要包括水平、垂直方位的翻转，随机角度的旋转，改变对比度等；最终经过整理筛选，扩充数据集。
通过Pytorch深度学习框架搭建本发明所构造的卷积神经网络U-Former，将划分的训练集作为U-Former的输入，训练神经网络模型参数；设置初始学习率为0.001，迭代200个epoch，采用的学习率衰减策略为余弦退火衰减，使用CrossEntropyLoss为损失函数，通过SGD优化器进行模型优化。
基于训练好的U-Former网络模型，利用Dice系数、敏感度Sensitivity(Sen)和交并比(IoU)作为评价指标，在测试集上，验证神经网络模型的性能。
Dice系数：
敏感度：
交并比：
其中，TP表示真阳性True Positive，指阳性样本同时被预测为阳性的的样本数；FN表示假阴性False Negative，指阳性样本被预测为阴性的样本数；FP表示假阳性FslaePositive，指阴性样本被预测为阳性的样本数；TN表示真阴性True Negative，指阴性样本被预测为阴性的样本数。
在本实施例中，本发明所提供的肺炎CT图像分割方法在肺炎分类任务中的Dice系数、敏感度与交并比分别为82.54％、85.70％与80.01％。
根据训练集的评价指标，调整神经网络模型超参数，进行模型优化；利用优化好的U-Former模型，在测试集中进行测试，并根据测试结果不断调整模型超参数，进行模型优化。基于优化后的U-Former模型，对验证集进行验证，获取肺炎CT图像病灶分割结果，以便给医生提供精确的疾病数据，便于患者后续的诊断和治疗。
本发明所提供的肺炎CT图像病灶分割方法，对Transfoemer中的多头自注意力改进获取高效多头自注意力EMSHA，将EMSHA与卷积并行的混合模块应用于U-Former模型的编码器中，引入医学图像分割领域，既充分发挥了Transformer对于提取全局上下文信息的优势，又保留了卷积神经网络对局部细节特征的提取。本发明通过在编码器与解码器之间引入多尺度特征融合模块与通道注意力模块，加强对细节特征的提取，从丰富的特征中提取分割所需的关键信息，提高了分割精度。所述U-foemer模型的鲁棒性好，在CT图像的分割任务上具有较强的适应性，本发明推动了Transformer、卷积网络、多尺度特征融合模块与通道自注意力机制相结合在医学图像分析领域的应用，对医学图像的诊断分析有重要的研究价值与实际意义。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种肺炎CT图像分割方法，其特征在于，包括：
获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；
将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：
将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；
每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
2.根据权利要求1所述的肺炎CT图像分割方法，其特征在于，所述U-Former模型的编码端包括：
Stem模块，用于对输入的图像利用卷积提取局部特征，生成特征图像；
编码器，用于对所述特征图像进行下采样，其包括沿正传播方向依次串联的四层编码层；所述编码层沿正传播方向依次包括：
卷积块；
多个混合模块。
3.根据权利要求2所述的肺炎CT图像分割方法，其特征在于，所述U-Former模型的解码端包括用于对输入的特征图像进行上采样的解码器，沿正传播方向依次包括：
第一层解码层，其输入为第三层编码层输出图像与经过上采样的第四层编码层输出图像；
第二层解码层，其输入为第二层编码层输出图像与经过上采样的第一层解码层输出图像；
第三层解码层，其输入为第一层编码层输出图像与经过上采样的第二层解码层输出图像。
4.根据权利要求2所述的肺炎CT图像分割方法，其特征在于，所述Stem模块包括沿正传播方向依次串联的一个步长为2的3×3卷积块与两个步长为1的3×3卷积块。
5.根据权利要求1所述的肺炎CT图像分割方法，其特征在于，所述混合模块将输入图像经过标准化模块后，分别送入并行的高效多头自注意力模块与卷积模块中，两模块的输出经过1×1卷积，与标准化后的输入图像跳跃连接，再经过残差MLP模块输出。
6.根据权利要求1所述的肺炎CT图像分割方法，其特征在于，所述预处理包括对待检测肺炎CT图像进行数据增强。
7.根据权利要求1所述的肺炎CT图像分割方法，其特征在于，所述解码器的解码层与对应编码层跳跃连接的路径上包括多尺度特征融合模块MSFF，所述MSFF为并行多分支结构，将经过卷积的MSFF的输入图像与多个支路的输出图像进行拼接与卷积后输出，所述并行多分支结构包括：
第一分支，其包括步长为1的3×3卷积块；
第二分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块与步长为2的3×3卷积块；
第三分支，其包括沿正传播方向依次串联的步长为1的3×3卷积块、步长为2的3×3卷积块与步长为3的3×3卷积块；
所述第一分支、所述第二分支与所述第三分支中，每个卷积块之后都串联批归一化层与激活函数层。
8.根据权利要求1所述的肺炎CT图像分割方法，其特征在于，所述解码器的解码层与对应编码层跳跃连接的路径上包括通道注意力机制CA，用于对输入图像先使用尺寸为(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，获取一对方向感知注意力图，经过concatenate、1×1卷积块与激活函数，生成联合特征图；沿着空间维度对联合特征图进行split操作，得到宽度特征图与高度特征图，分别经过1×1卷积与激活函数，获取宽度注意力向量与高度注意力向量，进行重新分配输出特征图像。
9.一种肺炎CT图像分割装置，其特征在于，包括：
图像输入模块，用于获取待检测肺炎CT图像，进行预处理；将预处理后的待检测肺炎CT图像输入预先训练好的U-Former模型中；
编码模块，所述U-Former模型为U型结构，对输入的图像利用卷积提取局部特征，生成特征图像；将特征图像输入编码器中进行下采样，所述编码器包括沿正传播方向依次串联的多个编码层，每个编码层对输入的特征图像的处理包括：将输入的特征图像经过卷积块卷积后，送至多个串联的混合模块，获取最后一个混合模块输出的图像作为该编码层的输出特征图像；每个混合模块均利用并行的高效多头自注意力模块与卷积模块，分别对卷积后的图像进行处理；高效多头自注意力模块将输入的大小为H×W×C的特征图像，划分为个Patch，ph×pw为每个Patch的大小，每个Patch由ph×pw个Token组成；划分之后进行自注意力计算，每个Patch中的Token，只与其他Patch中对应位置处的Token进行自注意力计算；根据每个Token的自注意力获取带有全局信息的特征图像与经过卷积模块的输出图像，送入残差模块输出；
解码模块，解码器的解码层与对应编码层跳跃连接，根据对应编码层的输出特征图像与上一解码层的输出图像进行上采样，最后一层解码层上采样的结果经过卷积模块，输出肺炎CT图像病灶分割结果。
10.一种肺炎CT图像分割设备，其特征在于，包括：
肺炎CT图像采集装置，用于采集肺炎CT图像；
处理器，与所述肺炎CT图像采集装置通讯连接，用于执行计算机程序实现如权利要求1至8任一项所述的肺炎CT图像分割方法的步骤，获取肺炎CT图像病灶分割结果；
显示装置，与所述处理器通讯连接，用于获取并显示所述肺炎CT图像病灶分割结果。
CN202310330767.XA 2023-03-30 2023-03-30 一种肺炎ct图像分割方法、装置及设备 Pending CN116579982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310330767.XA CN116579982A (zh) 2023-03-30 2023-03-30 一种肺炎ct图像分割方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310330767.XA CN116579982A (zh) 2023-03-30 2023-03-30 一种肺炎ct图像分割方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116579982A true CN116579982A (zh) 2023-08-11

Family

ID=87538426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310330767.XA Pending CN116579982A (zh) 2023-03-30 2023-03-30 一种肺炎ct图像分割方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116579982A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958163A (zh) * 2023-09-20 2023-10-27 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN117036714A (zh) * 2023-10-09 2023-11-10 安徽大学 融合混合注意力机制的肠息肉分割方法、系统及介质
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法
CN117132595A (zh) * 2023-10-25 2023-11-28 北京市肿瘤防治研究所 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法
CN117078697B (zh) * 2023-08-21 2024-04-09 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法
CN116958163A (zh) * 2023-09-20 2023-10-27 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN116958163B (zh) * 2023-09-20 2023-12-08 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN117036714A (zh) * 2023-10-09 2023-11-10 安徽大学 融合混合注意力机制的肠息肉分割方法、系统及介质
CN117036714B (zh) * 2023-10-09 2024-02-09 安徽大学 融合混合注意力机制的肠息肉分割方法、系统及介质
CN117132595A (zh) * 2023-10-25 2023-11-28 北京市肿瘤防治研究所 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统
CN117132595B (zh) * 2023-10-25 2024-01-16 北京市肿瘤防治研究所 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN109447940B (zh) 卷积神经网络训练方法、超声图像识别定位方法及系统
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
Chen et al. Computer aided diagnosis of thyroid nodules based on the devised small-datasets multi-view ensemble learning
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
CN112784856A (zh) 胸部x射线图像的通道注意力特征提取方法和识别方法
CN110189307B (zh) 一种基于多模型融合的肺结节检测方法及系统
Wang et al. A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network
CN112085113B (zh) 一种重症肿瘤影像识别系统及方法
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN113643261B (zh) 一种基于频率注意网络的胸肺部疾病诊断方法
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
Yao et al. GeminiNet: combine fully convolution network with structure of receptive fields for object detection
CN114445339A (zh) 基于改进Faster RCNN算法的泌尿系结石检测分类方法
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
Zheng et al. Automated detection and recognition of thyroid nodules in ultrasound images using Improve Cascade Mask R-CNN
CN117218127B (zh) 超声内镜辅助监测系统及方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination