CN117152433A - 一种基于多尺度跨层注意力融合网络的医学图像分割方法 - Google Patents

一种基于多尺度跨层注意力融合网络的医学图像分割方法 Download PDF

Info

Publication number
CN117152433A
CN117152433A CN202311122480.4A CN202311122480A CN117152433A CN 117152433 A CN117152433 A CN 117152433A CN 202311122480 A CN202311122480 A CN 202311122480A CN 117152433 A CN117152433 A CN 117152433A
Authority
CN
China
Prior art keywords
attention
layer
module
lung
fusion network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311122480.4A
Other languages
English (en)
Inventor
李钢
张玲
谢金洁
程珪娟
侯瑞祥
张凯如
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202311122480.4A priority Critical patent/CN117152433A/zh
Publication of CN117152433A publication Critical patent/CN117152433A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于多尺度跨层注意力融合网络的医学图像分割方法，属于图像处理技术领域。包括：S100：收集带有蜂窝肺病的肺部计算机断层扫描图像，并对肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集；S200：UNeXt网络框架构建多尺度跨层注意力融合网络模型；S300：基于蜂窝肺数据集，采用二分类交叉熵损失函数BCE loss以及图像分割任务损失函数Dice loss共同训练构建的多尺度跨层注意力融合网络模型；S400：将待分割医学影像输入至训练后的多尺度跨层注意力融合网络模型，得到分割结果。本发明能够获得更多的语义信息来提高医学影像中目标分割精度和计算效率。

Description

一种基于多尺度跨层注意力融合网络的医学图像分割方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于多尺度跨层注意力融合网络的医学图像分割方法。
背景技术
蜂窝肺是多种肺部疾病的终末期表现，以肺组织破坏和纤维化为特征，在肺中含有大量厚壁囊状空腔，肺腺泡结构完全丧失。蜂窝肺的病因是非特异性的，可由多种疾病引起，如特发性间质性肺炎、弥漫性肺泡损伤、石棉肺、间质性肉芽肿、嗜酸性肉芽等。引起蜂窝肺更典型的病因是间质性肺病(ILD)，由于自然环境的恶化，间质性肺病的患病率逐年上升。此病病程长，病死率高，临床恢复差，5年生存率小于50％。
间质性肺疾病的病理病变表现为早期肺泡壁炎症，中期弥漫性间质纤维化，晚期肺泡壁纤维化。肺部x线检查，特别是高分辨率CT检查，可发现双侧密集的细网状结节，特别是肺下叶。目前，早期蜂窝肺的诊断多采用计算机断层扫描(CT)，但CT影像中存在肉眼不易看到的不明显区域，并且蜂窝肺病灶的判断受医生主观经验的影响较大，诊断耗时较长。当前，还很少有针对CT影像中蜂窝肺病灶自动分割的算法被提出。因此，一种有效的解决方案是开发一种自动分割CT影像中蜂窝肺病灶的算法，以帮助医生准确定位病变区域以便进一步诊断。
在现有技术中，使用机器学习和基于卷积神经网络的深度学习方法，在一定程度上对计算机辅助诊疗做出了贡献。使用传统机器学习的方法包括：阈值分割方法、边缘检测分割方法、聚类分割算法和基于可变性模型的分割算法。但是基于传统机器学习的医学图像分割方法只能在目标和背景相差很大的情况下才能有效分割，而且这些方法对噪声敏感，且容易造成过度分割。随着深度学习的快速发展，已经开发了许多基于深度学习的方法用于医学图像分割，特别是卷积神经网络，它能够自动学习目标的特征表示，从而更快并且更准确的产生分割结果。U-Net是医学图像分割中使用最多的网络之一。U-Net采用了编码器-解码器结构，包含了重复使用卷积组成的收缩路径和扩张路径，并通过跳跃连接融合编码器和解码器中对应层的特征。由于U-Net在医学图像分割领域的优秀表现，许多基于U-Net的分割方法被提出，包括U-Net++，R2U-Net，TransU-Net。U-Net++在U-Net中使用了密集连接，用于向解码器部分提供正确的语义和粗略分级的信息。此外，U-Net++还在子网络的最后一层收集分割图，并上采样到和输入图像同等大小，以便进行深度监督。虽然该网络能通过密集连接获得不同尺度的信息，但却忽略了医学图像像素之间的通道信息和空间信息。R2U-Net是另一种U-Net的变体，它主要使用了残差网络和循环网络中的结构来改进U-Net，此网络利用了残差连接解决了梯度消失的问题，并利用了循环卷积块来学习上下文信息，但是由于卷积的限制，该网络也无法获取图像的全局上下文信息。TransU-Net将VisionTransformer加入到U-Net中，克服了卷积操作只能提取局部信息的局限，在编码器部分有效地学习到全局空间依赖关系，但是此网络直接将VIT加入到U-Net的编码器部分，会使卷积块与VIT之间产生语义鸿沟，并且单纯的Transformer块叠加严重增加了网络的参数量，降低了计算效率。
因此，如何提供一种能够获得更多的语义信息来提高目标分割精度和计算效率的基于多尺度跨层注意力融合网络的医学图像分割方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于多尺度跨层注意力融合网络的医学图像分割方法，用以解决上述现有技术中存在的技术问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于多尺度跨层注意力融合网络的医学图像分割方法，包括以下步骤：
S100：收集带有蜂窝肺病的肺部计算机断层扫描图像，并对所述肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集；
S200：UNeXt网络框架构建多尺度跨层注意力融合网络模型；
S300：基于所述蜂窝肺数据集，采用二分类交叉熵损失函数BCE loss以及图像分割任务损失函数Dice loss共同训练构建的多尺度跨层注意力融合网络模型；
S400：将待分割医学影像输入至训练后的多尺度跨层注意力融合网络模型，得到分割结果。
优选的，所述S100：收集带有蜂窝肺病的肺部计算机断层扫描图像，并对所述肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集，包括：
S110：获取同一台CT扫描仪下的有蜂窝肺病的肺部计算机断层扫描图像；
S120：调整肺部计算机断层扫描图像的分辨率，并使用遮罩除去图像中患者的隐私信息；
S130：随后将肺部计算机断层扫描图像RGB彩色掩码转换为二值图像掩码，得到二值化掩码图像并生成蜂窝肺数据集；
S140：进行颜色变换和加入随机噪声处理，得到扩充后的蜂窝肺数据集。
优选的，所述多尺度跨层注意力融合网络模型包括：多尺度输入模块、跨层注意力融合模块以及双向注意力门控模块。
优选的，在所述UNeXt网络框架的编码器中引入所述多尺度输入模块，所述多尺度输入模块用于调整所述肺部计算机断层扫描图像尺寸后输入到对应编码器层，与对应特征图进行融合。
优选的，对应的特征图是指编码器部分每一次层与输入图片相同大小的特征图。融合之后可以减轻经过多次卷积操作后丢失图片细节的负面影响。
优选的，所述跨层注意力融合模块包括：空间注意力子模块以及通道注意力子模块，用于将编码器中相邻两卷积层中浅层特征送入空间注意力模块中，将深层特征送入通道注意力模块，对通道注意力模块输出的特征图进行上采样，并与空间注意力输出的结果进行拼接，将拼接后的结果进行双重卷积，使用残差连接将原特征图与双重卷积后产生的特征图相加，通过一个非线性激活函数得到最终结果，计算过程如下：
Out＝ReLU(C2(CAT(SA(Fx),C1(CA(Fx+1))))+Fx)；
式中，Fx为浅层特征，Fx+1为深层特征，SA表示空间注意力模块，CA表示通道注意力模块，CAT表示连接操作，C1和C2分别为用于上采样的2*2转置卷积和双重卷积块。
优选的，浅层特征是两个相邻编码层中较高的一层输出的特征；深层特征是两个相邻编码层中较低的一层输出的特征。
优选的，所述空间注意力模块中分别获取通道上的最大值和平均值，在空间层面计算注意力值，计算过程如下：
Sout＝Fx*σ(C(Cmax(Fx)+Cave(Fx)))；
式中，Sout是空间注意力模块的输出，σ是Sigmoid激活函数，Cmax和Cave分别表示沿通道方向获取的最大值和平均值，C表示卷积层。
优选的，通道注意力模块的计算过程如下：
式中，Cout是CA模块的输出，σ是Sigmoid激活函数，C表示卷积层，表示一个非线性激活函数，AP和MP分别表示自适应平均池化和自适应最大池化。
优选的，所述双向注意力门控模块包括正向注意力计算以及反向注意力计算；
其中，所述正向注意力计算是将所述UNeXt网络框架的解码器层传入的特征图进行Sigmoid激活函数计算，逐像素点与相应的所述跨层注意力融合模块的输出相乘，得到的结果送入一个由四层卷积组成的卷积块，所述卷积块的每个卷积层的卷积核大小分别为1×1、3×3、3×3、1×1，每一个卷积层跟随一个批量归一化操作和一个非线性激活函数；
所述反向注意力计算是在对特征图进行Sigmoid激活函数计算后进行反向操作；
将两种注意力计算得到的结果连接起来并输入卷积层进行特征融合，计算过程如下：
C3和C4分别是由四个1×1、3×3卷积层组成的卷积块和由两个3×3卷积层组成的卷积块，CAT表示连接操作，σ是Sigmoid激活函数，表示反向运算。
优选的，所述S300：采用二分类交叉熵损失函数BCE loss以及图像分割任务损失函数Dice loss共同训练构建的多尺度跨层注意力融合网络模型，包括：
二分类交叉熵损失函数BCE loss计算公式为：
图像分割任务损失函数Dice loss计算公式为：
式中，n是训练批量大小，N是像素点的数量，pi是预测的分割结果，ti是真实标签；
计算总损失函数为：
L＝αLBCE+βLDice；
式中，α和β是调整两个损失权重的超参数。
优选的，还包括对所述多尺度跨层注意力融合网络进行评估，具体步骤为：
计算多尺度跨层注意力融合网络得到的预测区域和真实区域的交集和并集的比值IoU，计算公式为：
计算两个集合相似度的函数Dice，取值范围在[0,1]，计算公式为：
上述的两个集合指的Dice函数可以计算任意两个集合之间的相似度。
计算预测正确的所有负样本占实际所有负样本的比例SPE，计算公式为：
计算所有实际正样本中正确召回正样本召回率SEN，计算公式为：
计算正确的次数与所有判定次数的比例，计算公式为：
式中，TP表示真阳性的数量，TN表示真阴性的数量，FP表示假阳性的数量，FN表示假阴性的数量，其中，这些数量是真实标签和得到的结果逐像素点对比得到。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于多尺度跨层注意力融合网络的医学图像分割方法，以UNeXt作为骨干网络，构建了一种用于CT影像中蜂窝肺病灶分割的多尺度跨层注意力融合网络模型其中引入了多尺度输入模块、CAF模块、BAG模块以尽可能获得更多的语义信息来提高目标分割精度和计算效。具体有益效果如下：
1)在编码器中引入多尺度输入模块，减少每一层池化操作后的空间信息损失；
2)构建了双向注意力门控模块并将其加入到跳跃连接中，能够更好地融合编码器和解码器中的语义信息，减少语义鸿沟；
3)构建了跨层多重注意力融合模块，能够更好地提取和融合不同编码层中的语义信息，并进一步学习图像通道和特征之间的空间关系。
4)收集带有蜂窝肺病的肺部计算机断层扫描图像，并对所述肺部计算机断层扫描图像进行处理，生成的蜂窝肺数据集为增强数据集，且能够防止多尺度跨层注意力融合网络过拟合并提高鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图；
图2为本发明的MCAFNet(多尺度跨层注意力融合网络模型)的整体结构示意图；
图3为本发明的双重卷积模块结构示意图；
图4为本发明的第三个多尺度输入聚合模块结构示意图；
图5(a)为本发明的跨层注意力融合模块结构示意总图；
图5(b)为本发明的通道注意力子模块结构示意图；
图5(c)为本发明的空间注意力子模块结构示意图；
图6为本发明的双向注意力门控模块结构示意图；
图7(a)为经过去隐私化处理后的带有蜂窝肺病的肺部计算机断层扫描原图像；
图7(b)为带有标注的肺部计算机断层扫描图像；
图7(c)为二值化掩码图像；
图8为不同模块组合的消融实验可视化结果对比图；
图9为损失函数中不同的α和β取值结果对损失下降的影响；
图10为本发明的多尺度跨层注意力融合网络(MCAFNet)与其他分割模型的分割效果对比图；
图11为本发明的多尺度跨层注意力融合网络(MCAFNet)与其他模型的定性可视化结果对比图；
图12为本发明的多尺度跨层注意力融合网络(MCAFNet)与其他模型的息肉分割可视化结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
从肺部CT图像中准确分割蜂窝肺病灶在多种肺部疾病的诊疗中起着至关重要的作用，但目前仍然缺乏可用于自动分割蜂窝肺病灶的算法。针对蜂窝肺病灶的形状特异性及与周围血管阴影相似性，本发明的目的是提供一种基于多尺度跨层注意力融合网络的医学图像分割方法，基于本申请扩充的以及UNeXt网络框架构建多尺度跨层注意力融合网络模型，首先，建多尺度跨层注意力融合网络模型在输入部分引入了多尺度聚合(MIA)模块，以减少下采样过程中的空间信息损失；其次，增加跨层注意力融合(CAF)模块，通过融合不同层特征图的通道信息和空间信息获取多尺度特征；最后，在跳跃连接中构建双向注意力门(BAG)模块，通过过滤背景信息，加强模型对分割目标的关注。实验结果表明，本发明提出的基于多尺度跨层注意力融合网络的医学图像分割方法在蜂窝肺分割数据集上的IoU、mIoU、mDice达到0.895、0.921、0.949，与现有医学图像分割算法相比有更优的性能。此外，在其他数据集上的实验表明本文提出的模型具有泛化性和鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本发明实施例公开了一种基于多尺度跨层注意力融合网络的医学图像分割方法，参见图1所示，包括以下步骤：
S100：收集带有蜂窝肺病的肺部计算机断层扫描图像(肺部CT图像)，并对肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集；
S200：UNeXt网络框架构建多尺度跨层注意力融合网络模型；
S300：基于蜂窝肺数据集，采用二分类交叉熵损失函数BCE loss以及图像分割任务损失函数Dice loss共同训练构建的多尺度跨层注意力融合网络模型；
S400：将待分割医学影像输入至训练后的多尺度跨层注意力融合网络模型，得到分割结果。
具体的，UNeX：第一个基于卷积和MLP的快速医学图像分割网络，是一种编码器-解码器架构，本发明以UNeXt作为骨干网络，提出了一种用于CT影像中蜂窝肺病灶分割的多尺度跨层注意力融合网络模型，命名为MCAFNet。其中引入了多尺度输入(MIA)模块、跨层注意力融合(CAF)模块、双向注意力门控(BAG)模块以尽可能获得更多的语义信息来提高目标分割精度和计算效率。
在一个具体实施例中，参见图2所示，为本发明构建的MCAFNet(建多尺度跨层注意力融合网络模型)的整体结构，MCAFNet采用了编码器-解码器的架构，编码器的前三层使用双重卷积块进行特征提取，后两层使用Tokenized MLP提取特征。解码器与编码器对应层的模块相同。在跳跃连接中使用了提出的跨层注意力融合(CAF)模块和双向注意力门控(BAG)模块以结合跳跃连接以实现信息重用和语义信息传递。
具体的，在输入部分，为了减少编码器下采样过程中空间信息的遗失，引入了多尺度输入聚合(MIA)模块。该模块将原始输入CT图像分别调整大小，再输入到对应编码器层，与其特征图进行融合。编码器的通道数从高至低分别设置为32、64、128、256和512。其中，前三个encoder单元使用了两个3×3卷积进行特征提取。每个卷积层之后跟随一个批量归一化(BN)和一个非线性激活函数(ReLU)，称之为双重卷积模块，如图3所示。经过反复实验，后两个encoder单元保留了UNeXt中的Tokenized MLP。其中的Shifted MLP首先标记卷积特征的通道轴，再进行序列化，有助于MLP只关注卷积特征的某些位置，从而更好地提取局部信息。解码器的对应层与编码器部分相同。在解码器最后，使用一个3×3卷积逐像素进行分类，并将图像分辨率调整为与输入大小一致，得到最终的分割结果。
具体的，本发明对跳跃连接进行了较大的改进，以往的跳跃连接仅仅是将编码器中的特征图与解码器对应层直接进行拼接，这种方式会在特征之间产生大量的语义鸿沟，无法很好地进行特征重用。因此，本发明提出了一种跨层注意力融合(CAF)模块，将编码器中相邻两层特征图输入此模块得到输出。然后，将此输出和解码器中对应的特征上采样后一起输入到构建的双向注意力门控(BAG)模块，对特征进行进一步筛选，使模型聚焦于目标区域。最后，将BAG模块的输出送入解码器的对应层中。
在一个具体实施例中，许多深度学习模型已经实现了端到端的分割。这些模型大都使用一张原始图像输入，经过网络得到最终的分割结果。但随着不断的卷积和池化操作，图像的细节信息可能会丢失，在解码器中也很难恢复，从而对分割精度产生影响。尤其是对于蜂窝肺病灶这类在CT图像中特征与部分肺部血管阴影相似的病灶分割任务来说，编码器下采样操作可能损失一定的病灶特征信息，导致网络无法区分病灶和血管阴影。为此，本发明还提出了多尺度输入聚合(MIA)模块来解决这个问题。
具体的，多尺度输入聚合(MIA)模块中，首先将原始图像重新调整分辨率为1/2、1/4、1/8、1/16的四张图片。由于每层特征图通道数不同，每张图片会经过不同数量的卷积层调整为对应层的通道数。然后将其与编码器中的特征图拼接，并一起放入一个双重卷积模块进一步提取并融合特征。最终得到的输入传入下一层编码层中。以第三个多尺度输入聚合模块为例，模块结构参见图4所示。在该模块中，使用三个卷积块逐步将图像通道数变为32、64、128，再与来自对应层的特征图进行拼接。此时，图像通道数会变为原来的两倍，即256。将其再输入到一个双重卷积模块，将通道数调整为128，并进一步融合输入图像和特征图的特征信息。引入MIA模块有助于减少模型在编码器中因为卷积和下采样操作造成的特征遗失。同时，它能增强蜂窝肺病灶局部特征，进一步提高分割精度。
在一个具体实施例中，深度学习方法引入医学图像分割领域之后，卷积和池化操作已经成为每个模型必备的基本结构。这些操作可以同时提取特征并减小图像分辨率以及增加通道数。因此，在相邻两个层中，较浅层的特征图将会包含更多的空间信息；而较深层的特征图则将包含更多的通道信息。为了融合这两层特征图并获取更多信息，现提出了一种新的跨层注意力融合(CAF)模块，具体参见图5(a)-图5(c)所示，将相邻两层中较浅层特征FX送入空间注意力模块中，将较深层特征FX+1送入通道注意力(CA)模块。在图中，AMP表示自适应最大池化，AAP表示自适应平均池化，CAverage表示通道平均池化，CMax表示通道最大池化，表示为拼接，表示逐像素相加，表示相乘。由于FX+1的分辨率是FX的一半，因此需要对CA输出的特征图进行上采样，并与空间注意力输出的结果进行拼接；随后，将拼接后的结果进行双重卷积操作。考虑到注意力计算和卷积操作对原始特征产生负面影响，也为了防止梯度消失和加速收敛，使用残差连接将原特征图FX与结果相加，最后通过一个非线性激活函数得到最终结果。具体过程可以表示如下：
Out＝ReLU(C2(CAT(SA(Fx),C1(CA(Fx+1))))+Fx)#(1)
式中，SA表示空间注意力模块，CA表示通道注意力模块，CAT表示连接操作，C1和C2分别是用于上采样的2*2转置卷积和双重卷积模块。
具体的，浅层特征是两个相邻编码层中较高的一层输出的特征；深层特征是两个相邻编码层中较低的一层输出的特征。
空间注意力中分别获取通道上的最大值和平均值，然后在空间层面计算注意力值，使网络更关注目标区域。SA的计算过程如下：
Sout＝Fx*σ(C(Cmax(Fx)+Cave(Fx)))#(2)#
式中，Sout是SA模块的输出，σ是Sigmoid激活函数，Cmax和Cave分别表示沿通道方向获取的最大值和平均值，C是一个卷积核大小为7*7的卷积层。
通道注意力是在通道中搜寻值得关注的特征图，然后对其进行更多的特征提取操作。CA的计算过程如下：
Cout是CA模块的输出，σ是Sigmoid激活函数，C表示一个卷积核大小为1*1的卷积层，表示一个非线性激活函数，AP和MP分别表示自适应平均池化和自适应最大池化。
具体的，特征图是指编码器部分每一次层与输入图片相同大小的特征图。融合之后可以减轻经过多次卷积操作后丢失图片细节的负面影响。
为了提高分割准确度、降低对形状可变性较大的小物体的误检测，Attention U-Net首次在UNet中引入了用于图像分析的注意力门。在蜂窝肺病灶分割中，分割目标与背景的区分尤为重要。因此，构建了双向注意力门控(BAG-Bidirectional Attention Gate)模块，来分别计算目标和背景的注意力权重，具体结构见图6。首先将解码器层传入的特征图Si进行Sigmoid激活函数计算，然后逐像素点与相应的CAF模块输出Fi相乘。得到的结果送入一个由四层卷积组成的卷积块，该卷积块的每个卷积层的卷积核大小分别为1×1、3×3、3×3、1×1。每一个卷积层之后，都跟随着一个批量归一化操作和一个非线性激活函数。反向注意力计算方式基本一致，只是在对特征图进行Sigmoid操作之后，对其进行反向操作。最后，将两种注意力计算得到的结果连接起来并输入卷积层来融合特征。公式4简要说明了BAG的计算过程：
式中，C3和C4分别是由四个1×1、3×3卷积层组成的卷积块和由两个3×3卷积层组成的卷积块。CAT表示连接操作，σ是Sigmoid激活函数，表示反向运算。
正向注意力的计算使模型关注目标分割区域，反向注意力的计算突出了图像的背景区域，再通过一步步擦除背景，得到分割结果。两种注意力同时作用，使分割结果更加精细，尤其是病灶边缘能在两个注意力计算过程中更加突出。
由于在CT影像中，蜂窝肺病灶与周围血管阴影非常相似，为了提高分割精度，在分割时有必要较多考虑边缘像素。因此，联合binary cross-entropy loss function和Diceloss共同训练网络。BCE loss和Dice loss描述如下：
其中n是训练批量大小，N是像素点的数量，pi是预测的分割结果，ti是groundtruth。
融合binary cross-entropy loss function和Dice loss构建总损失函数来结算预测分割结果和真实标签的损失值，公式7描述了总损失函数：
L＝αLBCE+βLDice#(7)
其中α和β是调整两个损失权重的超参数，经过反复实验后将α设置为0.5，将β设置为1。
在一个具体实施例中，蜂窝肺数据集的构建分为数据收集和数据处理两个步骤。从山西白求恩医院收集了不同蜂窝肺患者的肺部计算机断层扫描图像，所有数据均取得了病人的知情同意书，并通过了医学伦理审查。为避免数据之间存在较大差异，所有患者数据均来自同一台CT扫描仪。总共收集原始图像2349张，其中图像尺寸大小包括1896×878、1896×790、1684×1006、1684×878四种。为保护隐私，所有图像被调整为512×512分辨率，并使用遮罩除去图像中患者的隐私信息。随后将RGB彩色掩码转换为二值图像掩码，得到二值化掩码图像并生成蜂窝肺数据集。为增强数据集、防止网络过拟合并提高模型鲁棒性，进行了颜色变换和加入随机噪声等数据增强方法，使得数据集得到扩充三倍。参见图7(a)-图7(c)，分别展示了经过去隐私化处理后的带有蜂窝肺病的肺部计算机断层扫描原图像、带有标注的肺部计算机断层扫描图像以及二值化掩码图像。
在一个具有实施例中，还包括对多尺度跨层注意力融合网络进行评估。
具体的，本实施例选择了六种指标来评估本发明的多尺度跨层注意力融合网络模型(MCAFNet)的分割精度，分别是intersection overunion(IoU)，mean intersectionoverunion,mean dice score(Dice),specificity(SPE),sensitivity(SEN),accuracy(Acc)。每种指标具体描述如下：
IoU计算的是预测区域和真实区域的交集和并集的比值，IoU在计算过程中具有尺度不变性和非负性。IoU的值越高说明分割越准确，其计算公式如下。mean IoU是所有类别IoU的平均值。
Dice是一种综合评价指标，用于计算两个集合相似度的函数，取值范围在[0,1]，计算方式见公式9。mean Dice表示所有类别Dice的平均值。
SPE是医学图像分割领域常用的一种用来衡量分割精度的指标，它的含义是预测正确的所有负样本占实际所有负样本的比例，只关注负样本一种类型。SPE表示为：
SEN与SPE相反，表示从所有实际正样本中正确召回正样本的能力，也被称为召回率。其只关注正样本一种类型，可以表示为：
ACC表示判定正确的次数与所有判定次数的比例，判定正确的次数是(TP+TN)，所以可以将ACC表示为：
在上述公式中，TP，TN，FP，FN分别表示真阳性、真阴性、假阳性和假阴性的数量，其中，这些数量是真实标签和得到的结果逐像素点对比得到。
实施例2
本发明的多尺度跨层注意力融合网络模型(MCAFNet)中的三个模块对整个蜂窝肺病灶分割任务的影响。首先将去掉所有子模块，在编码器和解码器中只使用卷积层的网络称为Base，在测试Base的分割结果后再分别加入三个模块进行测试。表1显示了消融实验验证模型各部分有效性结果。在分别只使用三个模块中的一个时，发现CAF模块对模型的精度提高最多，在逐步增多使用模块后细分指标也在逐渐增加，而当全部三个模块应用于分割任务时，模型的性能达到最佳，IoU和mDice分别达到0.895和0.949。对于模块的消融实验证明了三个子模块设计的有效性。图8展示了消融实验的分割可视化结果。
表1消融实验验证模型各部分有效性
在一个具体实施例中，为了验证损失函数中超参数α、β的取值对分割精度和损失的影响，选择了五组不同取值的损失函数在蜂窝肺数据集上进行训练和测试。表2显示了损失函数消融实验的结果，可以发现当α取值0.5，β取值1.0时模型的分割效果达到最佳。图9是损失函数中不同取值的α和β对训练中损失值下降影响的可视化结果，可以观察到当α取值0.5，β取值1.0时损失值最快下降到0.1左右，并最终取得最低值。因此，根据实验结果证明了本发明设置的超参数效果最佳。
表2消融实验验证损失函数中超参数选择对分割精度的影响
实施例3
为了验证本发明提供的一种基于多尺度跨层注意力融合网络的医学图像分割方法在蜂窝肺分割中的有效性以及模型的泛化性、鲁棒性，本实施例3选择了五个State-of-the-art方法与本发明的方法进行比较，其中，五个State-of-the-art方法包括UNet、PraNet、UNeXt、ConvUNeXt、M2Snet。
在蜂窝肺分割实验中，将所有模型在构建的训练集上进行训练，并在同一个测试集上得出结果。
具体的，首先在蜂窝肺数据集上对六个不同方法使用六个指标进行了定量比较。通过查看表3可以发现，本发明提出的方法优于用于比较的所有模型。特别地，本发明的方法在针对蜂窝肺病灶分割较为关键的mIoU指标方面，与ConvUNeXt相比具有2.2％的性能提升。本发明构建的多尺度跨层注意力融合网络模型(MCAFNet)能够有效地跨层捕获多尺度信息来处理不同大小的病灶，从而更准确地分割出目标边界和小目标区域。
表3蜂窝肺分割定量结果
在一个具体实施例中，如图10展示了模型之间的定性比较，其中，不同的行是5个不同蜂窝肺病灶的分割效果。每列代表一个典型的分割模型，最下方是细节分割结果的放大图，观察结果可以发现，本发明提出的方法的分割结果与真实标签最接近，在不同尺度的病灶分割上优于其他方法。具体来说，在第一行的中间和右下角的小区域病灶中，MCAFNet也能准确地进行分割，而UNet则未能识别这部分病灶。其他网络虽然能够识别，但无法精确地分割出病灶边缘。在第三行中，本发明提出的方法能够清晰地刻画大区域目标边界，并将右侧两部分病灶分离。相比之下，其他网络在两部分病灶中均存在一定的粘连。UNet和PraNet在病灶中间还有未识别的区域。从最后一行细节放大图可以发现，本发明提出的方法在细小病灶的边界刻画方面表现优异。这归功于本发明提出的CAF模块，它能跨层捕获不同尺度的语义信息，从而使得对小尺度病灶的识别更加准确。
在一个具体实施例中，为验证提出模型的泛化性，本实施例选择了一个肺炎感染区域分割公共数据集和三个息肉分割公共数据集进行训练和测试。肺炎数据集为Covid-19CT肺和感染区域分割数据集，息肉分割数据集分别为Kvasir、CVC-ClinicDB、CVC-300。
在肺炎分割实验中，将数据集中的原始CT图像进行切片再构成训练集和测试集来进行对比试验。
在息肉分割实验中，按照“D.-P.Fan,G.-P.Ji,T.Zhou,G.Chen,H.Fu,J.Shen,L.Shao,Pranet:Parallel reverse attention network for polyp segmentation,Medical Image Computing and Computer Assisted Intervention–MICCAI 2020:23rdInternational Conference,Lima,Peru,October4–8,2020,Proceedings,Part VI 23,Springer,2020,pp.263-273”中的实验方法，将来自Kvasir中的900张图像和来自CVC-ClinicDB中的550张图像共同构成训练集对所有模型进行训练，将两个数据集中剩余的图像和CVC-300共同构成测试集进行测试。
在一个具体实施例中，为了验证提出方法的泛化性和鲁棒性，将其应用于另一项医学图像分割任务，即COVID-19肺部感染区域分割，使用肺部CT图像作为输入。表4展示了模型的定量比较结果，从中可以看出，在所有测试模型中，本发明提出的方法取得了最高的平均Dice分数和平均IoU分数，分别为0.914和0.877。此外，图11展示了MCAFNet和其他模型的定性可视化结果，其中，纵向是不同肺部CT图像，横向是不同网络的分割结果。观察发现，MCAFNet在较小的感染区域分割方面具有明显的优势。特别是在最后一行放大结果图中，只有本发明的方法的分割结果与真实标签相似，并且相比其他模型具有更好的边缘分割和特征表示能力。
总体而言，实验结果表明，MCAFNet在肺部CT影像的不同分割领域具有一定的鲁棒性和泛化性。
表4COVID-19数据集定量感染区域分割结果
具体的，表5提供了本发明的方法在CVC-ClinicDB数据集上与其他方法之间的定量比较结果。根据结果显示，本发明的方法在大部分评价指标上取得了领先地位，并且相较于针对息肉分割的模型也有显著提升。例如相对于PraNet，在mDice、mIoU、SPE、SEN和ACC这五个指标上分别有3.1％、3.5％、0.9％、2.6％和4.1％的提升。
表5CVC-ClinicDB数据集定量息肉分割结果
具体的，表6展示了本发明的方法在CVC-300数据集上与其他模型的对比试验结果。从中可以看出，相对于新模型，本发明的方法在其中四个指标中获得了最佳的结果，尤其是SPE的提升。这说明加入的反向注意力机制能够有效识别背景，帮助提升模型分类负例的能力。同时，与M2SNet相比，在mIoU上的提升也说明MCAFNet能更准确地定位病灶，这得益于跨层多尺度信息的提取。
表6CVC-300数据集定量息肉分割结果
具体的，表7是在Kvasir数据集上与其他方法的定量比较结果。该结果进一步验证了本发明的方法在医学图像分割不同任务中的有效性和泛化性。
表7Kvasir数据集定量息肉分割结果
具体的，如图12是各模型关于息肉分割的可视化结果。由于息肉图像中分割目标和背景像素值接近且有阴影干扰，因此息肉分割的难度更大。可以看出UNet和PraNet在许多场景下无法准确识别出分割目标，导致将背景错误地作为分割目标。而本发明提出的MCAFNet可以精确定位目标位置，分割结果在所有对比方法中更接近真实标签。
更具体的，本发明首先提出了一个多尺度输入聚合(MIA)模块为模型提供不同尺度大小的输入图像来降低下采样过程中造成的信息丢失。为了融合不同层中的语义信息，进一步提高模型对可变性较大的病灶的分割精度，提出了跨层注意力融合(CAF)模块，充分地提取了较低层特征图的通道信息和较高层特征图的空间信息。此外，还提出了双向注意力门控(BAG)模块，将其加入跳跃连接中来减少编码器和解码器对应层的语义鸿沟，并且通过正向和反向注意力分别关注分割目标和背景的相关语义信息。通过在蜂窝肺数据集上的实验证明了MCAFNet优于其他方法，取得了令人满意的结果。在一个肺炎数据集和三个息肉数据集上的实验也证明了本发明的方法具有一定的泛化性，可以在医学图像分割的不同任务中使用。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，包括以下步骤：
S100：收集带有蜂窝肺病的肺部计算机断层扫描图像，并对所述肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集；
S200：UNeXt网络框架构建多尺度跨层注意力融合网络模型；
S300：基于所述蜂窝肺数据集，采用二分类交叉熵损失函数BCEloss以及图像分割任务损失函数Diceloss共同训练构建的多尺度跨层注意力融合网络模型；
S400：将待分割医学影像输入至训练后的多尺度跨层注意力融合网络模型，得到分割结果。
2.根据权利要求1所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，所述S100：收集带有蜂窝肺病的肺部计算机断层扫描图像，并对所述肺部计算机断层扫描图像进行处理，生成蜂窝肺数据集，包括：
S110：获取同一台CT扫描仪下的有蜂窝肺病的肺部计算机断层扫描图像；
S120：调整肺部计算机断层扫描图像的分辨率，并使用遮罩除去图像中患者的隐私信息；
S130：随后将肺部计算机断层扫描图像RGB彩色掩码转换为二值图像掩码，得到二值化掩码图像并生成蜂窝肺数据集；
S140：进行颜色变换和加入随机噪声处理，得到扩充后的蜂窝肺数据集。
3.根据权利要求1所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，所述多尺度跨层注意力融合网络模型包括：多尺度输入模块、跨层注意力融合模块以及双向注意力门控模块。
4.根据权利要求3所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，在UNeXt网络框架的编码器中引入所述多尺度输入模块，所述多尺度输入模块用于调整所述肺部计算机断层扫描图像的尺寸后输入到对应编码器层，与对应特征图进行融合。
5.根据权利要求3所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，所述跨层注意力融合模块包括：空间注意力子模块以及通道注意力子模块，用于将编码器中相邻两卷积层中浅层特征送入空间注意力模块中，将深层特征送入通道注意力模块，对通道注意力模块输出的特征图进行上采样，并与空间注意力输出的结果进行拼接，将拼接后的结果进行双重卷积，使用残差连接将原特征图与双重卷积后产生的特征图相加，通过一个非线性激活函数得到最终结果，计算过程如下：
Out＝ReLU(C2(CAT(SA(Fx),C1(CA(Fx+1))))+Fx)；
式中，Fx为浅层特征，Fx+1为深层特征，SA表示空间注意力模块，CA表示通道注意力模块，CAT表示连接操作，C1和C2分别为用于上采样的2*2转置卷积和双重卷积块。
6.根据权利要求5所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，所述空间注意力模块中分别获取通道上的最大值和平均值，在空间层面计算注意力值，计算过程如下：
Sout＝Fx*σ(C(Cmax(Fx)+Cave(Fx)))；
式中，Sout是空间注意力模块的输出，σ是Sigmoid激活函数，Cmax和Cave分别表示沿通道方向获取的最大值和平均值，C表示卷积层。
7.根据权利要求5所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，通道注意力模块的计算过程如下：
式中，Cout是CA模块的输出，σ是Sigmoid激活函数，C表示卷积层，表示一个非线性激活函数，AP和MP分别表示自适应平均池化和自适应最大池化。
8.根据权利要求3所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，所述双向注意力门控模块包括正向注意力计算以及反向注意力计算；
其中，所述正向注意力计算是将所述UNeXt网络框架的解码器层传入的特征图进行Sigmoid激活函数计算，逐像素点与相应的所述跨层注意力融合模块的输出相乘，得到的结果送入一个由四层卷积组成的卷积块，所述卷积块的每个卷积层的卷积核大小分别为1×1、3×3、3×3、1×1，每一个卷积层跟随一个批量归一化操作和一个非线性激活函数；
所述反向注意力计算是在对特征图进行Sigmoid激活函数计算后进行反向操作；
将两种注意力计算得到的结果连接起来并输入卷积层进行特征融合，计算过程如下：
CE loss以及图像分割任务损失函数Dice loss共同训练构建的多尺度跨层注意力融合网络模型，包括：
二分类交叉熵损失函数BCEloss计算公式为：
图像分割任务损失函数Diceloss计算公式为：
式中，n是训练批量大小，N是像素点的数量，pi是预测的分割结果，ti是真实标签；
计算总损失函数为：
L＝αLBCE+βLDice；
式中，α和β是调整两个损失权重的超参数。
9.根据权利要求1所述的一种基于多尺度跨层注意力融合网络的医学图像分割方法，其特征在于，还包括对所述多尺度跨层注意力融合网络进行评估，具体步骤为：
计算多尺度跨层注意力融合网络得到的预测区域和真实区域的交集和并集的比值IoU，计算公式为：
计算两个集合相似度的函数Dice，取值范围在[0,1]，计算公式为：
计算预测正确的所有负样本占实际所有负样本的比例SPE，计算公式为：
计算所有实际正样本中正确召回正样本召回率SEN，计算公式为：
计算正确的次数与所有判定次数的比例，计算公式为：
式中，TP表示真阳性的数量，TN表示真阴性的数量，FP表示假阳性的数量，FN表示假阴性的数量。
CN202311122480.4A 2023-09-01 2023-09-01 一种基于多尺度跨层注意力融合网络的医学图像分割方法 Pending CN117152433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311122480.4A CN117152433A (zh) 2023-09-01 2023-09-01 一种基于多尺度跨层注意力融合网络的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311122480.4A CN117152433A (zh) 2023-09-01 2023-09-01 一种基于多尺度跨层注意力融合网络的医学图像分割方法

Publications (1)

Publication Number Publication Date
CN117152433A true CN117152433A (zh) 2023-12-01

Family

ID=88883843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311122480.4A Pending CN117152433A (zh) 2023-09-01 2023-09-01 一种基于多尺度跨层注意力融合网络的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN117152433A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197434A (zh) * 2023-09-11 2023-12-08 安徽理工大学 基于AMFNet网络融合模型的肺部医学影像精准识别方法
CN117746045A (zh) * 2024-02-08 2024-03-22 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统
CN117788314A (zh) * 2023-12-29 2024-03-29 广东海洋大学 基于多分支多尺度特征和语义信息的ct与mri图像融合方法
CN117975011A (zh) * 2024-02-07 2024-05-03 安徽大学 一种基于细节增强反向注意力网络的膀胱肿瘤图像分割方法及系统
CN117974832A (zh) * 2024-04-01 2024-05-03 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN118096785A (zh) * 2024-04-28 2024-05-28 北明成功软件(山东)有限公司 基于级联注意力和多尺度特征融合的图像分割方法及系统
CN118398234A (zh) * 2024-06-25 2024-07-26 长春理工大学 一种基于跨层连接的U型网络结构和Bi-LSTM的睡眠分期方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统
CN118657800A (zh) * 2024-08-19 2024-09-17 苏州大学 基于混合网络的视网膜oct影像中多病灶联合分割方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197434A (zh) * 2023-09-11 2023-12-08 安徽理工大学 基于AMFNet网络融合模型的肺部医学影像精准识别方法
CN117197434B (zh) * 2023-09-11 2024-04-09 安徽理工大学 基于AMFNet网络融合模型的肺部医学影像精准识别方法
CN117788314A (zh) * 2023-12-29 2024-03-29 广东海洋大学 基于多分支多尺度特征和语义信息的ct与mri图像融合方法
CN117975011A (zh) * 2024-02-07 2024-05-03 安徽大学 一种基于细节增强反向注意力网络的膀胱肿瘤图像分割方法及系统
CN117746045A (zh) * 2024-02-08 2024-03-22 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统
CN117746045B (zh) * 2024-02-08 2024-05-28 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统
CN117974832A (zh) * 2024-04-01 2024-05-03 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN117974832B (zh) * 2024-04-01 2024-06-07 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN118096785A (zh) * 2024-04-28 2024-05-28 北明成功软件(山东)有限公司 基于级联注意力和多尺度特征融合的图像分割方法及系统
CN118398234A (zh) * 2024-06-25 2024-07-26 长春理工大学 一种基于跨层连接的U型网络结构和Bi-LSTM的睡眠分期方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统
CN118657800A (zh) * 2024-08-19 2024-09-17 苏州大学 基于混合网络的视网膜oct影像中多病灶联合分割方法

Similar Documents

Publication Publication Date Title
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
US20170249739A1 (en) Computer analysis of mammograms
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
Xie et al. Computer‐Aided System for the Detection of Multicategory Pulmonary Tuberculosis in Radiographs
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
Abbasi et al. Automatic brain ischemic stroke segmentation with deep learning: A review
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
Zheng et al. Automated detection and recognition of thyroid nodules in ultrasound images using Improve Cascade Mask R-CNN
Gao et al. A novel lightweight Swin-unet network for semantic segmentation of COVID-19 lesion in CT images
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Wen et al. Pulmonary nodule detection based on convolutional block attention module
Chen et al. Detection of cervical lesions in colposcopic images based on the RetinaNet method
CN117274147A (zh) 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
Gong et al. FRCNN-AA-CIF: An automatic detection model of colon polyps based on attention awareness and context information fusion
Sharanyaa et al. DCNET: a novel implementation of gastric cancer detection system through deep learning convolution networks
Hasan et al. Lung Segmentation from Chest X-Ray Images Using Deeplabv3plus-Based CNN Model
CN113052857A (zh) 一种基于CovSegNet的肺部病变图像分割方法
Zheng et al. MA-Net: Mutex attention network for COVID-19 diagnosis on CT images
Yellapragada et al. Deep learning based detection of acute aortic syndrome in contrast CT images
US20220287647A1 (en) Disease classification by deep learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination