CN117455943A - 基于混合注意力编码器的医学图像分割算法 - Google Patents

基于混合注意力编码器的医学图像分割算法 Download PDF

Info

Publication number
CN117455943A
CN117455943A CN202210823220.9A CN202210823220A CN117455943A CN 117455943 A CN117455943 A CN 117455943A CN 202210823220 A CN202210823220 A CN 202210823220A CN 117455943 A CN117455943 A CN 117455943A
Authority
CN
China
Prior art keywords
segmentation
medical image
network
image segmentation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210823220.9A
Other languages
English (en)
Inventor
安丽静
汪烈军
程述立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202210823220.9A priority Critical patent/CN117455943A/zh
Publication of CN117455943A publication Critical patent/CN117455943A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于混合注意力编码器的医学图像分割算法,主要解决了医学图像模糊边界的误分割、分割轮廓不平滑等问题。具体方案为构建高效注意力模块,构建双路移位MLP模块;利用这些模块构建基于混合注意力编码器的医学图像分割网络;获取医学图像分割数据集对网络进行训练;然后运用训练好的网络进行图像分割。本发明构建了高效注意力模块和双路移位MLP模块,提升了网络局部建模的性能,同时使分割边界更加完整。该方法可为医生对人体病变部位的观察和判断提供帮助。

Description

基于混合注意力编码器的医学图像分割算法
技术领域
本发明涉及深度学习技术领域。具体地说,涉及一种医学图像分割算法。
背景技术
医学影像分割是计算机辅助诊断中的一项基础且关键的任务,目的在于从像素级别准确识别出目标器官、组织或病变区域。不同于自然场景下的图像,医学影像往往纹理复杂,同时受限于成像技术和成像设备,并且医学影像噪声大,边界模糊而不易判断。而且对医学影像进行标注极大依赖于医疗专家的认知和经验,这一点造成了可用于训练中的标注数据少。由于上述的医学影像边缘模糊不清、训练数据较少和标注误差较大等特点,基于传统图像分割算法搭建的辅助诊断系统不足以满足临床应用的要求。
近年来,CNN逐渐成为一种主流的图像处理方法。随后,研究者们提出了用于图像分割的全卷积神经网络(FCN)和 U-Net 卷积网络,U-Net 网络架构的应用更加广泛。由于U-Net在图像分割中的卓越性能,它被广泛应用于眼部、心脏、肝脏、脑部、皮肤、前列腺和乳腺等器官的病灶分割。因此,研究者们基于U-Net模型进行了一系列的改进,以满足实际应用需求,进一步提升了网络性能。例如,ANU-Net, DIU-Net, AttUNet, MRUNet, HDC-Ne,FAC-Net。
由于Transformer具有捕获远程依赖关系的能力,研究者们试图将Transformer引入计算机视觉领域。陈等人首先提出用于医学图像分割的Transformer架构TransUNet,它采用CNN提取特征,并将提取到的特征输入Transformer进行远程依赖关系计算。张等人基于ViT提出了TransFuse,它将Transformer和CNN提取到的特征进行融合。Valanarasu等人基于轴向注意力机制提出了MedT,它证明了可以在小规模数据集上应用Transformer。这些模型的成功表明了Transformer在医学图像分割方面的巨大潜力。但是Transformer主要是对图像的全局上下文建模,它对于提取局部特征的能力不足。而医学图像是很复杂的,它们的边缘信息模糊不清,有些前景信息与它周围背景信息难以区分。因此,对于局部信息的提取是非常重要的。
发明内容
针对Transformer提取局部特征的能力不足这一点,本发明提出了一种基于混合注意力编码器的医学图像分割算法。该方法以深度学习技术为依托,能够显著提高医学图像分割精度,输出的预测分割图所包含的分割边界更加完整。
基于混合注意力编码器的医学图像分割算法,所述医学图像分割方法包括以下步骤:
(1)构建基于混合注意力编码器的医学图像分割网络UANet;
(1a)采用UCTransNet作为提取图像特征的基础网络;
(1b)构建高效注意力模块EAM,该模块将分别细化来自编码器端四个级别的卷积层输出特征,增强图像特征信息,输出与输入相同维度的完备特征;
(1c)构建双路移位MLP模块DS-MLP,利用DS-MLP模块在更细粒度的空间上对最底层的卷积输出特征进行局部滤波和强化;
(2)对基于混合注意力编码器的医学图像分割网络UANet进行训练;
(2a)从公开的医学图像分割数据集网址下载结肠组织图像中的腺体分割数据集(GlaS)和多器官细胞核分割数据集(MoNuSeg),将GlaS数据集统一分辨率为224×224,将MoNuSeg数据集统一分辨率为512×512;
(2b)利用在线数据增广技术对训练集进行数据增广;
(2c)将经过扩充后的训练集数据输入到UANet网络的编码器,通过前向传播得到输出的预测分割图,利用混合损失函数计算预测分割图与真实标签之间的损失值,经过多轮训练迭代后,损失函数值将收敛,此时模型已被训练好,并且可以达到精准分割的要求;
(3)利用训练完备的基于混合注意力编码器的医学图像分割网络UANet进行医学图像分割,将测试集的原图输入到训练好的UANet网络中,此时网络通过前向传播将输出预测分割图,其像素值为0或255。
本发明与现有技术相比具有以下优点:
第一:本发明构建了高效注意力模块EAM,该模块将分别细化来自编码器端四个级别的卷积层输出特征,它不仅能够突出前景信息,还可以弱化背景信息对分割结果带来的消极影响,为下一步的全局建模奠定基础,有利于最终输出具有完整分割边界的预测图;
第二:本发明构建了双路移位MLP模块,该模块能够有效的在更细粒度的空间上对特征进行局部建模,为解码器恢复特征奠定了基础;
第三:本发明构建的UANet网络不需要预训练以及繁琐的图像预处理就可以得到较准确的输出预测分割图。
附图说明
图1是本发明中构建的基于混合注意力编码器的医学图像分割网络UANet的网络框架。
图2是本发明中构建的高效注意力模块EAM的详细架构图。
图3是本发明中构建的双路移位MLP模块DS-MLP的详细架构图。
具体实施方式
本发明提供了一种基于混合注意力编码器的医学图像分割算法。
下面结合附图对本发明作进一步描述。
本发明的实施步骤包括:搭建医学图像分割网络UANet、利用数据集训练UANet达到收敛状态和利用训练好的UANet进行图像分割三部分。
参照图1,各部分的实现步骤描述如下:
步骤1.构建医学图像分割网络UANet;
该网络由编码器,跳跃连接,瓶颈块和解码器四部分构成。编码器使用EAM和卷积层进行特征提取。如图1所示,我们利用EAM模块突出局部前景信息,削弱背景信息。为了给解码器提供更加精细的前景信息,我们构建了DS-MLP模块并将其嵌入到瓶颈块。它通过空间和通道移位操作对已经获得的前景信息进一步特征加强。跳跃连接和解码器保持UCTransNet中的设置;
步骤2.构建高效注意力模块EAM,如图2所示;
设计一种细化卷积输出的算法是至关重要的,由于Transformer对局部信息的感知力较弱,我们提出了EAM模块,EAM模块的核心思想是突出样本的前景信息,削弱背景信息对分割效果的消极影响,使得模型能够探究局部信息的重要性;EAM模块用公式表示为:
(1)
式中, 分别代表通道维度和空间维度的权值,代表输入特征图,表示 按元素相乘;
通道维度的权值用公式(2)表示:
(2)
式中,代表采用批量归一化(BN)中的比例因子()为输入特征图中 的每个通道分配一个唯一的权重,表示按元素相乘;
空间维度的权值用公式(3)表示:
(3)
式中,分别为神经元的均值与方差, 为目标神经元;
步骤3.构建双路移位MLP模块DS-MLP,如图3所示;
设计一种可以在瓶颈块中提炼样本前景信息的模块是至关重要的,为了能够为解码器提供更加精细的前景信息,我们提出了DS-MLP模块,DS-MLP的核心思想是:采用空间转移操作和通道转移操作实现进一步的特征增强。DS-MLP模块用公式(4)表示:
(4)
式中,表示分层注意力操作,分别表示空间移位操作和通道 移位操作;
空间移位操作用公式(5)表示:
(5)
式中,分别表示输入特征图的宽和高,表示通道数;
通道移操作用公式(6)表示:
(6)
式中, 代表sigmoid激活函数,表示核大小为3的一维卷积,表示全 局最大池化,表示按元素相乘;
步骤4.获取医学图像分割数据集对UANet进行训练;
(4.1)从公开的医学图像分割数据集网址下载结肠组织图像中的腺体分割数据集(GlaS)和多器官细胞核分割数据集(MoNuSeg),将GlaS数据集统一分辨率为224×224,将MoNuSeg数据集统一分辨率为512×512;
(4.2)将医学图像分割数据集在输入网络前使用翻转(垂直和水平)和旋转(随机)两种形式的操作,将经过这些操作后形成的数据并入训练集,最终形成增广后的训练集;
(4.3)将经过扩充后的训练集数据输入到UANet网络的编码器,通过前向传播得到输出的预测分割图,利用混合损失函数计算预测分割图与真实标签之间的损失值,经过多轮训练迭代后,损失函数值将收敛,此时模型已被训练好,并且可以达到精准分割的要求;
步骤5.利用训练好的UANet进行图像分割。
下面结合仿真实验对本发明的效果做进一步的说明:
1.仿真实验条件:
本发明的仿真实验的硬件平台为:Intel(R) Xeon(R) Gold 5120 CPU @ 2.20GHz×56,GPU为显存24G的NVIDIA TITAN RTX;
本发明的仿真实验的软件平台为:Ubuntu9.3.0操作系统和python 3 .6,PyTorch1.7.1深度学习框架;
本发明进行仿真实验时所使用的医学图像分割数据集为:
(1)GlaS数据集: 其为“Gland segmentation in colon 398 histology images:The glas challenge contest. Medical Image Anal. 2017; 35:489-502.”中公开的挑战赛腺体分割数据集,该数据集中有165张图像,其中训练集有85张,测试集有80张。这些图像都是结直肠腺癌组织学切片。这些切片在实验室不同的场合进行处理,而且每个切片属于不同的病人;
(2)MoNuSeg数据集:其为“ A Multi-Organ Nucleus Segmentation Challenge.IEEE Transactions on Medical Imaging. 2020; 39(5):1380-1391.”中公开的多器官细胞核分割数据集,该数据集的训练集有30张图像,总共标注了21623个独立核。这些图像中包含胃、前列腺、肝脏、结肠、膀胱、肾脏和乳腺7个器官。该数据集的测试集有14张图像包含了大脑、乳腺癌、肺癌、前列腺癌、膀胱癌、结肠癌、肾脏7个器官,其中肺和脑组织图像是测试集独有的;
2.仿真内容及其结果分析:
利用本发明中训练好的模型分别对上述两个医学图像分割数据集测试,对分割结果分别计算评价指标Dice数据、交并比IoU,这两个指标与TP、FP、TN和FN四个值有关,TP:正确预测的正样本像素数目总和,FP:错误预测的正样本像素数目总和,TN:正确预测的负样本像素数目总和,FN:错误预测的负样本像素数目总和;
(7)
(8)
将本发明方法的技术指标与现有的4种最好的方法作对比的结果如表1所示;
从表1中以看出,在指标Dice和IoU上本发明的方法都优于其他方法。

Claims (5)

1.一种基于混合注意力编码器的医学图像分割算法,其特征在于,包括:
(1)构建基于混合注意力编码器的医学图像分割网络UANet;
(1a)采用UCTransNet作为提取图像特征的基础网络;
(1b)构建高效注意力模块EAM,该模块将分别细化来自编码器端四个级别的卷积层输出特征,增强图像特征信息,输出与输入相同维度的完备特征;
(1c)构建双路移位MLP模块DS-MLP,利用DS-MLP模块在更细粒度的空间上对最底层的卷积输出特征进行局部滤波和强化;
(2)对基于混合注意力编码器的医学图像分割网络UANet进行训练;
(2a)从公开的医学图像分割数据集网址下载结肠组织图像中的腺体分割数据集(GlaS)和多器官细胞核分割数据集(MoNuSeg),将GlaS数据集统一分辨率为224×224,将MoNuSeg数据集统一分辨率为512×512;
(2b)利用在线数据增广技术对训练集进行数据增广;
(2c)将经过扩充后的训练集数据输入到UANet网络的编码器,通过前向传播得到输出的预测分割图,利用混合损失函数计算预测分割图与真实标签之间的损失值,经过多轮训练迭代后,损失函数值将收敛,此时模型已被训练好,并且可以达到精准分割的要求;
(3)利用训练完备的基于混合注意力编码器的医学图像分割网络UANet进行医学图像分割,将测试集的原图输入到训练好的UANet网络中,此时网络通过前向传播将输出预测分割图,其像素值为0或255。
2.如权利要求1所述的基于混合注意力编码器的医学图像分割算法,其特征在于:所述(1a)中,采用UCTransNet作为提取图像特征的基础网络。
3.如权利要求1所述的基于混合注意力编码器的医学图像分割算法,其特征在于:所述(2b)中的数据增广技术是将医学图像分割数据集在输入网络前使用翻转(垂直和水平)和旋转(随机)两种形式的操作,将经过这些操作后形成的数据并入训练集,最终形成增广后的训练集。
4.如权利要求1所述的基于混合注意力编码器的医学图像分割算法,其特征在于:所述(1b)中,设计一种细化卷积输出的算法是至关重要的,由于Transformer对局部信息的感知力较弱,我们提出了EAM模块,EAM模块的核心思想是突出样本的前景信息,削弱背景信息对分割效果的消极影响,使得模型能够探究局部信息的重要性;
EAM模块用公式(1)表示:
(1)
式中, 分别代表通道维度和空间维度的权值,代表输入特征图,表示按元 素相乘;
通道维度的权值用公式(2)表示:
(2)
式中,代表采用批量归一化(BN)中的比例因子()为输入特征图中的每个 通道分配一个唯一的权重,表示按元素相乘;
空间维度的权值用公式(3)表示:
(3)
式中,分别为神经元的均值与方差,为目 标神经元。
5.如权利要求1所述的基于混合注意力编码器的医学图像分割算法,其特征在于:所述(1c)中,设计一种可以在瓶颈块中提炼样本前景信息的模块是至关重要的,为了能够为解码器提供更加精细的前景信息,我们提出了DS-MLP模块,DS-MLP的核心思想是:采用空DS-MLP模块用公式(4)表示:
(4)
式中,表示分层注意力操作,分别表示空间移位操作和通道移位 操作;
空间移位操作用公式(5)表示:
(5)
式中,分别表示输入特征图的宽和高,表示通道数;
通道移操作用公式(6)表示:
(6)
式中, 代表sigmoid激活函数,表示核大小为3的一维卷积,表示全局最 大池化,表示按元素相乘。
CN202210823220.9A 2022-07-14 2022-07-14 基于混合注意力编码器的医学图像分割算法 Pending CN117455943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823220.9A CN117455943A (zh) 2022-07-14 2022-07-14 基于混合注意力编码器的医学图像分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823220.9A CN117455943A (zh) 2022-07-14 2022-07-14 基于混合注意力编码器的医学图像分割算法

Publications (1)

Publication Number Publication Date
CN117455943A true CN117455943A (zh) 2024-01-26

Family

ID=89586039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823220.9A Pending CN117455943A (zh) 2022-07-14 2022-07-14 基于混合注意力编码器的医学图像分割算法

Country Status (1)

Country Link
CN (1) CN117455943A (zh)

Similar Documents

Publication Publication Date Title
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
Cai et al. A review of the application of deep learning in medical image classification and segmentation
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
Gong et al. Multi-task learning for thyroid nodule segmentation with thyroid region prior
CN116309650B (zh) 基于双分支嵌入注意力机制的医学图像分割方法与系统
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN115409846A (zh) 一种基于深度学习的结直肠癌病灶区域轻量级分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
Ilesanmi et al. Organ segmentation from computed tomography images using the 3D convolutional neural network: a systematic review
Ding et al. Efficient Unet with depth-aware gated fusion for automatic skin lesion segmentation
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN116128854A (zh) 一种基于卷积神经网络的髋关节超声图像质量评估方法
CN117455943A (zh) 基于混合注意力编码器的医学图像分割算法
CN113902738A (zh) 一种心脏mri分割方法及系统
Dai et al. A Generative Data Augmentation Trained by Low-quality Annotations for Cholangiocarcinoma Hyperspectral Image Segmentation
Geethanjali et al. Semantic segmentation of tumors in kidneys using attention U-Net models
Zhang et al. SEG-LUS: A novel ultrasound segmentation method for liver and its accessory structures based on muti-head self-attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication