CN115578384A - 基于全局和局部特征融合的UNet脑肿瘤图像分割算法 - Google Patents

基于全局和局部特征融合的UNet脑肿瘤图像分割算法 Download PDF

Info

Publication number
CN115578384A
CN115578384A CN202211518005.4A CN202211518005A CN115578384A CN 115578384 A CN115578384 A CN 115578384A CN 202211518005 A CN202211518005 A CN 202211518005A CN 115578384 A CN115578384 A CN 115578384A
Authority
CN
China
Prior art keywords
unet
global
brain tumor
segmentation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211518005.4A
Other languages
English (en)
Inventor
侯阿临
贾兆年
洪怡
任子航
马甜甜
石双
徐民俊
操文
炎梦雪
孙佳宇
张俊鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN202211518005.4A priority Critical patent/CN115578384A/zh
Publication of CN115578384A publication Critical patent/CN115578384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，针对脑肿瘤磁共振成像（MRI）多模态精准分割。算法采取了局部‑全局学习策略，使用门控轴向注意力模块改进的UNet网络构成脑肿瘤分割网络模型的局部分支，局部分支注重获取脑肿瘤的细节信息，空间信息丰富。使用融合Transformer和ResNet模块改进的UNet网络构成脑肿瘤分割网络模型的全局分支，全局分支感受野大，具有丰富的语义特征，并且融合Transformer模块，有强大的全局建模能力，最后将获取的局部和全局图像放入设计的自适应特征融合模块中进行图像融合，自适应融合模块通过下采样及全连接降维以便于之后计算各特征图的权重，然后通过softmax函数计算各特征图的权重，通过训练逼近分割目标，实现对脑肿瘤图像的精准分割。

Description

基于全局和局部特征融合的UNet脑肿瘤图像分割算法
技术领域
本发明提出一种基于深度学习脑肿瘤影像分割算法，采用一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法。算法采取了局部-全局学习策略，局部分支注重获取脑肿瘤的细节信息，空间信息丰富，全局分支感受野大，具有丰富的语义特征，并且融合Transformer模块有强大的全局建模能力，最后将获取的局部和全局图像放入设计的自适应特征融合模块中进行图像融合，实现对脑肿瘤图像的精准分割。
背景技术
在智能医疗领域中，人工智能技术主要应用在医疗诊断的影像方向。医学影像是对一些人体内部组织器官进一步探测与诊断的重要手段。医生通过医学影像查看到病人体内的患病器官组织，可以对病症做出正确的判断，从而提出合理的治疗计划，帮助病人尽快康复。而医学影像分割是该技术中的难点，也是计算机辅助诊断、监视、干预和治疗所必需的一环。在目前许多医学影像诊断过程中，专家医生依然使用的是手动标注。这种手动标注的方式不仅效率低下，还可能会造成较大的误差，影响进一步的医疗诊断。在实际操作中这种人为因素产生的干扰很难避免，因此人们展开了对计算机辅助诊断技术的深入研究，希望通过人工智能来实现更加高效精准的医学诊断。
近年来，深度学习迅速崛起并成功运用到医学图像处理领域，深度学习网络能够拟合复杂的数据分布可直接从数据中自主学习具有代表性的复杂特征。UNet因其简单的模型结构和多尺度特征融合的特点广泛应用于脑肿瘤图像分割领域，但传统UNet网络通常使用连续卷积来学习脑肿瘤的多尺度特征，传统连续卷积学习的语义信息往往不充分，并且由于其感受野的限制，缺乏对全局相关性的建模能力。
发明内容
本发明所解决的技术问题是针对UNet网络中传统连续卷积缺乏对图像中远程依赖关系的建模能力，连续卷积学习的语义信息往往不充分，导致在对脑肿瘤分割过程中存在脑肿瘤内部结构分割精度低的问题，提出一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，算法采取了局部-全局学习策略，局部分支的UNet采用两次下采样结构，注重获取脑肿瘤的细节信息，引入门控轴向注意力模块代替传统的连续卷积。全局分支的UNet采用四次下采样结构的常见模式，需要获取图像的高级语义特征，因此在UNet编码器中采用ResNet网络结构，并且融合Transformer模块，最后将获取的局部和全局图像放入设计的自适应特征融合模块中进行图像融合，实现对脑肿瘤图像的精准分割。
为了实现上述目的，本发明的技术方案如下：
一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，包括以下步骤：
步骤一：数据预处理，将数据集根据需求改为网络可训练的大小；
步骤二：构造脑肿瘤分割网络模型的局部分支，引入门控轴向注意力模块代替UNet传统的连续卷积；
步骤三：构造脑肿瘤分割网络模型的全局分支，在UNet编码器中采用ResNet50网络结构，并且融合Transformer模块；
步骤四：将局部分支和全局分支预测结果图放入设计的自适应特征融合模块中进行图像融合，获取脑肿瘤图像分割结果。
所述步骤一中的具体过程如下：
（1）因为BraTS2020数据集每个病例有四个模态，对应各个模态的图片大小为155×240×240。因为每个模态核磁共振图片的成像方式不同，从而图像的对比度也就有差异，采用Z-score方法分别标准化每个模态的图像(即图像减去均值除以标准差)解决对比度差异问题。在标准化之前，采用极值抑制，防止图片因为极大值或者极小值对整张图片产生较大影响。在极值抑制之后，对所有图片非背景区域求其均值和方差，作为每张图片的均值和方差利用Z-score进行标准化处理：
利用Z-score标准化：
Figure 807690DEST_PATH_IMAGE001
其中X是输入样本，μ为所有样本数据的均值，σ为所有样本数据的标准差，X*为标准化后的输出样本；
（2）背景在整幅图像中占的比例较大，并且背景区域也不是分割目标区域，因而对其进行剪裁，去除无效区域，剪裁后图片大小为155×160×160；
（3）将四个模态对应通道进行拼接，保存后得到155个大小为4×160×160的特征图。4个通道是同一病人同一区域根据不同核磁共振产生的图像拼接而来。将拼接后的图片作为网络的输入；
（4）将专家标注的病人标签进行处理作为网络的标签。专家标注的标签包括四种类型，分别称为增强型肿瘤（标记为4），肿瘤周围水肿（标记为2），非增强性肿瘤（标记为1）以及健康像素（标记为0）。首先将该病人标签根据输入剪裁处理为160×160大小。将增强型肿瘤、肿瘤周围水肿和非增强性肿瘤置为1，其余为背景0。再将增强型肿瘤和非增强性肿瘤置为1，其余为背景0。最后将增强型肿瘤置为1，其余为背景0。通过以上操作得到三个大小为160×160的图片，再将它们三个在新维度进行拼接得到大小为3×160×160的图片，将得到的图片作为整个网络的标签。
所述步骤二中的具体情况如下：
（1）使用门控轴向注意力模块改进的UNet网络构成脑肿瘤分割网络模型的局部分支：
①搭建脑肿瘤分割网络模型的局部分支；
②构建的网络模型使用2次下采样和2次上采样，每次下采样过程会使用门控轴向注意力模块，门控轴向注意力模块首先将输入图像通过1*1的卷积核并进行归一化（BatchNorm,BN），然后引入门控轴向注意力机制，再经过1*1的卷积核并进行归一化（BatchNorm,BN），下采样使图片大小变为原来的1/2，上采样使图片大小变为原来的2倍，上采样为传统连续卷积，并使用一次跳跃连接；
Figure 662513DEST_PATH_IMAGE002
改进的UNet局部分支与UNet编解码过程基本一致，不同的地方是将UNet的四次下采样上采样改为两次，下采样的连续卷积结构改为使用门控轴向注意力模块，浅层网络能够利用更多的细粒度特征信息，此时特征图每个像素点对应的感受野重叠区域较小,保证了网络能捕获更多脑肿瘤的细节信息。
所述步骤三中的具体情况如下：
（2）使用融合Transformer和ResNet模块改进的UNet网络构成脑肿瘤分割网络模型的全局分支：
①搭建脑肿瘤分割网络模型的全局分支；
②构建的网络模型使用4次下采样和4次上采样，每次下采样过程会使用ResNet，并在最后一次下采样后使用Transformer模块，下采样使图片大小变为原来的1/2，上采样为传统连续卷积结构，上采样使图片大小变为原来的2倍；
Figure 891851DEST_PATH_IMAGE002
改进的UNet全局分支与UNet编解码过程基本一致，不同的地方是将UNet的下采样的连续卷积结构改为ResNet结构，获取深层网络的语义特征，并不会出现梯度消失和梯度爆炸现象，并在网络经过ResNet模块对输入图像进行提取高级语义特征后，将特征数据送入Transformer 模块进行计算，充分利用 CNN 特征的高分辨率空间信息和Transformer编码的全局语义信息。
所述步骤四中的具体情况如下：
（1）将局部和全局网络结构通过自适应特征融合模块进行结合构成脑肿瘤分割网络模型：
①使用自适应特征融合模块、局部和全局分支构建脑肿瘤分割网络模型；
②自适应特征融合模块将全局和局部分支提取的特征进行融合，通过下采样及全连接降维以便于之后计算各特征图的权重，然后通过softmax函数计算各特征图的权重，通过训练逼近分割目标；
Figure 614956DEST_PATH_IMAGE003
训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成；
(2)将数据集放入网络进行训练，得到最优的网络分割结果；
(3)将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。
与现有技术相比，本发明技术方案的有益效果是：
（1）本发明将UNet网络模型与Transformer、门控轴向注意力模块 和ResNet结构进行结合，解决了脑肿瘤内部组织分割不精确的问题；
（2）本发明通过全局-局部训练策略，获取具有脑肿瘤丰富细节信息和空间信息的局部特征和具有丰富的语义特征的全局特征信息，并通过自适应特征融合模块对局部-全局特征特征进行自适应选择，获取最优的模型分割效果。
附图说明
图1为本发明的方法流程图。
图2为本发明所改进的UNet网络模型。
图3为本发明的自适应特征融合模块。
具体实施方式
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明；
本发明提供了一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，该方法实现了对脑肿瘤的整个肿瘤、肿瘤核心和增强型肿瘤核心的分割，为脑肿瘤核磁共振图像的高精度的重复性测量和评估提供更精确的肿瘤图像分割图。
图1为本发明的方法流程图，首先是图像预处理，将Bra2020变为网络所需的输入；然后是构建改进的UNet网络模型，并用它对数据训练，保存效果最好的网络权值，实现分割任务；
图2为本发明改进的UNet网络模型，其中包括局部分支和全局分支，两个分支的输出特征图通过自适应特征融合模块进行融合，完成分割任务；
图3为本发明的自适应特征融合模块，通过下采样及全连接降维以便于之后计算各特征图的权重，然后通过softmax函数计算各特征图的权重，通过训练逼近分割目标。
具体的实现步骤为：
Step1.1因为BraTS2020数据集每个病例有四个模态，对应各个模态的图片大小为155×240×240。因为每个模态核磁共振图片的成像方式不同，从而图像的对比度也就有差异，采用Z-score方法分别标准化每个模态的图像(即图像减去均值除以标准差)解决对比度差异问题。在标准化之前，采用极值抑制，防止图片因为极大值或者极小值对整张图片产生较大影响。在极值抑制之后，对所有图片非背景区域求其均值和方差，作为每张图片的均值和方差。利用Z-score进行标准化处理：
利用Z-score标准化：
Figure 632591DEST_PATH_IMAGE001
其中X是输入样本，μ为所有样本数据的均值，σ为所有样本数据的标准差，X*为标准化后的输出样本；
Step1.2 背景在整幅图像中占的比例较大，并且背景区域也不是分割目标区域，因而对其进行剪裁，去除无效区域，剪裁后图片大小为155×160×160；
Step1.3 将四个模态对应通道进行拼接，保存后得到155个大小为4×160×160的特征图。4个通道是同一病人同一区域根据不同核磁共振产生的图像拼接而来。将拼接后的图片作为网络的输入；
Step1.4 将专家标注的病人标签进行处理作为网络的标签。专家标注的标签包括四种类型，分别称为增强型肿瘤（标记为4），肿瘤周围水肿（标记为2），非增强性肿瘤（标记为1）以及健康像素（标记为0）。首先将该病人标签根据输入剪裁处理为160×160大小。将增强型肿瘤、肿瘤周围水肿和非增强性肿瘤置为1，其余为背景0。再将增强型肿瘤和非增强性肿瘤置为1，其余为背景0。最后将增强型肿瘤置为1，其余为背景0。通过以上操作得到三个大小为160×160的图片，再将它们三个在新维度进行拼接得到大小为3×160×160的图片，将得到的图片作为整个网络的标签。
Step2.1使用门控轴向注意力模块改进的UNet网络构成脑肿瘤分割网络模型的局部分支：
Step2.1.1搭建脑肿瘤分割网络模型的局部分支；
Step2.1.2 构建的网络模型使用2次下采样和2次上采样，每次下采样过程会使用门控轴向注意力模块，门控轴向注意力模块首先将输入图像通过1*1的卷积核并进行归一化（BatchNorm,BN），然后引入门控轴向注意力机制，再经过1*1的卷积核并进行归一化（BatchNorm,BN），下采样使图片大小变为原来的1/2，上采样使图片大小变为原来的2倍，上采样为传统连续卷积，并使用一次跳跃连接；
Step2.1.3 改进的UNet局部分支与UNet编解码过程基本一致，不同的地方是将UNet的四次下采样上采样改为两次，下采样的连续卷积结构改为使用门控轴向注意力模块，浅层网络能够利用更多的细粒度特征信息，此时特征图每个像素点对应的感受野重叠区域较小,保证了网络能捕获更多脑肿瘤的细节信息。
Step3.1使用融合Transformer和ResNet模块改进的UNet网络构成脑肿瘤分割网络模型的全局分支：
Step3.1.1搭建脑肿瘤分割网络模型的全局分支；
Step3.1.2构建的网络模型使用4次下采样和4次上采样，每次下采样过程会使用ResNet，并在最后一次下采样后使用Transformer模块，下采样使图片大小变为原来的1/2，上采样为传统连续卷积结构，上采样使图片大小变为原来的2倍；
Step3.1.3改进的UNet全局分支与UNet编解码过程基本一致，不同的地方是将UNet的下采样的连续卷积结构改为ResNet结构，获取深层网络的语义特征，并不会出现梯度消失和梯度爆炸现象，并在网络经过ResNet模块对输入图像进行提取高级语义特征后，将特征数据送入Transformer 模块进行计算，充分利用 CNN 特征的高分辨率空间信息和Transformer 编码的全局语义信息。
Step4.1将局部和全局网络结构通过自适应特征融合模块进行结合构成脑肿瘤分割网络模型：
Step4.1.1使用自适应特征融合模块、局部和全局分支构建脑肿瘤分割网络模型；
Step4.1.2自适应特征融合模块将全局和局部分支提取的特征进行融合，之后通过下采样及全连接降维以便于之后计算各特征图的权重，然后通过softmax函数计算各特征图的权重，通过训练逼近分割目标；
Step4.1.3训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成；
Step4.2将数据集放入网络进行训练，得到最优的网络分割结果；
Step4.3将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。

Claims (5)

1.一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，其特征在于，包括以下步骤：
Step 1：数据预处理，将数据集根据需求改为网络可训练的大小；
Step 2：构造脑肿瘤分割网络模型的局部分支，引入门控轴向注意力模块代替UNet传统的连续卷积；
Step 3：构造脑肿瘤分割网络模型的全局分支，在UNet编码器中采用ResNet50网络结构，并且融合Transformer模块；
Step 4：将局部分支和全局分支预测结果图放入设计的自适应特征融合模块中进行图像融合，获取脑肿瘤图像分割结果。
2.根据权利要求1所述的一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，其特征在于，所述Step 1中的具体过程如下：
Step1.1因为BraTS2020数据集每个病例有四个模态，对应各个模态的图片大小为155×240×240，因为每个模态核磁共振图片的成像方式不同，从而图像的对比度也就有差异，采用Z-score方法分别标准化每个模态的图像(即图像减去均值除以标准差)解决对比度差异问题。在标准化之前，采用极值抑制，防止图片因为极大值或者极小值对整张图片产生较大影响。在极值抑制之后，对所有图片非背景区域求其均值和方差，作为每张图片的均值和方差。利用Z-score进行标准化处理：
利用Z-score标准化：
Figure 150921DEST_PATH_IMAGE001
其中X是输入样本，μ为所有样本数据的均值，σ为所有样本数据的标准差，X*为标准化后的输出样本；
Step1.2 背景在整幅图像中占的比例较大，并且背景区域也不是分割目标区域，因而对其进行剪裁，去除无效区域，剪裁后图片大小为155×160×160；
Step1.3 将四个模态对应通道进行拼接，保存后得到155个大小为4×160×160的特征图，4个通道是同一病人同一区域根据不同核磁共振产生的图像拼接而来。将拼接后的图片作为网络的输入；
Step1.4 将专家标注的病人标签进行处理作为网络的标签。专家标注的标签包括四种类型，分别称为增强型肿瘤（标记为4），肿瘤周围水肿（标记为2），非增强性肿瘤（标记为1）以及健康像素（标记为0），首先将该病人标签根据输入剪裁处理为160×160大小，将增强型肿瘤、肿瘤周围水肿和非增强性肿瘤置为1，其余为背景0。再将增强型肿瘤和非增强性肿瘤置为1，其余为背景0，最后将增强型肿瘤置为1，其余为背景0，通过以上操作得到三个大小为160×160的图片，再将它们三个在新维度进行拼接得到大小为3×160×160的图片，将得到的图片作为整个网络的标签。
3.根据权利要求1所述的一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，其特征在于，所述Step 2中的具体过程如下：
Step2.1使用门控轴向注意力模块改进的UNet网络构成脑肿瘤分割网络模型的局部分支：
Step2.1.1搭建脑肿瘤分割网络模型的局部分支；
Step2.1.2 构建的网络模型使用2次下采样和2次上采样，每次下采样过程会使用门控轴向注意力模块，门控轴向注意力模块首先将输入图像通过1*1的卷积核并进行归一化（BatchNorm,BN），然后引入门控轴向注意力机制，再经过1*1的卷积核并进行归一化（BatchNorm,BN），下采样使图片大小变为原来的1/2，上采样使图片大小变为原来的2倍，上采样为传统连续卷积，并使用一次跳跃连接；
Step2.1.3 改进的UNet局部分支与UNet编解码过程基本一致，不同的地方是将UNet的四次下采样上采样改为两次，下采样的连续卷积结构改为使用门控轴向注意力模块，浅层网络能够利用更多的细粒度特征信息，此时特征图每个像素点对应的感受野重叠区域较小,保证了网络能捕获更多脑肿瘤的细节信息。
4.根据权利要求1所述的一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，其特征在于，所述Step 3中的具体过程如下：
Step3.1使用融合Transformer和ResNet模块改进的UNet网络构成脑肿瘤分割网络模型的全局分支：
Step3.1.1搭建脑肿瘤分割网络模型的全局分支；
Step3.1.2构建的网络模型使用4次下采样和4次上采样，每次下采样过程会使用ResNet，并在最后一次下采样后使用Transformer模块，下采样使图片大小变为原来的1/2，上采样为传统连续卷积结构，上采样使图片大小变为原来的2倍；
Step3.1.3改进的UNet全局分支与UNet编解码过程基本一致，不同的地方是将UNet的下采样的连续卷积结构改为ResNet结构，获取深层网络的语义特征，并不会出现梯度消失和梯度爆炸现象，并在网络经过ResNet模块对输入图像进行提取高级语义特征后，将特征数据送入Transformer 模块进行计算，充分利用 CNN 特征的高分辨率空间信息和Transformer 编码的全局语义信息。
5.根据权利要求1所述的一种基于全局和局部特征融合的UNet脑肿瘤图像分割算法，其特征在于，所述Step 4中的具体过程如下：
Step4.1将局部和全局网络结构通过自适应特征融合模块进行结合构成脑肿瘤分割网络模型：
Step4.1.1使用自适应特征融合模块、局部和全局分支构建脑肿瘤分割网络模型；
Step4.1.2自适应特征融合模块将全局和局部分支提取的特征进行融合，之后通过下采样及全连接降维以便于之后计算各特征图的权重，然后通过softmax函数计算各特征图的权重，通过训练逼近分割目标；
Step4.1.3训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成；
Step4.2将数据集放入网络进行训练，得到最优的网络分割结果；
Step4.3将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。
CN202211518005.4A 2022-11-30 2022-11-30 基于全局和局部特征融合的UNet脑肿瘤图像分割算法 Pending CN115578384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211518005.4A CN115578384A (zh) 2022-11-30 2022-11-30 基于全局和局部特征融合的UNet脑肿瘤图像分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211518005.4A CN115578384A (zh) 2022-11-30 2022-11-30 基于全局和局部特征融合的UNet脑肿瘤图像分割算法

Publications (1)

Publication Number Publication Date
CN115578384A true CN115578384A (zh) 2023-01-06

Family

ID=84590284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211518005.4A Pending CN115578384A (zh) 2022-11-30 2022-11-30 基于全局和局部特征融合的UNet脑肿瘤图像分割算法

Country Status (1)

Country Link
CN (1) CN115578384A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012374A (zh) * 2023-03-15 2023-04-25 译企科技(成都)有限公司 一种三维pet-ct头颈部肿瘤分割系统及方法
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN116307267A (zh) * 2023-05-15 2023-06-23 成都信息工程大学 一种基于卷积的降雨预测方法
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN117115443A (zh) * 2023-08-18 2023-11-24 中南大学 一种用于识别红外小目标的分割方法
CN117409019A (zh) * 2023-09-15 2024-01-16 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于集成学习的多模态脑肿瘤图像分割方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN116012374A (zh) * 2023-03-15 2023-04-25 译企科技(成都)有限公司 一种三维pet-ct头颈部肿瘤分割系统及方法
CN116307267A (zh) * 2023-05-15 2023-06-23 成都信息工程大学 一种基于卷积的降雨预测方法
CN116307267B (zh) * 2023-05-15 2023-07-25 成都信息工程大学 一种基于卷积的降雨预测方法
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN116342600B (zh) * 2023-05-29 2023-08-18 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN117115443A (zh) * 2023-08-18 2023-11-24 中南大学 一种用于识别红外小目标的分割方法
CN117115443B (zh) * 2023-08-18 2024-06-11 中南大学 一种用于识别红外小目标的分割方法
CN117409019A (zh) * 2023-09-15 2024-01-16 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于集成学习的多模态脑肿瘤图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN115578384A (zh) 基于全局和局部特征融合的UNet脑肿瘤图像分割算法
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN114972231B (zh) 一种基于先验-后验概率编码器的多模态mr图像分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Shen et al. Medical image segmentation based on Transformer and HarDNet structures
Atek et al. SwinT-Unet: hybrid architecture for medical image segmentation based on Swin transformer block and Dual-Scale Information
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN117710671A (zh) 一种基于分割大模型微调的医学图像分割方法
CN118279361A (zh) 基于无监督深度学习和模态转换的多模态医学图像配准方法
Ummadi U-Net and its variants for Medical Image Segmentation: A short review
Qiao et al. DPC-MSGATNet: dual-path chain multi-scale gated axial-transformer network for four-chamber view segmentation in fetal echocardiography
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Wang et al. MAFUNet: Multi-Attention Fusion Network for Medical Image Segmentation
Dan et al. Enhancing medical image segmentation with a multi-transformer U-Net
Zhao et al. VCMix-Net: A hybrid network for medical image segmentation
Wang et al. Study on MRI Brain Tumor Segmentation Based on Improved Transfuse Network Model
Dong et al. Image segmentation of gastroscopy based on ConvNeXt 2.5 D UNet
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
Li et al. Attention Guided Multi Scale Feature Fusion Network for Automatic Prostate Segmentation.
EP4421752A1 (en) Medical image processing apparatus and method
CN118196153A (zh) 一种跨模态可变形医学影像配准方法及系统
CN117764960A (zh) 基于多级特征交互融合的ct图像气胸病灶区域识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination