CN114723698A - 一种基于多尺度注意力网络的脑血管图像分割方法 - Google Patents

一种基于多尺度注意力网络的脑血管图像分割方法 Download PDF

Info

Publication number
CN114723698A
CN114723698A CN202210331209.0A CN202210331209A CN114723698A CN 114723698 A CN114723698 A CN 114723698A CN 202210331209 A CN202210331209 A CN 202210331209A CN 114723698 A CN114723698 A CN 114723698A
Authority
CN
China
Prior art keywords
scale
features
image
cerebrovascular
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210331209.0A
Other languages
English (en)
Inventor
管秋
张泽涵
杨志强
李志成
楼海燕
胡海根
周乾伟
徐新黎
姜娓娓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210331209.0A priority Critical patent/CN114723698A/zh
Publication of CN114723698A publication Critical patent/CN114723698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于多尺度注意力网络的脑血管医学图像分割方法，首先将原始的脑血管MRA图像进行预处理，随后训练一个多尺度注意力UNet网络；网络模型上编码部分通过多尺度注意力模块提取脑血管图像的特征，提升有效特征的学习能力；解码部分通过跳级连接融合多尺度特征，提高模型分割的精准度；最后将待分割的测试数据输入训练好的模型得到分割结果并进行三维重建。本发明考虑脑血管在脑部影像中的复杂特点，针对性地提出网络模型进行脑血管影像的分割与三维重建，解决了脑部血管高度复杂、位置形态不一等带来的分割难题，提高MRI脑血管影像的分割精度。

Description

一种基于多尺度注意力网络的脑血管图像分割方法
技术领域
本发明涉及脑血管图像分割方法。
背景技术
血管疾病因其高发病率和高死亡率已成为人类健康的一种主要威胁,脑血管系统是一个复杂的动脉和静脉网络，为脑细胞提供至关重要的营养和氧气。此外，在更精细水平上，大脑血管之间的个体差异仍未被充分理解。自动准确的脑血管分割是脑血管结构可视化、血管诊断和计算机辅助干预的关键步骤。
当前的医学血管造影成像技术，如计算机断层血管造影(CT)、数字减影血管造影和磁共振血管造影(MRA)，以不同的方式提供大量数据并对脑血管的研究提供了很大的帮助。Time-of-Flight磁共振血管成像(TOF-MRA)是基于血流或流入血管造影，它使用短回波时间和流量补偿，使流动的血液比静止的组织亮得多。头部TOF-MRA成像用于动脉造影(而部分静脉成像结果通常包含在数据采集中)以评估血管异常，如狭窄、动脉瘤和动静脉异常。然而，由于脑血管分支的复杂性，脑血管MRA中不仅有许多微小的毛细血管，而且有较粗的颈内动脉(ICA)。这就要求在脑血管分割任务中要考虑不同尺度的分割目标。同时，在数字减影血管造影成像过程中，造影剂的浓度会不断变化，扩散不均匀，这可能导致脑血管数字减影血管造影图像出现伪影和噪声。由于上述特点，如何从MRA图像中自动准确地分割脑血管成为一个具有挑战性的问题。
但由医学专家来手工对脑血管图像进行分割与标注工作，在大型相关研究中既耗时又不切实际，尽管在过去的二十年余年中，针对不同的医学成像模式开发了许多不同的血管自动分割方法，但脑血管的分割仍然是一项只有少数研究者去探索的任务。
发明内容
本发明要克服现有技术的上述缺点，为了提高脑部医学影像中脑血管分割的性能，提出了一种基于多尺度注意力机制网络模型的脑血管影像自动分割方法。
本发明的一种基于多尺度注意力网络的脑血管医学图像自动分割的方法，包括以下四个步骤：脑血管医学影像预处理、多尺度注意力UNet(Multi-Scale AttentionUNet,MSAUNet)网络模型设计、网络模型训练、分割与三维重建。
1)对脑血管医学影像进行预处理。首先通过n4偏置场校正并归一化图像强度至[0,255]，然后重采样图像使层厚统一，再通过周围填0操作使影像体素大小H×W×D满足H、W、D均为32的整数倍，最后根据影像强度特征进行截窗位。
2)设计一个多尺度注意力UNet网络模型。本发明为了提高脑血管分割的性能，提出了一种MSAUNet模型，与UNet的拓扑结构相似，本模型具有一个编码器和一个解码器，并利用跳级连接将编码器阶段的特征与解码器对应的特征进行结合，其中MSAB为多尺度注意力模块，MSFB为多尺度特征融合模块。在编码阶段，利用MSAB提取多尺度特征，并利用四次池化操作，增大特征的感受野，提取高层次的语义表征能力较强的特征。在解码阶段，利用上采样操作恢复高层次特征的尺寸的同时，结合编码阶段低层次的特征，利用MSFB提取高分辨率的语义表征能力更强的特征。最终利用1×1的卷积操作以及Sigmoid归一化实现从特征到像素类别的映射，获得与输入图像尺寸一致的分割掩膜。
多尺度与注意力的实现方式如下：
(2.1)提取图像的多尺度信息特征。本文采用串行提取的方式，能够减少内存的消耗，利用两个3×3的卷积可以提取感受野为3×3以及5×5的特征，相似的，利用三个3×3的卷积可以代替一个7×7卷积块。最终该模块可以分别结合3×3、5×5以及7×7的区域的上下文信息获取多个感受野的特征表示。
(2.2)通过注意力机制为多尺度信息增加不同权重。简单的线性聚合不同尺度的特征的方式，对于不同的目标，各个感受野的特征都被同等对待。然而对于复杂且多变的脑血管分割目标，不同的输入图像对不同感受野的特征的敏感程度不同，一定程度上限制了模型的泛化能力。在MSAB中，我们将通过卷积提取到两个低尺度的特征以及两个高尺度的特征分别在通道上进行concat获得两个初步融合的不同尺度的特征信息，再分别通过一个串联的通道注意力模块(CAM)以及一个空间注意力模块(SAM)，最后将两个高低尺度下的特征进行像素级别的相加得到最终的输出。我们通过串联的方式使用两个独立的注意力模块，降低了网络的参数量，并对于脑血管图像特征分别进行通道与空间上的Attention加权，通道注意力模块的计算如公式(1)所示，空间注意力的计算如公式(2)所示。
MC(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)＝σ(f5×5([AvgPool(F)；MaxPool(F)])) (2)
其中，F表示输入的特征，AvgPool为平均值池化，MaxPool为最大值池化，两处的MLP为一个权重共享的多层感知机，σ表示sigmoid，[f1；f2]代表将f1与f2特征进行concat操作。
3)对步骤2提出的MSAUNet网络模型进行训练。损失函数采用一般的Dice损失函数：
Figure BDA0003573172070000031
4)最后将待分割的测试数据输入训练好的网络模型得到分割结果并进行三维重建。
本发明考虑脑血管在脑部影像中高度复杂、位置形态不一等特点，针对性地提出基于多尺度特征提取以及注意力机制的MSAUNet网络模型进行脑血管影像的分割与三维重建。
本发明的优点是：解决了脑部血管高度复杂、位置形态不一等带来的分割难题，提高MRI脑血管影像的分割精度。
附图说明
图1是本发明方法的整体流程。
图2是本发明的模型整体框架的示意图。
图3是本发明的多尺度注意力模块MSAB结构图。
具体实施方式
下面结合附图对本发明作进一步描述。
图1为本发明的一种基于多尺度注意力网络的脑血管图像分割方法的整体流程。本发明所提出的一种基于多尺度注意力网络的脑血管医学影像的分割方法，主要包括如下步骤：预处理、设计网络模型、MSAUNet训练和测试分割与三维重建。模型的整体结构如图2所示。本发明的一种基于多尺度注意力网络的脑血管影像分割方法，具体步骤如下：
1)对原始图像进行预处理；
该步骤首先采用n4偏置场校准处理，得到的图像像素强度归一化为[0,255]。针对图像层厚不同以及现有标签数据存在间断不连续的问题，本发明将大小为448x448x128体素、层厚为0.51mm x 0.51mm x 0.80mm的MRI原图像与标签图像进行了重采样工作，使层厚统一为1mm x 1mm x 1mm，经过重采样，我们获得的图像及其标签大小为460x460x205体素。将重采样得到的图像进行周围填0的padding操作得到大小为480x480x224体素的数据。最后对数据进行窗口为[25,75]的截窗位操作得到最终的输入影像。
2)设计了一个多尺度注意力U形网络模型，网络设计方案如下：(1)根据脑血管在整幅图像中的形态特征，我们在编码部分应用多尺度的思想，提取了不同尺度下的血管特征以有效应对血管复杂的问题。(2)我们应用了注意力机制，通过串联通道注意力与空间注意力使网络能够更加关注占据整图中很小的脑血管部分。最终构建多尺度注意力模块MSAB，其结构图如图3所示。
3)将经过预处理的输入图片送入MSAUNet进行训练。
在训练阶段，将学习率设置为0.0001，并选择Adam优化器。总共训练80个epoch，每20个epoch，学习率减少10倍,期间使用8个样本的batch size进行梯度更新，损失函数采用一般的Dice损失函数。
4)最后将待分割的测试数据输入训练好的模型得到分割结果并堆叠切片数据进行三维重建。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于多尺度注意力网络的脑血管医学图像自动分割的方法，包括以下步骤：
1)对脑血管医学影像进行预处理；首先通过n4偏置场校正并归一化图像强度至[0,255]，然后重采样图像使层厚统一，再通过周围填0操作使影像体素大小H×W×D满足H、W、D均为32的整数倍，最后根据影像强度特征进行截窗位；
2)设计一个多尺度注意力UNet网络模型；为了提高脑血管分割的性能，提出了一种MSAUNet模型，与UNet的拓扑结构相似，MSAUNet模型具有一个编码器和一个解码器，并利用跳级连接将编码器阶段的特征与解码器对应的特征进行结合，其中MSAB为多尺度注意力模块，MSFB为多尺度特征融合模块；在编码阶段，利用MSAB提取多尺度特征，并利用四次池化操作，增大特征的感受野，提取高层次的语义表征能力较强的特征；在解码阶段，利用上采样操作恢复高层次特征的尺寸的同时，结合编码阶段低层次的特征，利用MSFB提取高分辨率的语义表征能力更强的特征；最终利用1×1的卷积操作以及Sigmoid归一化实现从特征到像素类别的映射，获得与输入图像尺寸一致的分割掩膜；多尺度与注意力的实现方式如下：
(2.1)提取图像的多尺度信息特征；采用串行提取的方式，能够减少内存的消耗，利用两个3×3的卷积可以提取感受野为3×3以及5×5的特征，相似的，利用三个3×3的卷积可以代替一个7×7卷积块；最终该模块可以分别结合3×3、5×5以及7×7的区域的上下文信息获取多个感受野的特征表示；
(2.2)通过注意力机制为多尺度信息增加不同权重；简单的线性聚合不同尺度的特征的方式，对于不同的目标，各个感受野的特征都被同等对待；然而对于复杂且多变的脑血管分割目标，不同的输入图像对不同感受野的特征的敏感程度不同，限制了模型的泛化能力；在MSAB中，将通过卷积提取到两个低尺度的特征以及两个高尺度的特征分别在通道上进行concat获得两个初步融合的不同尺度的特征信息，再分别通过一个串联的通道注意力模块(CAM)以及一个空间注意力模块(SAM)，最后将两个高低尺度下的特征进行像素级别的相加得到最终的输出；通过串联的方式使用两个独立的注意力模块，降低了网络的参数量，并对于脑血管图像特征分别进行通道与空间上的Attention加权，通道注意力模块的计算如公式(1)所示，空间注意力的计算如公式(2)所示；
MC(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)＝σ(f5×5([AvgPool(F)；MaxPool(F)])) (2)
其中，F表示输入的特征，AvgPool为平均值池化，MaxPool为最大值池化，两处的MLP为一个权重共享的多层感知机，σ表示sigmoid,[f1；f2]代表将f1与f2特征进行concat操作；
3)对步骤2)提出的MSAUNet网络模型进行训练；损失函数采用一般的Dice损失函数：
Figure FDA0003573172060000021
4)最后将待分割的测试数据输入训练好的网络模型得到分割结果并进行三维重建。
2.如权利要求1所述的一种基于多尺度注意力网络的脑血管医学图像自动分割的方法，其特征在于：步骤1)针对图像层厚不同以及现有标签数据存在间断不连续的问题，将大小为448x448x128体素、层厚为0.51mm x 0.51mm x 0.80mm的MRI原图像与标签图像进行了重采样工作，使层厚统一为1mm x 1mm x 1mm，经过重采样，获得的图像及其标签大小为460x460x205体素；将重采样得到的图像进行周围填0的padding操作得到大小为480x480x224体素的数据；最后对数据进行窗口为[25,75]的截窗位操作得到最终的输入影像。
3.如权利要求1所述的一种基于多尺度注意力网络的脑血管医学图像自动分割的方法，其特征在于：步骤3)中，将学习率设置为0.0001，并选择Adam优化器；总共训练80个epoch，每20个epoch，学习率减少10倍,期间使用8个样本的batch size进行梯度更新，损失函数采用Dice损失函数。
CN202210331209.0A 2022-03-30 2022-03-30 一种基于多尺度注意力网络的脑血管图像分割方法 Pending CN114723698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210331209.0A CN114723698A (zh) 2022-03-30 2022-03-30 一种基于多尺度注意力网络的脑血管图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210331209.0A CN114723698A (zh) 2022-03-30 2022-03-30 一种基于多尺度注意力网络的脑血管图像分割方法

Publications (1)

Publication Number Publication Date
CN114723698A true CN114723698A (zh) 2022-07-08

Family

ID=82240583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210331209.0A Pending CN114723698A (zh) 2022-03-30 2022-03-30 一种基于多尺度注意力网络的脑血管图像分割方法

Country Status (1)

Country Link
CN (1) CN114723698A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116385467A (zh) * 2023-05-29 2023-07-04 中国科学院自动化研究所 基于自监督学习的脑血管分割方法及相关设备
CN117649371A (zh) * 2024-01-30 2024-03-05 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116258672B (zh) * 2022-12-26 2023-11-17 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116385467A (zh) * 2023-05-29 2023-07-04 中国科学院自动化研究所 基于自监督学习的脑血管分割方法及相关设备
CN116385467B (zh) * 2023-05-29 2023-09-12 中国科学院自动化研究所 基于自监督学习的脑血管分割方法及相关设备
CN117649371A (zh) * 2024-01-30 2024-03-05 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置
CN117649371B (zh) * 2024-01-30 2024-04-09 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN114723698A (zh) 一种基于多尺度注意力网络的脑血管图像分割方法
Huang et al. Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images
CN111354002A (zh) 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法
CN112529839B (zh) 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN111951344B (zh) 一种基于级联并行卷积网络的磁共振图像重建方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN113298710B (zh) 基于外部注意力机制的光学相干层析超分辨率成像方法
CN114119637B (zh) 基于多尺度融合和拆分注意力的脑白质高信号分割方法
CN113506222A (zh) 一种基于卷积神经网络的多模态图像超分辨方法
CN112862805A (zh) 听神经瘤图像自动化分割方法及系统
CN114581453A (zh) 基于多轴面特征融合二维卷积神经网络的医学图像分割方法
Zou et al. Multi-scale deformable transformer for multi-contrast knee MRI super-resolution
CN114529562A (zh) 一种基于辅助学习任务与重分割约束的医学图像分割方法
Li et al. Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols
CN116823613A (zh) 基于梯度增强注意力的多模态mr影像超分辨率方法
CN115205298B (zh) 肝部区域血管分割的方法及设备
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
CN114119558A (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN112258508B (zh) 四维流动数据的图像处理分析分割方法、系统及存储介质
Stephens et al. MRI to CTA translation for pulmonary artery evaluation using CycleGANs trained with unpaired data
Che et al. Segmentation of bone metastases based on attention mechanism
Wan et al. Automated morphologic analysis of intracranial and extracranial arteries using convolutional neural networks
Liang et al. 3D U-Net with attention and focal loss for coronary tree segmentation
Wang et al. Research on Segmentation Method of Brain Tumor Image Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination