CN116229067A - 基于通道注意力的肝细胞癌ct图像分割方法 - Google Patents

基于通道注意力的肝细胞癌ct图像分割方法 Download PDF

Info

Publication number
CN116229067A
CN116229067A CN202310154712.8A CN202310154712A CN116229067A CN 116229067 A CN116229067 A CN 116229067A CN 202310154712 A CN202310154712 A CN 202310154712A CN 116229067 A CN116229067 A CN 116229067A
Authority
CN
China
Prior art keywords
liver
segmentation
channel
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310154712.8A
Other languages
English (en)
Inventor
王朝立
刘晓虹
郑翔
孙占全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI EIGHTH PEOPLE'S HOSPITAL
University of Shanghai for Science and Technology
Original Assignee
SHANGHAI EIGHTH PEOPLE'S HOSPITAL
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI EIGHTH PEOPLE'S HOSPITAL, University of Shanghai for Science and Technology filed Critical SHANGHAI EIGHTH PEOPLE'S HOSPITAL
Priority to CN202310154712.8A priority Critical patent/CN116229067A/zh
Publication of CN116229067A publication Critical patent/CN116229067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于通道注意力的肝细胞癌CT图像分割方法,构建用于肝脏和肿瘤区域的分割网络,在U‑Net编解码结构的基础上使用残差模块替换普通卷积层,来提升网络的训练速度以及精度;并且在解码器阶段添加注意力机制,充分考虑特征图中不同通道的重要性以及相互依赖性;同时通过深度监督模块将解码器每一个阶段输出的特征图上采样至原图大小并于最后一阶段输出的特征图进行拼接,防止特征丢失;利于两个相同分割网络分别用于分割肝脏感兴趣区域和分割肿瘤细胞。本方法在不显著增加参数量的情况下获得了较好的分割效果;从临床角度出发,实现腹部CT图像中准确分割出肝脏和肿瘤区域,对医生诊断提供了很好的辅助作用,提高诊断效率。

Description

基于通道注意力的肝细胞癌CT图像分割方法
技术领域
本发明涉及一种医学图像处理技术,特别涉及一种基于通道注意力的肝细胞癌CT图像分割方法。
背景技术
肝脏是人体中最大的腺体,它是人类最重要的代谢器官之一。肝癌是目前世界上确诊量最多的癌症之一,肝癌患者预后差且死亡率较高。肝细胞癌(hepatocellularcaracinoma,HCC)是最常见的肝癌形式,占我国肝癌的90%以上。由于肝脏疾病的复杂性,而且有很多种不同的治疗方案,因此结合患者的实际情况制定良好的临床治疗手段极为重要。肝癌的治疗手段有手术切除、射频治疗、介入治疗和放射治疗等。手术切除通过完全切除癌变组织来实现自愈,放射治疗则是对病变区域发射高能射线来破坏癌细胞,而射频治疗需要医生根据患者的计算机断层扫描(computed tomography,CT)图像来确定所需消融次数、入针点、穿刺深度等。不难发现,上述每种治疗方案都需要依赖于精确的肿瘤位置、大小、形状等信息,否则可能会导致癌细胞消除不完全,或是损伤正常组织等问题。因此从腹部CT图像中准确分割出肝脏以及肿瘤细胞对于肝癌患者的治疗有着必不可少的作用。
传统的肝脏和肝脏肿瘤的定位和分割通常是由经验丰富的放射科医生从腹部CT图像中逐层地手工分割出肝脏轮廓和肿瘤区域,但是这项工作可复制性差且劳动量大,而且分割结果受医生的经验和主观判断的影响较大。
近年来,随着计算机视觉在医学图像领域的不断发展,肝脏及肿瘤细胞的自动分割成为了计算机辅助诊断的重难点问题。在深度学习广泛应用前,一些传统的机器学习方法被应用于肝脏及肿瘤的分割。例如基于统计形状模型的算法,基于灰度值的算法和基于水平集的算法等。但是肝脏、肿瘤以及肝脏周围器官灰度差异小,且边缘模糊,这类算法可能无法将肝脏、肿瘤以及其他器官准确地分割出来,分割的准确率较低且所需计算时间长。
发明内容
针对肝脏及肿瘤细胞清晰分割的问题,提出了一种基于通道注意力的肝细胞癌CT图像分割方法,实现对腹部CT图像中的肝脏和肿瘤区域的全自动分割。
本发明的技术方案为:一种用于肝脏和肿瘤区域的分割网络,在U-Net编解码结构的基础上使用残差模块替换U-Net中原有的普通卷积模块;通道注意力模块添加在解码器阶段的跳跃连接处,模仿人类的视觉认知,增加重要通道的权重,并帮助各通道之间建立相互依赖的关系;在解码器阶段添加一个深度监督模块,通过深度监督模块将解码器每一个阶段输出的特征图上采样至原图大小,并对最后一阶段输出的特征图进行拼接,把各层次卷积信息融合到输出,完善特征图中的边缘信息与肿瘤细节信息。
优选的,所述残差模块由一个残差映射部分和一个直接映射部分组成,残差映射部分由两个或者三个卷积组成,输入信息依次通过卷积后输出;直接映射部分将输入信息绕道传到输出,保护了信息的完整性。
优选的,所述通道注意力模块结构:首先全局平均池化对输入特征图按特征通道对特征进行压缩获得全局信息Z;然后通过一个一维卷积将全局信息Z映射到特征s上,再进行通道压缩权重计算;最后特征通道的压缩权重按通道与输入特征图相乘,得到最终的注意力模块的输出。
一种基于通道注意力的肝细胞癌CT图像分割方法,利于两个结构相同的分割网络级联,腹腔CT图像输入第一个分割网络,分割出有病灶的整个肝脏外形,分割出的结果掩膜覆盖到初始输入腹腔CT图像上后送入第二个分割网络,对分割出有病灶的整个肝脏中的肿瘤细胞进行分割,最终获得肝脏和肿瘤细胞分割的肝细胞癌CT病理图像。
进一步,所述两个相同分割网络采用相同的训练方法分开进行训练,训练后分割网络分别用于分割肝脏感兴趣区域和分割肿瘤细胞。
本发明的有益效果在于:本发明基于通道注意力的肝细胞癌CT图像分割方法,本方法在U-Net编解码结构的基础上使用残差模块替换普通卷积层,来提升网络的训练速度以及精度;并且在解码器阶段添加注意力机制,充分考虑特征图中不同通道的重要性以及相互依赖性;同时通过深度监督模块将解码器每一个阶段输出的特征图上采样至原图大小并于最后一阶段输出的特征图进行拼接,防止特征丢失;本方法和现有方法进行对比,在不显著增加参数量的情况下获得了较好的分割效果;从临床角度出发,实现腹部CT图像中准确分割出肝脏和肿瘤区域,对医生诊断提供了很好的辅助作用,提高诊断效率。
附图说明
图1为本发明方法中带有残差、通道注意力机制深度监测U-Net架构示意图;
图2为本发明方法中残差模块RB示意图;
图3为本发明方法中通道注意力模块CA示意图;
图4为本发明肝细胞癌CT图像分割方法流程图;
图5为使用本发明方法肝细胞癌CT病理图像分割效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
U-Net在端到端的学习中取得了良好的成绩,尤其是在医学图像分割领域取得了卓越的成绩,但同时它也存在着一些不可避免的缺点。当网络层数较深时,在训练过程中可能会发生梯度消失或者梯度爆炸的问题,这使得训练无法进行下去,因此本发明提出的如图1所示的带有残差、通道注意力机制深度监测U-Net架构示意图用于分割,首先在U-Net编解码结构的基础上使用残差模块替换U-Net中原有的普通卷积模块,其次,通道注意力模块(图1中的CA模块)添加在解码器阶段的跳跃连接处,模仿人类的视觉认知,增加重要通道的权重,并帮助各通道之间建立相互依赖的关系。此外,还在解码器阶段添加了一个深度监督模块用以补充卷积过程中丢失的特征,见图1中虚线链接部分,这样可以把各层次卷积信息融合到输出,从而完善特征图中的边缘信息与肿瘤细节信息。
在神经网络中,最常见的特征提取工具是1×1和3×3大小的卷积滤波器,图2中是残差模块RB示意图,其中,H×W是特征图的大小,Cin和Cout分别是输入和输出的特征图的通道数,M为卷积核的个数。残差模块的输出表示为:
y=x+F(x,{Wi})
其中x是输入特征图,y为输出特征图,F(x,{Wi})为对输入特征图进行卷积操作,Wi表示第i层卷积中的参数。
残差模块由一个残差映射部分和一个直接映射部分组成,残差映射部分一般由两个或者三个卷积组成,即图中2中右侧为几个包含卷积的部分,输入信息依次通过卷积后输出。左侧为直接映射部分(图2中RB结构就是如此),残差模块中直接映射部分可以将输入信息绕道传到输出,保护了信息的完整性。同时将普通卷积替换为残差模块可以避免训练时出现梯度消失或者梯度爆炸的问题。此外直接映射部分还可以有效减少特征冗余。
通道注意力简单来说就是压缩、映射、解压的过程。压缩可以得到每一个通道的全局信息;映射的主要目的在于学习通道之间的相互关联性,即对通道权重进行学习;解压的过程可以突出重要的通道信息。
图3为方法中通道注意力模块示意图。对于一个给定输入特征图
Figure BDA0004091925580000042
其中W、H和C分别为特征图的宽度、高度和通道数,第一步先顺着空间维度将特征进行压缩,将每一个二维的特征通道压缩成一个实数,这个实数代表了这个通道的全局信息。使用全局平均池化来实现对特征通道的压缩,得到全局信息Z∈{z1,z2,z3,...,zc},Z中第c个元素zc计算公式如下:
Figure BDA0004091925580000041
其中,i和j表示第c个通道相互对应第i行和第j行,xc是输入特征图X上第c个通道第i行和第j行位置的像素值。然后进行通道权重的学习,此时不仅要考虑到单个通道的重要性,也要考虑到相邻通道之间的相关性。因此,通过一个一维卷积将全局信息Z映射到特征s上,如图3所示,其通道压缩权重可以由以下公式计算:wd=σ{C1Dk(Z)},
其中,C1Dk为一维Same卷积,k是卷积核的大小。由上式可以知道,卷积核的大小k决定了通道的交互范围。在不同的特征图中,可以手动调整一个最佳的交互范围。但是通过交叉验证进行手动调整将耗费大量的计算资源。于是,考虑到通道的交互范围的大小应该与特征图总通道数有关,即存在一个线性映射
Figure BDA0004091925580000051
使得特征图通道总数/>
Figure BDA0004091925580000052
而众所周知,通道数C一般是2的次方,因此,令:
Figure BDA0004091925580000053
而当C确定时,则有:
Figure BDA0004091925580000054
modd表示离m最近的奇数,在本方法中,取a=2,b=1。
最后是解压过程,将得到的权重按通道与输入特征图相乘,得到最终的注意力模块的输出。
基于通道注意力的肝细胞癌CT图像分割方法流程图如图4所示,方法实现利用两个结构相同的图1所示分割网络级联,腹腔CT图像输入第一个分割网络,分割出有病灶的整个肝脏外形,分割出的结果掩膜覆盖到初始输入腹腔CT图像上后送入第二个分割网络,对分割出有病灶的整个肝脏中的肿瘤细胞进行分割,最终获得肝脏和肿瘤细胞分割的肝细胞癌CT病理图像。两个相同分割网络分别用于分割肝脏感兴趣区域模型和分割肿瘤细胞模型,需分开进行训练,但采用相同的训练策略。
使用Pytorch进行网络的搭建。实验硬件环境配置如下,GPU方面准备了四块NVIDIA RTX2080,16G内存;软件环境为Ubuntu16.04,Cuda9.2,Tensorflow1.14.0,Keras2.2.4,Opencv4.5.0;损失函数为交叉熵损失函数,训练的batch size设置为8,训练代数设置为150个epoch。使用Adam优化器对网络进行优化,初始学习率设置为0.0001。对于模型的训练过程,采用早停法进行控制,若损失函数的值在10个epoch内没有下降则停止训练。
实验结果如下表所示。其中Liver DICE和Tumor DICE分别表示肝脏和肿瘤分割的重叠系数。比较各种网络结构进行分割测试,根据下表可得,本发明的方法在肝脏和肿瘤的分割上均获得了更高的分割精度。
Figure BDA0004091925580000061
应用本发明所得的肝细胞癌CT病理图像分割效果对比图如图5所示,图5中可以看出本发明所得预测分割结果在位置和整体形状上都非常接近专业医师标注的标签图像,标注的病灶区域较为精确,轮廓十分精细。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种用于肝脏和肿瘤区域的分割网络,其特征在于,在U-Net编解码结构的基础上使用残差模块替换U-Net中原有的普通卷积模块;通道注意力模块添加在解码器阶段的跳跃连接处,模仿人类的视觉认知,增加重要通道的权重,并帮助各通道之间建立相互依赖的关系;在解码器阶段添加一个深度监督模块,通过深度监督模块将解码器每一个阶段输出的特征图上采样至原图大小,并对最后一阶段输出的特征图进行拼接,把各层次卷积信息融合到输出,完善特征图中的边缘信息与肿瘤细节信息。
2.根据权利要求1所述用于肝脏和肿瘤区域的分割网络,其特征在于,所述残差模块由一个残差映射部分和一个直接映射部分组成,残差映射部分由两个或者三个卷积组成,输入信息依次通过卷积后输出;直接映射部分将输入信息绕道传到输出,保护了信息的完整性。
3.根据权利要求1所述用于肝脏和肿瘤区域的分割网络,其特征在于,所述通道注意力模块结构:首先全局平均池化对输入特征图按特征通道对特征进行压缩获得全局信息Z;然后通过一个一维卷积将全局信息Z映射到特征s上,再进行通道压缩权重计算;最后特征通道的压缩权重按通道与输入特征图相乘,得到最终的注意力模块的输出。
4.一种基于通道注意力的肝细胞癌CT图像分割方法,其特征在于,利于两个结构相同的分割网络级联,腹腔CT图像输入第一个分割网络,分割出有病灶的整个肝脏外形,分割出的结果掩膜覆盖到初始输入腹腔CT图像上后送入第二个分割网络,对分割出有病灶的整个肝脏中的肿瘤细胞进行分割,最终获得肝脏和肿瘤细胞分割的肝细胞癌CT病理图像。
5.根据权利要求4所述基于通道注意力的肝细胞癌CT图像分割方法,其特征在于,所述两个相同分割网络采用相同的训练方法分开进行训练,训练后分割网络分别用于分割肝脏感兴趣区域和分割肿瘤细胞。
CN202310154712.8A 2023-02-22 2023-02-22 基于通道注意力的肝细胞癌ct图像分割方法 Pending CN116229067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154712.8A CN116229067A (zh) 2023-02-22 2023-02-22 基于通道注意力的肝细胞癌ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154712.8A CN116229067A (zh) 2023-02-22 2023-02-22 基于通道注意力的肝细胞癌ct图像分割方法

Publications (1)

Publication Number Publication Date
CN116229067A true CN116229067A (zh) 2023-06-06

Family

ID=86570971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154712.8A Pending CN116229067A (zh) 2023-02-22 2023-02-22 基于通道注意力的肝细胞癌ct图像分割方法

Country Status (1)

Country Link
CN (1) CN116229067A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936091A (zh) * 2023-06-09 2023-10-24 上海全景医学影像诊断中心有限公司 一种肝细胞癌微血管侵犯预测方法及模型

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936091A (zh) * 2023-06-09 2023-10-24 上海全景医学影像诊断中心有限公司 一种肝细胞癌微血管侵犯预测方法及模型

Similar Documents

Publication Publication Date Title
CN109035197B (zh) 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110544264B (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
CN101184527B (zh) 并入功能性成像信息的放射治疗方案设备
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN108376558A (zh) 一种多模态核磁共振影像病历报告自动生成方法
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN112546463B (zh) 基于深度神经网络的放疗剂量自动预测方法
CN112927255A (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN112767407B (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN111104961A (zh) 基于改进的MobileNet网络对乳腺癌进行分类的方法
CN109636806A (zh) 一种基于多步学习的三维核磁共振胰腺图像分割方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN105139377A (zh) 一种腹部ct序列图像肝脏的快速鲁棒自动分割方法
CN116229067A (zh) 基于通道注意力的肝细胞癌ct图像分割方法
Weimin et al. Enhancing Liver Segmentation: A Deep Learning Approach with EAS Feature Extraction and Multi-Scale Fusion
CN114266729A (zh) 一种基于机器学习的胸部肿瘤放疗后放射性肺炎预测方法和系统
CN114022491B (zh) 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法
CN113889261B (zh) 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN113160208A (zh) 一种基于级联混合网络的肝脏病变图像分割方法
Gong et al. Hybrid attention mechanism for liver tumor segmentation in CT images
CN111653355A (zh) 肠癌腹膜转移人工智能预测模型及该模型的构建方法
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination