CN112634279A - 一种基于注意力Unet模型的医学图像语义分割方法 - Google Patents

一种基于注意力Unet模型的医学图像语义分割方法 Download PDF

Info

Publication number
CN112634279A
CN112634279A CN202011393297.4A CN202011393297A CN112634279A CN 112634279 A CN112634279 A CN 112634279A CN 202011393297 A CN202011393297 A CN 202011393297A CN 112634279 A CN112634279 A CN 112634279A
Authority
CN
China
Prior art keywords
attention
unet
unet model
segmentation method
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011393297.4A
Other languages
English (en)
Other versions
CN112634279B (zh
Inventor
杨永全
郑众喜
李丽
冯敏
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202011393297.4A priority Critical patent/CN112634279B/zh
Publication of CN112634279A publication Critical patent/CN112634279A/zh
Application granted granted Critical
Publication of CN112634279B publication Critical patent/CN112634279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种基于注意力Unet模型的医学图像语义分割方法，包括以下步骤：S1、对图片进行预处理，包括图像的裁切、偏差校正、增强；S2、将处理后的图片输入Unet模型，Unet模型包括特征提取部分、上采样部分，在上采样部分的可分离卷积操作中均进行全局范围注意力筛选；S3、使用准备好的数据对Unet模型进行训练；S4、评估Unet模型的分割效果。本发明利用PA机制对底层细粒度特征进行局部范围注意力筛选，利用DA机制对高层语义特征进行全局范围的注意力筛选，减少假阳问题和漏检问题。

Description

一种基于注意力Unet模型的医学图像语义分割方法
技术领域
本发明涉及机器学习领域，尤其涉及一种基于注意力Unet模型的医学图像语义分割方法。
背景技术
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。由于医学图像自身的复杂性，在分割过程中需要解决不均匀及个体差异等一系列问题，所以一般的图像分割方法难以直接应用于医学图像分割。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。
传统图像分割方法如基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法都能够应用于解决医学图像分割问题。然而，由于成像设备、成像原理以及个体自身差异的影响，医学图像一般会含有很多噪声，以及医学图像错综复杂的内容形态，这些传统的方法在实现精准分割方面仍然非常困难。尽管诸如Unet等基于深度学习技术的医学图像分割模型已经取得了显著进步，然而由于医学图像的标注难度较大，训练数据集较小，使得基于深度学习的模型目前仍然存在假阳与漏检等问题。
发明内容
本发明旨在提供一种基于注意力Unet模型的医学图像语义分割方法，利用PA机制对底层细粒度特征进行局部范围注意力筛选，利用DA机制对高层语义特征进行全局范围的注意力筛选，减少假阳问题和漏检问题。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开一种基于注意力Unet模型的医学图像语义分割方法，包括以下步骤：
S1、对图片进行预处理，包括图像的裁切、偏差校正、增强；
S2、将处理后的图片输入Unet模型，Unet模型包括特征提取部分、上采样部分，在上采样部分的可分离卷积操作中均进行全局范围注意力筛选；
S3、使用准备好的数据对Unet模型进行训练；
S4、评估Unet模型的分割效果。
优选的，步骤S2中，对于特征提取部分和上采样部分之间的复制裁剪操作进行局部范围注意力筛选。
优选的，局部注意力筛选的方法包括以下步骤，
A1、设输入
Figure 62431DEST_PATH_IMAGE001
，首先利用
Figure 882619DEST_PATH_IMAGE002
将输入X转换成
Figure 969524DEST_PATH_IMAGE003
，
A2、对
Figure 600488DEST_PATH_IMAGE004
经过变换得到注意力图
Figure 976106DEST_PATH_IMAGE005
，表达式如下
Figure 583673DEST_PATH_IMAGE006
其中
Figure 959639DEST_PATH_IMAGE007
表示sigmoid激活函数，
Figure 276351DEST_PATH_IMAGE008
表示以核为
Figure 122953DEST_PATH_IMAGE009
的卷积操作，
A3、利用
Figure 284945DEST_PATH_IMAGE010
得到最终输出
Figure 300436DEST_PATH_IMAGE011
，表达式如下
Figure 522470DEST_PATH_IMAGE012
。
优选的，步骤A2中，对
Figure 121948DEST_PATH_IMAGE004
经过的变换包括最大池化、平均池化、卷积、激活。
优选的，步骤S2中，全局范围注意力筛选的方法包括以下步骤，
B1、设输入
Figure 822050DEST_PATH_IMAGE013
，首先利用
Figure 692048DEST_PATH_IMAGE002
将输入
Figure 616142DEST_PATH_IMAGE014
转换成
Figure 188069DEST_PATH_IMAGE015
，
B2、利用
Figure 737868DEST_PATH_IMAGE016
对
Figure 711640DEST_PATH_IMAGE017
进行压缩得到
Figure 806635DEST_PATH_IMAGE018
，表达式如下
Figure 616590DEST_PATH_IMAGE019
，
B3、利用
Figure 455233DEST_PATH_IMAGE020
对
Figure 80250DEST_PATH_IMAGE021
进行激发得到
Figure 798676DEST_PATH_IMAGE022
，表达式如下
Figure 141933DEST_PATH_IMAGE023
其中
Figure 3840DEST_PATH_IMAGE024
为ReLU函数，
Figure 686626DEST_PATH_IMAGE025
，
Figure 389002DEST_PATH_IMAGE026
，
B4、利用
Figure 203244DEST_PATH_IMAGE027
得到最终DA机制的输出
Figure 586951DEST_PATH_IMAGE028
，表达式如下
Figure 186560DEST_PATH_IMAGE029
优选的，步骤S3中，损失函数选择为cross-entropyloss。
优选的，步骤S4中，设
Figure 748254DEST_PATH_IMAGE030
为预测正确的像素数量，
Figure 66103DEST_PATH_IMAGE031
为预测错误的像素数量，
Figure 237190DEST_PATH_IMAGE032
为预测漏掉的像素数量，将精准率
Figure 956884DEST_PATH_IMAGE033
、召回率
Figure 938747DEST_PATH_IMAGE034
、整体性能
Figure 494624DEST_PATH_IMAGE035
、预测结果与标准结果之间的重合度
Figure 220134DEST_PATH_IMAGE036
作为评估参数，其中
Figure 794335DEST_PATH_IMAGE037
Figure 461946DEST_PATH_IMAGE038
Figure 426491DEST_PATH_IMAGE039
优选的，步骤S2中，Unet模型的特征提取部分共有四次最大池化操作，上采样部分共有四次反卷积操作。本发明的有益效果：
本发明技术的核心是将局部注意力机制和全局范围注意力机制引入到Unet模型中合适的位置，进而更有效的提高模型的分割精度，达到更好地处理医学图像分割问题所面临的假阳和漏检问题的目的。由于Unet模型具有巨大的参数空间，本发明技术的难点在于将两种注意力机制放Unet结构中何种位置才能够更有效的提高模型的分割精度。以一个16层Unet为例，PA和DA机制在该Unet网络结构中可能位置组合有65536（2的16次方）种，假设每一种组合需要1天的时间得到其有效性的验证，则整个验证耗时需要近180年的时间。在本技术发明种，通过对已有关于Unet分割模型的实验结果进行分析，我们认为利用PA机制对底层细粒度特征进行局部范围注意力筛选，能够过滤掉可能造成假阳问题的底层特征点，进而减少传统Unet网络结构可能带来的假阳问题。同时，我们也认为利用DA机制对高层语义特征进行全局范围的注意力筛选，能够抑制可能造成漏检问题的高层特征图，进而减少传统Unet网络结构可能带来的漏检问题。
附图说明
图1为局部注意力机制的示意图；
图2为全局范围注意力机制的示意图；
图3为PDA-Unet语义分割网络结构的示意图；
图4为本发明的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
本发明中，PA代表Point-wiseAttention，即局部注意力机制。
DA代表Depth-wise Attention，即全局范围注意力机制。
本发明中
Figure 768742DEST_PATH_IMAGE002
是一种卷积操纵，其学习的滤波集合可表示为
Figure 135132DEST_PATH_IMAGE040
，输出表示
Figure 973644DEST_PATH_IMAGE041
，对于每个输出通道
Figure 753381DEST_PATH_IMAGE042
有
Figure 820694DEST_PATH_IMAGE043
。
Figure 842922DEST_PATH_IMAGE044
：表示一个集合，集合中的每一个元素为三维实数。
Figure 603067DEST_PATH_IMAGE045
：表示
Figure 604521DEST_PATH_IMAGE044
集合中元素的维度，分别为高（Height），宽（Width），以及通道(Channel)数。
Figure 724793DEST_PATH_IMAGE046
为
Figure 862513DEST_PATH_IMAGE047
避免因子母重复导致歧义的表示
Figure 544293DEST_PATH_IMAGE004
：代表
Figure 33043DEST_PATH_IMAGE044
集合的元素。
Figure 707738DEST_PATH_IMAGE048
：表示对
Figure 152494DEST_PATH_IMAGE004
进行平均池化（average pooling）操作。
Figure 316759DEST_PATH_IMAGE049
：表示对
Figure 715642DEST_PATH_IMAGE004
进行最大池化（maxpooling）操作。
Figure 990766DEST_PATH_IMAGE050
：为
Figure 306340DEST_PATH_IMAGE048
的输出。
Figure 625195DEST_PATH_IMAGE051
：为
Figure 26221DEST_PATH_IMAGE049
的输出。
Figure 839456DEST_PATH_IMAGE010
：表示进行点范围（pointwise）的卷积操作。
Figure 760270DEST_PATH_IMAGE016
：表示对输入特征图进行压缩操作，将其降为1
Figure 758DEST_PATH_IMAGE052
的维度。
Figure 138347DEST_PATH_IMAGE021
：表示
Figure 755273DEST_PATH_IMAGE016
的输出。
Figure 45440DEST_PATH_IMAGE020
：表示对
Figure 410825DEST_PATH_IMAGE021
进行加权计算，权重为
Figure 583180DEST_PATH_IMAGE053
。
Figure 925169DEST_PATH_IMAGE054
：为
Figure 335422DEST_PATH_IMAGE020
的输出。
σ：为
Figure 917713DEST_PATH_IMAGE055
函数。
Figure 265780DEST_PATH_IMAGE056
：
Figure 224508DEST_PATH_IMAGE057
。
Figure 738535DEST_PATH_IMAGE024
：为ReLU函数。
Figure 694990DEST_PATH_IMAGE027
：进行深度/通道（dept wise）的卷积操作。
本发明包括局部注意力机制、全局范围注意力机制、PDA-Unet结构。
如图1所示，局部注意力机制包括以下步骤，
A1、设输入
Figure 841937DEST_PATH_IMAGE001
，首先利用
Figure 292773DEST_PATH_IMAGE002
将输入X转换成
Figure 146459DEST_PATH_IMAGE003
，
A2、对
Figure 585400DEST_PATH_IMAGE004
经过变换（如最大池化、平均池化、卷积、激活等）得到注意力图
Figure 422906DEST_PATH_IMAGE005
，表达式如下
Figure 411852DEST_PATH_IMAGE006
其中
Figure 182362DEST_PATH_IMAGE007
表示sigmoid激活函数，
Figure 480620DEST_PATH_IMAGE008
表示以核为
Figure 851427DEST_PATH_IMAGE009
的卷积操作，
A3、利用
Figure 627753DEST_PATH_IMAGE010
得到最终输出
Figure 518349DEST_PATH_IMAGE011
，表达式如下
Figure 749958DEST_PATH_IMAGE012
。
如图2所示，全局范围注意力机制包括以下步骤，
B1、设输入
Figure 93215DEST_PATH_IMAGE013
，首先利用
Figure 188079DEST_PATH_IMAGE002
将输入
Figure 136443DEST_PATH_IMAGE014
转换成
Figure 838820DEST_PATH_IMAGE015
，
B2、利用
Figure 357788DEST_PATH_IMAGE016
对
Figure 538234DEST_PATH_IMAGE017
进行压缩得到
Figure 590373DEST_PATH_IMAGE018
，表达式如下
Figure 463651DEST_PATH_IMAGE019
，
B3、利用
Figure 719183DEST_PATH_IMAGE020
对
Figure 657314DEST_PATH_IMAGE021
进行激发得到
Figure 377008DEST_PATH_IMAGE022
，表达式如下
Figure 873717DEST_PATH_IMAGE023
其中
Figure 616545DEST_PATH_IMAGE024
为ReLU函数，
Figure 404373DEST_PATH_IMAGE025
，
Figure 666989DEST_PATH_IMAGE026
，
B4、利用
Figure 85332DEST_PATH_IMAGE027
得到最终DA机制的输出
Figure 361462DEST_PATH_IMAGE028
，表达式如下
Figure 890663DEST_PATH_IMAGE058
。
如图3所示，分别将PA机制和DA机制引入Unet，进而建立PDA-Unet。在PDA-Unet结构中，为了减少传统Unet网络结构可能带来的假阳问题，我们利用PA机制对底层细粒度特征进行局部范围注意力筛选，过滤掉可能照成假阳问题的特征点。同时，为了减少传统Unet网络结构可能带来的漏检问题，我们利用DA机制对高层语义特征进行全局范围的注意力筛选，抑制可能造成漏检问题的特征图。数据在PDA-Unet网络中的流向描述如下：
（1）输入尺度为572X572单通道的一副图像，经过两次的可分离卷积（卷积核尺度为3X3）得到64通道尺度为568X568的特征图。
（2）对（1）中得到的特征图进行最大池化操作（步长为2X2），进而降为64通道尺度为284X284的特征图；再经过两次的可分离卷积（卷积核尺度为3X3）得到128通道尺度为280X280的特征图。
（3）对（2）中得到的特征图进行最大池化操作（步长为2X2），进而降为128通道尺度为140X140的特征图；再经过两次的可分离卷积（卷积核尺度为3X3）得到256通道尺度为136X136的特征图。
（4）对（3）中得到的特征图进行最大池化操作（步长为2X2），进而降为256通道尺度为68X68的特征图；再经过两次的可分离卷积（卷积核尺度为3X3）得到512通道尺度为64X64的特征图。
（5）对（4）中得到的特征图进行最大池化操作（步长为2X2），进而降为512通道尺度为32X32的特征图；再经过两次的可分离卷积（卷积核尺度为3X3）得到1024通道尺度为28X28的特征图。
（6）对（5）中得到的特征图进行反卷积操作（步长为2X2），进而升为512通道尺度为56X56的特征图；同时对（4）中得到的特征图进行复制与裁剪得到512通道尺度为56X56的特征图；最后将两部分（白色和蓝色）拼接成1024通道尺度为56X56的特征图。
（7）对（6）中得到的特征图进行反卷积操作（步长为2X2），进而升为512通道尺度为56X56的特征图；同时对（3）中得到的特征图进行复制与裁剪得到512通道尺度为56X56的特征图，并经过PA处理；将两部分（白色和蓝色）拼接成1024通道尺度为56X56的特征图，并经过两次可分离卷积（核尺度为3X3）和对应两次DA处理，得到512通道尺度为52X52的特征图。
（8）对（7）中得到的特征图进行反卷积操作（步长为2X2），进而升为256通道尺度为104X104的特征图；同时对（2）中得到的特征图进行复制与裁剪得到256通道尺度为104X104的特征图，并经过PA处理；将两部分（白色和蓝色）拼接成512通道尺度为104X104的特征图，并经过两次可分离卷积（核尺度为3X3）和对应两次DA处理，得到256通道尺度为100X100的特征图。
（9）对（8）中得到的特征图进行反卷积操作（步长为2X2），进而升为64通道尺度为392X392的特征图；同时对（1）中得到的特征图进行复制与裁剪得到64通道尺度为392X392的特征图，并经过PA处理；将两部分（白色和蓝色）拼接成128通道尺度为392X392的特征图，并经过两次可分离卷积（核尺度为3X3）和对应两次DA处理得到64通道尺度为388X388的特征图；最后经过一次的1X1的卷积得到最终的分割图。
其中，（1）至（5）是一个对输入图像进行编码的过程，在整个过程中会产生由细节到抽象的不同的特征。（6）至（9）是一个对（1）至（5）产生的特征的一个解码的过程，通过融合细节和抽象的特征进而达到对复杂的组织区域识别的效果。
如图4所示，本发明包括以下步骤：
1、数据收集与标注
本方案中收集了切片宏观图像约10万张，并对每张图像中的组织区域采用多边形进行标注。一些示例图像与对应的标注如图1中的数据收集标注所示。收集的宏观图像中的80%约8万张作为训练数据集，20%约2万张作为测试数据集。
2、PDA-Unet分割模型训练
模型训练优化的损失函数选择为cross-entropyloss。
PDA-Unet分割模型预测
3、对训练完成的PDA-Unet分割模型，在约2万张的测试数据集上进行了预测，一些预测示例结果如图1中的图像语义分割网络预测部分所示。
4、PDA-Unet分割模型评估
设
Figure 319370DEST_PATH_IMAGE030
为预测正确的像素数量，
Figure 659347DEST_PATH_IMAGE031
为预测错误的像素数量，
Figure 376767DEST_PATH_IMAGE032
为预测漏掉的像素数量，可定义如下一些度量标准，精准率（
Figure 755665DEST_PATH_IMAGE033
），召回率（
Figure 976562DEST_PATH_IMAGE034
），整体性能
Figure 799024DEST_PATH_IMAGE035
，以及预测结果与标准结果之间的重合度
Figure 488894DEST_PATH_IMAGE036
。
基于上述度量标准，我们构建地PDA-UNet与Unet，基于注意力门机制的A-Unet[1]，以及将PA和DA机制应用于Unet结构中不同特征层的方法，在测试集上地性能对比如表1，表2和表3所示。
在表1、表2、表3中，Epoch表示在训练集上对模型进行全数据集训练的轮次数，表内数据为相应的精准率（
Figure 156636DEST_PATH_IMAGE033
）、召回率（
Figure 746886DEST_PATH_IMAGE034
）、整体性能
Figure 740250DEST_PATH_IMAGE035
的得分，得分的计算公式为：
Figure 901104DEST_PATH_IMAGE037
Figure 592110DEST_PATH_IMAGE038
Figure 849916DEST_PATH_IMAGE039
，表中PAu-Unet表示将PA应用于Unet的高层特征的方法，DAd-Unet表示将DA应用于Unet的低层特征的方法，A-Unet为现有基于注意力门机制的Unet模型。
表1.
Epoch 50 100 150 200 250 300
Unet 85.01 91.52 92.32 92.43 92.38 92.41
PAu-Unet 83.32 89.82 92.01 92.15 92.15 92.15
DAd-Unet 84.29 90.03 92.16 92.21 92.32 92.22
PDA-Unet 85.32 92.56 93.56 93.48 93.53 93.42
A-Unet 85.12 91.54 92.45 92.54 92.58 92.64
表2.
Epoch 50 100 150 200 250 300
Unet 84.02 90.30 91.42 91.31 91.32 91.63
PAu-Unet 84.05 89.20 90.15 90.15 91.03 90.97
DAd-Unet 83.98 90.01 91.03 90.35 90.89 91.43
PDA-Unet 85.13 91.62 92.61 92.93 92.94 92.71
A-Unet 84.12 90.45 91.56 91.63 91.69 91.74
表3.
Epoch 50 100 150 200 250 300
Unet 84.50 90.89 91.85 92.15 91.92 92.05
PAu-Unet 83.68 89.51 91.07 91.58 91.59 91.56
DAd-Unet 84.13 90.02 91.59 91.27 91.64 91.81
PDA-Unet 85.52 91.99 93.05 93.20 93.25 93.15
A-Unet 84.62 90.99 92.00 92.08 92.13 92.19
由上述量化评估可见，PDA-Unet通过将PA和DA放置在Unet结构中合适的位置能够实现比传统Unet以及现有基于注意力门机制的A-Unet获得更好的组织区域分割。
5、后处理输出组织区域识别
基于语义分割网络的预测结果，利用形态学图像处理技术，如膨胀，连通区域查找可实现对病理切片图像中的组织区域的精准识别。一些识别示例结果如图4中的后处理输出组织区域识别部分所示。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于注意力Unet模型的医学图像语义分割方法，其特征在于包括以下步骤：
S1、对图片进行预处理，包括图像的裁切、偏差校正、增强；
S2、将处理后的图片输入Unet模型，Unet模型包括特征提取部分、上采样部分，在上采样部分的可分离卷积操作中均进行全局范围注意力筛选；
S3、使用准备好的数据对Unet模型进行训练；
S4、评估Unet模型的分割效果。
2.根据权利要求1所述的分割方法，其特征在于：步骤S2中，对于特征提取部分和上采样部分之间的复制裁剪操作进行局部范围注意力筛选。
3.根据权利要求2所述的分割方法，其特征在于：局部注意力筛选的方法包括以下步骤，
A1、设输入
Figure DEST_PATH_IMAGE001
，首先利用
Figure 230611DEST_PATH_IMAGE002
将输入X转换成
Figure DEST_PATH_IMAGE003
，
A2、对
Figure 563504DEST_PATH_IMAGE004
经过变换得到注意力图
Figure DEST_PATH_IMAGE005
，表达式如下
Figure DEST_PATH_IMAGE007
其中
Figure 95985DEST_PATH_IMAGE008
表示sigmoid激活函数，
Figure DEST_PATH_IMAGE009
表示以核为
Figure 856130DEST_PATH_IMAGE010
的卷积操作，
A3、利用
Figure DEST_PATH_IMAGE011
得到最终输出
Figure 47465DEST_PATH_IMAGE012
，表达式如下
Figure DEST_PATH_IMAGE013
。
4.根据权利要求3所述的分割方法，其特征在于：步骤A2中，对
Figure 184048DEST_PATH_IMAGE004
经过的变换包括最大池化、平均池化、卷积、激活。
5.根据权利要求1~4中任一所述的分割方法，其特征在于：步骤S2中，全局范围注意力筛选的方法包括以下步骤，
B1、设输入
Figure 384085DEST_PATH_IMAGE014
，首先利用
Figure 767662DEST_PATH_IMAGE002
将输入
Figure DEST_PATH_IMAGE015
转换成
Figure 459675DEST_PATH_IMAGE016
，
B2、利用
Figure DEST_PATH_IMAGE017
对
Figure 993424DEST_PATH_IMAGE018
进行压缩得到
Figure DEST_PATH_IMAGE019
，表达式如下
Figure 438181DEST_PATH_IMAGE020
，
B3、利用
Figure DEST_PATH_IMAGE021
对
Figure 805708DEST_PATH_IMAGE022
进行激发得到
Figure DEST_PATH_IMAGE023
，表达式如下
Figure DEST_PATH_IMAGE025
其中
Figure 499864DEST_PATH_IMAGE026
为ReLU函数，
Figure DEST_PATH_IMAGE027
，
Figure 447091DEST_PATH_IMAGE028
，
B4、利用
Figure DEST_PATH_IMAGE029
得到最终DA机制的输出
Figure 14863DEST_PATH_IMAGE030
，表达式如下
Figure DEST_PATH_IMAGE031
。
6.根据权利要求1所述的分割方法，其特征在于：步骤S3中，损失函数选择为cross- entropyloss。
7.根据权利要求1所述的分割方法，其特征在于：步骤S4中，设
Figure 287713DEST_PATH_IMAGE032
为预测正确的像素数量，
Figure DEST_PATH_IMAGE033
为预测错误的像素数量，
Figure 938006DEST_PATH_IMAGE034
为预测漏掉的像素数量，将精准率
Figure DEST_PATH_IMAGE035
、召回率
Figure 813558DEST_PATH_IMAGE036
、整体性能
Figure DEST_PATH_IMAGE037
、预测结果与标准结果之间的重合度
Figure 249218DEST_PATH_IMAGE038
作为评估参数，其中
Figure 411078DEST_PATH_IMAGE040
Figure 892875DEST_PATH_IMAGE042
Figure 40960DEST_PATH_IMAGE044
。
8.根据权利要求1所述的分割方法，其特征在于：步骤S2中，Unet模型的特征提取部分共有四次最大池化操作，上采样部分共有四次反卷积操作。
CN202011393297.4A 2020-12-02 2020-12-02 一种基于注意力Unet模型的医学图像语义分割方法 Active CN112634279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011393297.4A CN112634279B (zh) 2020-12-02 2020-12-02 一种基于注意力Unet模型的医学图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011393297.4A CN112634279B (zh) 2020-12-02 2020-12-02 一种基于注意力Unet模型的医学图像语义分割方法

Publications (2)

Publication Number Publication Date
CN112634279A true CN112634279A (zh) 2021-04-09
CN112634279B CN112634279B (zh) 2023-04-07

Family

ID=75307462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011393297.4A Active CN112634279B (zh) 2020-12-02 2020-12-02 一种基于注意力Unet模型的医学图像语义分割方法

Country Status (1)

Country Link
CN (1) CN112634279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030260A (zh) * 2023-03-27 2023-04-28 湖南大学 一种基于长条状卷积注意力的手术全场景语义分割方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110363776A (zh) * 2019-06-28 2019-10-22 联想(北京)有限公司 图像处理方法及电子设备
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110852181A (zh) * 2019-10-18 2020-02-28 天津大学 基于注意力机制卷积神经网络钢琴乐谱难度识别方法
CN111079825A (zh) * 2019-12-09 2020-04-28 中国科学技术大学 针对医学图像的细胞核自动检测方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111275712A (zh) * 2020-01-15 2020-06-12 浙江工业大学 一种面向大尺度图像数据的残差语义网络训练方法
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111553361A (zh) * 2020-03-19 2020-08-18 四川大学华西医院 一种病理切片标签识别方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110363776A (zh) * 2019-06-28 2019-10-22 联想(北京)有限公司 图像处理方法及电子设备
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110852181A (zh) * 2019-10-18 2020-02-28 天津大学 基于注意力机制卷积神经网络钢琴乐谱难度识别方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111079825A (zh) * 2019-12-09 2020-04-28 中国科学技术大学 针对医学图像的细胞核自动检测方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN111275712A (zh) * 2020-01-15 2020-06-12 浙江工业大学 一种面向大尺度图像数据的残差语义网络训练方法
CN111553361A (zh) * 2020-03-19 2020-08-18 四川大学华西医院 一种病理切片标签识别方法
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HU J等: "Squeeze-and-excitation networks", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER 》 *
T. SONG等: "U-Next: A Novel Convolution Neural", 《IEEE ACCESS》 *
WOO S等: "Cbam: Convolutional block attention module", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》 *
刘浩等: "基于特征压缩激活Unet网络的建筑物提取", 《地球信息科学学报》 *
廖欣等: "基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法", 《液晶与显示》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030260A (zh) * 2023-03-27 2023-04-28 湖南大学 一种基于长条状卷积注意力的手术全场景语义分割方法

Also Published As

Publication number Publication date
CN112634279B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109447940B (zh) 卷积神经网络训练方法、超声图像识别定位方法及系统
CN112927240B (zh) 一种基于改进的AU-Net网络的CT图像分割方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN113052228A (zh) 一种基于SE-Inception的肝癌病理切片分类方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
Kovalev et al. Biomedical image recognition in pulmonology and oncology with the use of deep learning
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
CN112634279A (zh) 一种基于注意力Unet模型的医学图像语义分割方法
CN117422913A (zh) 一种改进的ct图像肺结节检测方法、设备及存储介质
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Ji et al. A deep learning method for automatic evaluation of diagnostic information from multi-stained histopathological images
CN115527204A (zh) 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN117576127B (zh) 一种基于病理图像的肝癌区域自动勾画方法
CN116071555B (zh) 一种建立WMHs分割模型的方法、WMHs分割方法及装置
CN117197434B (zh) 基于AMFNet网络融合模型的肺部医学影像精准识别方法
CN113658151B (zh) 一种乳腺病变磁共振图像分类方法、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant