CN113012172B - 一种基于AS-UNet的医学图像分割方法及系统 - Google Patents
一种基于AS-UNet的医学图像分割方法及系统 Download PDFInfo
- Publication number
- CN113012172B CN113012172B CN202110381758.4A CN202110381758A CN113012172B CN 113012172 B CN113012172 B CN 113012172B CN 202110381758 A CN202110381758 A CN 202110381758A CN 113012172 B CN113012172 B CN 113012172B
- Authority
- CN
- China
- Prior art keywords
- unet
- edge
- layer
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003709 image segmentation Methods 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 101150064138 MAP1 gene Proteins 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 31
- 230000000694 effects Effects 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于AS‑UNet的医学图像分割方法及系统。本发明提出边缘注意网络框架，强化边缘，减少缺失值。通过掩膜边缘提取算法得到掩膜边缘图像，连接到UNet扩张路径的最后三层上，以强化边缘信息；并在BAB中引入新的注意力模块，结合通道注意力和空间注意力，激活特征响应，增强图像中关键信息的获取，提升网络对目标区域的分割能力。本发明提出使用区域和边界组合损失函数，在提高分割精度的同时，实现测试时减少参数。通过组合损失函数的作用在训练时经过前后向反馈不断更新AS‑UNet中的网络参数，使得训练好的模型在测试时可以舍弃添加的BAB部分的参数，降低预测的时间代价。
Description
技术领域
本发明属于人工智能图像分割领域，主要涉及一种基于AS-UNet的医学图像分割方法及系统。
背景技术
近年来，深度学习技术已广泛应用于医学图像领域，其中如何自动识别和分割医学图像中的病灶是最受关注的问题之一。由于人体器官多样、病灶形状复杂、图像噪声干扰等诸多原因，器官病灶等待分割物体容易出现分割边缘不清晰、缺失值大等状况。
目前已有较多学者针对医学图像分割方法展开相关研究，其中UNet是最典型也是应用最广泛的方法，它利用收缩路径获取特征信息，利用扩张路径实现精确定位，在各类数据集上均有较好的表现。其后出现了许多在UNet上进行改进的网络模型。Shankaranarayana等人将残差连接思想和UNet结合提出Res-UNet。Oktay等人提出Attention U-Net，通过集成注意力门(AGs)捕捉显著特征。Zhou等人提出UNet++，整合不同层次的特征，使用灵活的网络结构配合深监督，让参数量巨大的深度网络在可接受的精度范围内大幅度的缩减参数量。最近，针对UNet在检测小的标志物以及模糊边缘噪声时性能下降问题，Jeya等提出了KiU-Net，结合欠完备结构和过完备结构捕捉大小标志物，同时采用基于跨尺度残差块的融合策略，更有效地利用了两个网络结构的信息，实现高效检测。而DRU-Net则在ResNet与DenseNet的基础上额外增加了跳跃连接，以更少的参数实现了更高的精度。此外，针对区域边缘和区域内的不连续性，Chu等提出一种利用简单边缘检测器定位所有不连续点，并对这些区域进行额外监控的方法，有效提高了检测精度。针对目前方法不能很好地分割肿瘤和器官的重叠部分这一问题，Li等提出了一种基于位置导向的可变形UNet，利用可变形卷积的空间变形能力处理器官和肿瘤的几何变换，并引入了一个新的池化模块来保留传统最大池化操作中丢失的位置信息。为了自动完善分割网络产生的分割效果，Kitrungrotsakul等人提出了一种用于医学图像分割的交互式深度优化网络RefineNet，由分割主干UNet和优化网络两部分组成，在训练时加入自行生成的种子点，但在测试时需要用户提供种子点，较为不便，且随机误差较大。针对分割区域及边缘的不确定性与模糊性，Lee等人提出新颖的边缘关键点选择算法和结构边缘保持分割框架，使得模型能够自动提取和学习结构关键点信息，但在网络中增加了较多参数，不易于模型部署。
已有的这些方法利用卷积神经网络提取图像特征信息，通过分析图像内部的深层隐性信息划分目标区域与非目标区域，使其在生物医学图像分割任务上取得了优于传统方法的效果，但仍然存在一些问题。首先，分割精度较低。细胞和器官等形状复杂多样，且可能存在团簇重叠状态，致使错误分割的几率很大，影响医学判断，并且，大部分方法采用基于区域的Dice作为损失函数，保证了区域完整性却容易丢失边缘细节；其次，模型复杂。越来越多的网络模型基于UNet做出改进，但模型复杂、参数冗余等现象会在部署阶段形成困难，不利于实际操作。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于AS-UNet的医学图像分割方法。
本发明包括以下步骤：
步骤(1)、获取待分割的原始医学图像，对其进行预处理，并以分割后的医学图像作为标签，构建训练数据集；
作为优选，所述预处理是将原始医学图像转换为512*512大小的固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度。
步骤(2)、对训练数据集中的标签图像通过掩膜边缘提取算法进行处理，得到掩膜边缘图像，具体是：
对标签图像进行复制，并将图像的所有像素点值置为255，得到标签图像副本；
遍历标签图像每一个第i行第j列像素点(i,j)，判断该点像素值是否为0，若否则继续遍历，若是则继续判断该像素点的相邻像素点是否全部为0,若否则将标签图像副本对应位置上的点像素值置为0，反之为255，最终得到掩膜边缘图像；
步骤(3)、构建边缘增强网络AS-UNet，并以上述训练数据集进行训练；
边缘增强网络AS-UNet包括UNet网络、边缘注意网络框架(Boundary AttentionBlock,BAB)；其中UNet网络采用编码—解码结构，最后n(n≤解码层的总个数，优选为3)个解码层的输出端各自与一个边缘注意网络框架的第一个输入端连接，边缘注意网络框架的输出端与下一个解码层连接的边缘注意网络框架的第二个输入端连接；边缘注意网络框架的第三个输入端接掩膜边缘图像；
作为优选，UNet网络具体包括编码模块和解码模块，所述训练数据集中预处理后图像输入到所述编码模块中，通过所述编码模块对预处理后图像进行特征编码，所述编码模块的输出作为所述解码模块的输入，所述解码模块对输入进行特征解码；
所述编码模块包括依序级联的多个编码层，相邻编码层间通过最大池化层连接，最后一个编码层的输出作为第一上采样层的输入，所述第一上采样层的输出连接所述解码模块的输入。
所述解码模块包括依序级联的多个解码层，相邻解码层间通过第二上采样层连接。
相同尺寸的编码层通过跳跃连接与相同尺寸的解码层按通道连接；
最后n个解码层各自的另一个输出端与边缘注意网络框架BAB的输入端连接，边缘注意网络框架BAB的输出端与后一个解码层连接的边缘注意网络框架BAB的输入端通过第三上采样层连接。
所述的边缘注意网络框架BAB包括依序级联的1*1卷积层、第一Concat层、第一3*3卷积层、第二Concat层、第二3*3卷积层、注意力机制层；
所述1*1卷积层经过1X1的卷积后输出特征图至第一Concat层；其输入特征维度为其中Ri代表UNet第i层的特征图，wi、hi、ci分别代表该特征图的宽、高、通道数；
所述第一Concat层用于将1*1卷积层输出的特征图、掩膜边缘图像按通道连接(Concat)，得到连接后的特征图1；
所述第一3*3卷积层用于提取特征图1的全局信息，输出特征图2至第二Concat层；
所述第二Concat层用于将第一3*3卷积层输出的特征图2以及上一解码层经过BAB并经第三上采样层上采样后得到的特征图Supplementfi按通道连接，输出特征图3至第二3*3卷积层；
所述第二3*3卷积层用于提取第二Concat层连接后特征图3的全局信息，输出特征图4至注意力机制层；
所述注意力机制层用于结合通道注意力和空间注意力，激活特征响应，增强图像中关键信息的获取，提升网络对非显著性目标区域的分割能力，得到BAB的最终输出
对于输入特征图其中U代表输入特征图，w、h、c分别代表该特征图的宽、高、通道数；分别在通道和空间上进行压缩得到特征图/>和向量/>两者相乘得到新的权重/>再将其与输入U逐像素相乘得到最终输出/>整个过程可用如下公式来代表：
其中⊙表示点乘。
损失函数：
在图像分割领域，主要采用的损失函数包括基于分布的交叉熵损失函数(Cross-Entropy)以及基于区域的Dice损失函数。交叉熵损失函数单独评估每个像素矢量的类预测，然后对所有像素求平均值，所以可以认为图像中的像素被平等的学习了。但是，医学图像中常出现类别不均衡(class imbalance)的问题，由此导致训练会被像素较多的类主导，对于像素较少的物体很难学习到其特征，从而降低网络的有效性。而Dice损失函数，本质上是衡量两个样本的重叠部分，虽然解决了类不均衡的情况，但是未关注到图像的边缘信息。由于医学图像的边缘信息尤为重要，因此本发明提出结合基于区域的Dice Loss和基于边缘的BoundaryLoss(BD)的组合损失函数，在两个不同的侧重维度上进行监督。定义损失L为
L＝αLDice+βLBD (4)
式中参数α和β为平衡系数，用于平衡区域损失及边缘损失对最终结果的影响。LDice与LBD分别定义为Dice损失和BD损失，均需结合第一特征图输出1和第二特征图输出2计算，计算方式如公式(5)所示。
LDice＝LDice(ytrue,yfirst)+LDice(ytrue+ysecond)
LBD＝LBD(ytrue,yfirst)+LBD(ytrue+ysecond) (5)
步骤(4)、边缘增强网络AS-UNet测试时去除边缘注意网络框架(BoundaryAttention Block,BAB)，利用已经训练好的边缘增强网络AS-UNet中的UNet网络以实现医学图像的分割。
本发明的另一个目的是提供一种基于AS-UNet的医学图像分割系统，包括：
数据集制作模块，制作用于训练边缘增强网络AS-UNet的训练集；
模型训练模块，用于将所述训练集中预处理后医学图像输入到边缘增强网络AS-UNet，并进行训练；
图像分割模块，用于通过训练好的边缘增强网络AS-UNet去除边缘注意网络框架后对待分割的医学图像进行分割，得到分割后的医学图像。
本发明的有益效果是：
1)本发明提出边缘注意网络框架，强化边缘，减少缺失值。通过掩膜边缘提取算法得到掩膜边缘图像，连接到UNet扩张路径的最后三层上，以强化边缘信息；并在BAB中引入新的注意力模块，结合通道注意力和空间注意力，激活特征响应，增强图像中关键信息的获取，提升网络对目标区域的分割能力。
2)提出使用区域和边缘组合损失函数，在提高分割精度的同时，实现测试时减少参数。组合损失函数结合了基于区域的Dice Loss和基于边缘的Boundary Loss，在保证区域缺失值小的同时补充边缘信息，提高分割精度；此外，通过组合损失函数的作用在训练时经过前后向反馈不断更新AS-UNet中的网络参数，使得训练好的模型在测试时可以舍弃添加的BAB部分的参数，降低预测的时间代价。
附图说明
图1AS-UNet网络结构示意图；
图2BAB模块具体结构示意图；
图3标签图像Mask与掩膜边缘图像Mask Boundary Image；
图4边缘注意网络框架结构示意图；
图5本发明方法概念模型结构示意图；
图6不同模型在Glas数据集上的分割结果对比；
图7不同模型在DRIVE数据集上的分割结果对比；
图8不同模型在MoNuSeg数据集上的分割结果对比。
具体实施方式
下面结合附图对本发明做进一步的分析。
一种基于AS-UNet的医学图像分割方法包括以下步骤：
步骤(1)、获取待分割的原始医学图像，对其进行预处理，并以分割后的医学图像作为标签，构建训练数据集；
所述预处理是将原始医学图像转换为512*512大小的固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度。
步骤(2)、对训练数据集中的标签图像通过掩膜边缘提取算法进行处理，得到掩膜边缘图像，图3标签图像Mask与掩膜边缘图像Mask Boundary Image；
具体是：
对标签图像进行复制，并将图像的所有像素点值置为255，得到标签图像副本；
遍历标签图像每一个第i行第j列像素点(i,j)，判断该点像素值是否为0，若否则继续遍历，若是则继续判断以该点为中心的九宫格内相邻像素点是否全部为0,若否则将标签图像副本对应位置上的点像素值置为0，反之为255，最终得到掩膜边缘图像；
步骤(3)、构建边缘增强网络AS-UNet，并以上述训练数据集进行训练；
如图1边缘增强网络AS-UNet包括UNet网络、边缘注意网络框架(BoundaryAttention Block,BAB)；其中UNet网络采用编码—解码结构，最后3个解码层的输出端各自与一个边缘注意网络框架BAB的第一个输入端连接，边缘注意网络框架BAB的输出端与下一个解码层连接的边缘注意网络框架的第二个输入端连接；边缘注意网络框架的第三个输入端接掩膜边缘图像；
UNet网络具体包括第一至五编码层和第六至九解码层；第一编码层与第九解码模块相同尺寸，通过跳跃连接按通道连接；第二编码层与第八解码层相同尺寸，通过跳跃连接按通道连接；第三编码层与第七解码层相同尺寸，通过跳跃连接按通道连接；第四编码层与第六解码层相同尺寸，通过跳跃连接按通道连接；第一至第五编码层的相邻编码层间通过最大池化层连接；第五编码层通过第一上采样层与第六解码模块连接；第六至八解码层的第一个输出端各自通过第二上采样层与下一层解码层的第一个输入端连接；第九解码层的第一个输出端通过1*1卷积层输出第一特征图(output1)；
第七至九解码层的第二个输出端分别与第一至三边缘注意网络框架BAB的第一输入端连接，第一边缘注意网络框架BAB的输出端与第二边缘注意网络框架BAB的第二输入端通过第三上采样层连接；第二边缘注意网络框架BAB的输出端与第三边缘注意网络框架BAB的第二输入端通过第三上采样层连接；第三边缘注意网络框架BAB的输出端通过1*1卷积层输出第二特征图(output2)；
第一至三边缘注意网络框架BAB的第三输入端接掩膜边缘图像；
如图2所述的边缘注意网络框架BAB包括依序级联的1*1卷积层、第一Concat层、第一3*3卷积层、第二Concat层、第二3*3卷积层、注意力机制层；
所述1*1卷积层经过1X1的卷积后输出特征图至第一Concat层；其输入特征维度为其中Ri代表UNet第i层的特征图，wi、hi、ci分别代表该特征图的宽、高、通道数；
所述第一Concat层用于将1*1卷积层输出的特征图、掩膜边缘图像按通道连接(Concat)，得到连接后的特征图1；
所述第一3*3卷积层用于提取特征图1的全局信息，输出特征图2至第二Concat层；
所述第二Concat层用于将第一3*3卷积层输出的特征图2以及上一解码层经过BAB并经第三上采样层上采样后得到的特征图Supplementfi按通道连接，输出特征图3至第二3*3卷积层；
所述第二3*3卷积层用于提取第二Concat层连接后特征图3的全局信息，输出特征图4至注意力机制层；
如图4所述注意力机制层用于结合通道注意力和空间注意力，激活特征响应，增强图像中关键信息的获取，提升网络对非显著性目标区域的分割能力，得到BAB的最终输出
注意力机制层的输入特征图其中U代表输入特征图，w、h、c分别代表该特征图的宽、高、通道数；分别在通道和空间上分别进行压缩得到特征图/>和向量/>两者相乘得到新的权重/>再将其与输入特征图U逐像素相乘得到最终输出/>整个过程可用如下公式：
其中⊙表示点乘。
与现有scSE相比，本发明所提出的注意力机制层将空间和通道上压缩得到的权重进行相乘，得到与输入相同大小的权重W，如此便可以为输入特征图的每个像素都提供各自的权重，且相乘能够让重要的位置更加突出，而价值较小的位置则可以被抑制。随后再将这一权重逐像素与输入特征图相乘得到最终输出。此方法相较于scSE，同样简单且不增加任何参数，但能够更多地关注重要位置的信息，获取感兴趣区域及边缘特征信息。本发明将其应用于边缘注意网络框架3X3的卷积层之后，帮助模型取得更好的检测效果。
上述BAB过程可写成如下公式：
其中，ds(*)表示卷积核大小为s×s的卷积函数，c(*)表示concat操作，AB(*)表示注意力机制层函数，Fi表示第i个BAB输出。表示掩膜边缘图像，fi-1表示上一解码层经过BAB并经第三上采样层上采样后得到的特征图；
在BAB中，改变掩膜边缘图像大小并按通道连接至各特征图之后，有效地提供了正确的图形边缘，增强图像对于显著性区域的边缘信息获取，使得后续网络更重视这一部分的信息，从而弥补UNet对边缘信息的忽视。
BAB的引入虽然提高了模型的分割精度，但也不可避免地增加了参数，因此，本发明提出组合损失函数，在保证分割精度的同时减少网络参数，使得测试时舍弃后半部分的边缘注意网络框架，只需要让输入图片经过训练所得的UNet部分即可得到最终分割结果(即Ffirst)。
训练时训练数据集中预处理后图像通过UNet生成输出第一特征图(output1)，UNet的最后一个解码层通过边缘注意网络框架(Boundary Attention Block,BAB)生成输出第二特征图(output2)，结合两个输出的损失函数得到最终模型。
损失函数：
在图像分割领域，主要采用的损失函数包括基于分布的交叉熵损失函数(Cross-Entropy)以及基于区域的Dice损失函数。交叉熵损失函数单独评估每个像素矢量的类预测，然后对所有像素求平均值，所以可以认为图像中的像素被平等的学习了。但是，医学图像中常出现类别不均衡(class imbalance)的问题，由此导致训练会被像素较多的类主导，对于像素较少的物体很难学习到其特征，从而降低网络的有效性。而Dice损失函数，本质上是衡量两个样本的重叠部分，虽然解决了类不均衡的情况，但是未关注到图像的边缘信息。由于医学图像的边缘信息尤为重要，因此本发明提出结合基于区域的DiceLoss和基于边缘的Boundary Loss(BD)的组合损失函数，在两个不同的侧重维度上进行监督。定义损失L为
L＝αLDice+βLBD (4)
式中，参数α和β为平衡系数，用于平衡区域损失及边缘损失对最终结果的影响。LDice与LBD分别定义为Dice损失和BD损失，均需结合第一特征图输出1和第二特征图输出2计算，计算方式如公式(5)所示。
LDice＝LDice(ytrue,yfirst)+LDice(ytrue+ysecond)
LBD＝LBD(ytrue,yfirst)+LBD(ytrue+ysecond) (5)
其中ytrue为训练集的标签Mask；yfirst为训练时UNet输出的预测结果，即第一特征图输出1；ysecond为训练时经过UNet和边缘注意网络框架后最终输出的预测结果，即第二特征图输出2。
损失L的提出，结合了基于区域的Dice Loss和基于边缘的Boundary Loss，使得网络同时关注区域与边缘信息，在保证区域缺失值小的同时补充边缘信息，从而提高分割精度。随着神经网络地不断迭代，平衡系数α和β自学习调整更新，促使在前半部分的UNet网络中，Dice Loss占据比重较大，相对来说更加关注区域的信息，在后半部分的边缘注意网络中，Boundary Loss占据比重较大，相对来说更加关注边缘信息。组合损失函数恰到好处地利用本发明所提出的边缘注意网络框架，同时关注区域以及边缘损失，在很大程度上解决了分割缺失值大、边缘不清晰的难题。与此同时，损失L结合yfirst和ysecond两种输出，在将L总体最小化时必然会将针对yfirst部分的Loss最小化，如公式6所示。训练时经过前后向反馈不断更新AS-UNet中的网络参数，修复未留意的边缘信息。因此可实现在最终测试时即使舍弃边缘注意网络，仅采用yfirst作为测试结果，也不影响分割效果，在提高分割精度的同时极大的减少了模型参数，为实际应用提供了更大的可能性。
min(LDice)＝min(LDice(ytrue,yfirst))+min(LDice(ytrue+ysecond))
min(LBD)＝min(LBD(ytrue,yfirst))+min(LBD(ytrue+ysecond)) (6)
本发明提出的BAB具有可扩展性，可应用于多种网络。如图5所述的本发明方法概念模型结构示意图，Net1为原网络，如UNet，FCN等；Net2为新增的细化网络BAB，用于补充完善所需信息。输入input通过Net1得到输出1(output1)，通过Net1+Net2得到输出2(output2)，设置该模型的损失函数如公式(7)：
L＝L(ygt,youtput1)+L(ygt+youtput2) (7)
结合两种输出的损失函数L可以兼顾output1与output2，使其分别达到最好的效果。训练时输入需要经过Net1+Net2，不断更新优化网络内部参数，而测试时可以舍弃Net2，在训练好模型的基础上选择output1即可得到最终结果，保证分割精度的同时有效减少测试时参数。
步骤(4)、边缘增强网络AS-UNet测试时去除边缘注意网络框架(BoundaryAttention Block,BAB)，利用已经训练好的边缘增强网络AS-UNet中的UNet网络以实现医学图像的分割。
为验证本发明方法的有效性，在三个不同类型的数据集(Glas数据集、DRIVE数据集、MoNuSeg数据集)上根据UNet、UNet++、KiU-Net、DRU-Net以及本发明AS-UNet进行对比实验。实验结果如表1所示，相比于其他，本发明方法在不同数据集不同评价指标下均有较好的提升，尤其在IoU上有明显的提升。相比于UNet，本发明方法在Glas数据集上Dice和IoU分别提高了2.31％和5.96％，Hausdorff距离缩短了55.42；在DRIVE数据集上Dice和IoU分别提高了2.19％和2.73％，Hausdorff距离缩短了8.63；在MoNuSeg数据集上，UNet、KiU-Net和DRU-Net在三种评价指标上都表现极差，没有现实分割意义，而本发明方法依旧能够保持较高的分割精度。由此可见本发明方法的有效性和泛化性。
Glas是MICCAI2015腺体分割挑战赛的公开数据集，由165幅图像组成，这些图像来自16个苏木精和伊红(H&E)染色载玻片的大肠癌组织切片。原始图像大小不一，大多数为775x522。将数据集分为训练集和测试集，100幅图像属于训练集，65幅图像属于测试集。
DRIVE发布于2003年，是一个用于血管分割的数字视网膜图像数据集，它由40张图片组成，其中7张显示出轻度早期糖尿病视网膜病变迹象。将数据集分为训练集和测试集，30幅图像属于训练集，10幅图像属于测试集。
MoNuSeg发布于2017年，是通过仔细注释几名患有不同器官肿瘤并且在多家医院被诊断出的患者的组织图像获得的数据集。它由放大40倍捕获到的H&E染色的组织图像创建而成，训练集包含30张图像和约22000个核边缘注释的训练数据，测试集包含14张图像和约7000个核边缘注释的测试图像。
UNet是医学图像分割的基础网络；
KiU-Net针对UNet进行模块结构的改进，通过改变感受野实现更好地细节捕获与分割；
DRU-Net则提出了一个简单但高效的网络模块，提高分割效果的同时减少网络参数。
表1不同模型在不同数据集上分割精度对比
为了清楚的对比各个数据集下各种模型方法的分割结果，如图6、7、8所示，本发明提出的AS-UNet在分割结果中更加贴近原图的掩膜(Ground Truth，GT)，尤其是在边缘的处理上更加细致。在Glas数据集中，细胞较大，细胞之间的粘合问题较少，本发明方法处理得到的分割图存在的缺失值较少，且边缘较平整；在DRIVE数据集中，人眼血管较细，分布复杂，分割难度较大，本发明方法处理得到的分割图相较于其他模型在细血管的连续性问题上处理的更好，其他模型分割得到的细血管很多都变成了点状而非连续，本发明模型借助边缘注意网络框架在一定程度上仍能保持血管的基本连续；在MoNuSeg数据集中，细胞较小，细胞重合问题较严重，UNet++、KiU-Net和DRU-Net几乎丧失分割能力，而本发明方法不仅保持小细胞的精准分割并且得益于对边缘信息的增强，在对小细胞做边缘处理时更加有效。
为了方便对比，图8在不同算法模型分割结果的相同位置用打框做了注释。可见，本发明方法得到的分割结果与GT(Ground Truth，真实值)最接近，效果最好。
为验证本发明提出边缘注意网络框架BAB、注意力模块Attention Block和组合损失函数的合理性、有效性、可拓展性及参数情况，采用对比消融实验，所有实验训练配置均相同。参照图5，Net1可用UNet、FCN等网络代替，因此分别以UNet和FCN为基础网络设计实验。将添加了BAB且测试时采用output2的方法记作BAB-A；将添加了BAB但不包含AttentionBlock，测试时采用output2的方法记作BAB-NA；将添加了BAB且测试时采用output1的方法记作Sub。如表2所示，各种对比方法在两种基础网络之上的效果相似，增加BAB后分割效果均有所提升，可见BAB具有可扩展性与非依赖性。添加BAB-NA，通过引入掩膜边缘图像解决分割边缘不清晰问题，相较于单纯的UNet和FCN，在各数据集上Dice系数提升1％～2％，IoU提升1％～4％，Hausdoff距离也基本上有所减小，可见本发明设计的BAB对网络关键特征的提取有一定的引导意义；添加BAB-A，强化学习重点特征，弥补缺失值，在BAB-NA的基础上，几个数据集的Dice系数和IoU又分别提升1％左右，可见本发明设计的Attention Block的有效性，融入在BAB中，可进一步提高网络分割精度；对比BAB-A与Sub，两者在训练时都融合了BAB，但在测试时，前者使用output2，后者使用output1，它们的Dice系数、IoU和Hausdoff距离并无发生较大改变，基本保持在同一水平线，但Sub的参数量减少了1M左右，可见本发明设计的网络模型能有效解决模型复杂参数冗余的问题，实现轻量化网络，在保证分割精度的同时减少测试时所用时间。
表2消融实验
为验证本发明提出损失函数的有效性，利用基于区域的Dice Loss、基于边缘的Boundary Loss和本发明提出的组合损失函数Dice+Boundary Loss这三者，采用Dice系数、IoU和Hausdorff距离作为评价指标，分别在三个数据集上采用本发明方法AS-UNet进行对比实验。实验结果如表3所示。从表中结果可见，组合损失函数在各数据集上都能达到更好的分割效果，相较于单一的Dice Loss和Boundary Loss，Dice+Boundary Loss的Dice系数和IoU均提高了1％左右，Hausdorff距离均降低2％左右。这是因为本发明方法引入Mask边缘图，增强边缘信息，结合区域以及边缘的损失函数能够更真实地反映预测图与Mask之间的差异，从而进行参数校准与更新。
表3不同损失函数在不同数据集上的分割结果对比
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。
Claims (8)
1.一种基于AS-UNet的医学图像分割方法，其特征在于包括以下步骤：
步骤(1)、获取待分割的原始医学图像，对其进行预处理，构建训练数据集；并以分割后的医学图像作为标签；
步骤(2)、对训练数据集中的标签图像通过掩膜边缘提取算法进行处理，得到掩膜边缘图像；
步骤(3)、构建边缘增强网络AS-UNet，并以上述训练数据集进行训练；
边缘增强网络AS-UNet包括UNet网络、边缘注意网络框架；其中UNet网络采用编码—解码结构，最后n个解码层的输出端各自与一个边缘注意网络框架的第一个输入端连接，边缘注意网络框架的输出端与下一个解码层连接的边缘注意网络框架的第二个输入端连接；边缘注意网络框架的第三个输入端接掩膜边缘图像；
步骤(4)、边缘增强网络AS-UNet测试时去除边缘注意网络框架，利用已经训练好的边缘增强网络AS-UNet中的UNet网络以实现医学图像的分割；
所述的边缘注意网络框架BAB包括依序级联的1*1卷积层、第一Concat层、第一3*3卷积层、第二Concat层、第二3*3卷积层、注意力机制层；
所述1*1卷积层经过1X1的卷积后输出特征图至第一Concat层；其输入特征维度为其中Ri代表UNet第i层的特征图，wi、hi、ci分别代表该特征图的宽、高、通道数；
所述第一Concat层用于将1*1卷积层输出的特征图、掩膜边缘图像按通道连接(Concat)，得到连接后的特征图1；
所述第一3*3卷积层用于提取特征图1的全局信息，输出特征图2至第二Concat层；
所述第二Concat层用于将第一3*3卷积层输出的特征图2以及上一解码层经过BAB并经第三上采样层上采样后得到的特征图Supplementfi按通道连接，输出特征图3至第二3*3卷积层；
所述第二3*3卷积层用于提取第二Concat层连接后特征图3的全局信息，输出特征图4至注意力机制层；
所述注意力机制层用于结合通道注意力和空间注意力，激活特征响应，增强图像中关键信息的获取，提升网络对非显著性目标区域的分割能力，得到BAB的最终输出
2.根据权利要求1所述的一种基于AS-UNet的医学图像分割方法，其特征在于步骤(1)所述预处理是将原始医学图像转换为固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间。
3.根据权利要求1所述的一种基于AS-UNet的医学图像分割方法，其特征在于步骤(2)具体是：
对标签图像进行复制，并将图像的所有像素点值置为255，得到标签图像副本；
遍历标签图像每一个像素点(i,j)，判断该点像素值是否为0，若否则继续遍历，若是则继续判断该像素点的相邻像素点是否全部为0,若否则将标签图像副本对应位置上的像素点像素值置为0，反之为255，最终得到掩膜边缘图像。
4.根据权利要求1所述的一种基于AS-UNet的医学图像分割方法，其特征在于步骤(3)所述UNet网络具体包括编码模块和解码模块，所述训练数据集中预处理后图像输入到所述编码模块中，通过所述编码模块对预处理后图像进行特征编码，所述编码模块的输出作为所述解码模块的输入，所述解码模块对输入进行特征解码；相同尺寸的编码层通过跳跃连接与相同尺寸的解码层按通道连接。
5.根据权利要求4所述的一种基于AS-UNet的医学图像分割方法，其特征在于所述UNet网络中编码模块包括依序级联的多个编码层，相邻编码层间通过最大池化层连接，最后一个编码层的输出作为第一上采样层的输入，所述第一上采样层的输出连接所述解码模块的输入。
6.根据权利要求4所述的一种基于AS-UNet的医学图像分割方法，其特征在于所述UNet网络中解码模块包括依序级联的多个解码层，相邻解码层间通过第二上采样层连接。
7.根据权利要求1所述的一种基于AS-UNet的医学图像分割方法，其特征在于所述注意力机制层对于输入特征图其中U代表输入特征图，w、h、c分别代表该特征图的宽、高、通道数；分别在通道和空间上进行压缩得到特征图/>和向量/>两者相乘得到新的权重/>再将其与输入U逐像素相乘得到最终输出/>整个过程可用如下公式来代表：
其中⊙表示点乘。
8.一种实现权利要求1-7任一所述方法的基于AS-UNet的医学图像分割系统，其特征在于包括：
数据集制作模块，制作用于训练边缘增强网络AS-UNet的训练集；
模型训练模块，用于将所述训练集中预处理后医学图像输入到边缘增强网络AS-UNet，并进行训练；
图像分割模块，用于通过训练好的边缘增强网络AS-UNet去除边缘注意网络框架后对待分割的医学图像进行分割，得到分割后的医学图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381758.4A CN113012172B (zh) | 2021-04-09 | 2021-04-09 | 一种基于AS-UNet的医学图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381758.4A CN113012172B (zh) | 2021-04-09 | 2021-04-09 | 一种基于AS-UNet的医学图像分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012172A CN113012172A (zh) | 2021-06-22 |
| CN113012172B true CN113012172B (zh) | 2023-10-03 |
Family
ID=76388146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110381758.4A Active CN113012172B (zh) | 2021-04-09 | 2021-04-09 | 一种基于AS-UNet的医学图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012172B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421299B (zh) * | 2021-06-25 | 2024-03-29 | 南京云创大数据科技股份有限公司 | 一种基于水位计和摄像机的水深测定系统和方法 |
| CN113379735B (zh) * | 2021-07-09 | 2023-05-12 | 中山大学 | 一种ct结肠影像内容物的标注方法及系统 |
| CN113763387B (zh) * | 2021-07-22 | 2023-09-01 | 深圳大学 | 一种胎盘超微血管的分割方法、存储介质及终端设备 |
| CN113763327B (zh) * | 2021-08-10 | 2023-11-24 | 上海电力大学 | 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法 |
| CN113781410B (zh) * | 2021-08-25 | 2023-10-13 | 南京邮电大学 | 一种基于MEDU-Net+网络的医学图像分割方法和系统 |
| CN114359169A (zh) * | 2021-12-15 | 2022-04-15 | 深圳先进技术研究院 | 训练模型的方法、图像处理方法、装置及电子设备 |
| CN114596502B (zh) * | 2022-03-03 | 2023-04-07 | 合肥工业大学 | 基于边缘增强的高分辨率遥感影像的耕地信息提取方法 |
| CN114842034B (zh) * | 2022-04-19 | 2022-12-02 | 山东省人工智能研究院 | 一种基于放大模糊操作痕迹的图片真假检测方法 |
| CN115587967B (zh) * | 2022-09-06 | 2023-10-10 | 杭州电子科技大学 | 一种基于HA-UNet网络的眼底图像视盘检测方法 |
| CN116109607B (zh) * | 2023-02-22 | 2023-10-20 | 广东电网有限责任公司云浮供电局 | 一种基于图像分割的输电线路工程缺陷检测方法 |
| CN116883669A (zh) * | 2023-08-03 | 2023-10-13 | 深圳扬奇医芯智能科技有限公司 | 一种基于动态注意力联邦框架的多目标分割技术 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
| CN111968138A (zh) * | 2020-07-15 | 2020-11-20 | 复旦大学 | 基于3d动态边缘不敏感性损失函数的医学图像分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和系统 |
-
2021
- 2021-04-09 CN CN202110381758.4A patent/CN113012172B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
| CN111968138A (zh) * | 2020-07-15 | 2020-11-20 | 复旦大学 | 基于3d动态边缘不敏感性损失函数的医学图像分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012172A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN116681679A (zh) | 基于双分支特征融合注意的医学图像小目标分割方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN115311194A (zh) | 一种基于transformer和SE块的CT自动肝脏图像分割方法 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN114066729A (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
| CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN108305268A (zh) | 一种图像分割方法及装置 | |
| CN117392153B (zh) | 一种基于局部补偿和多尺度自适应变形的胰腺分割方法 | |
| Ruan et al. | An efficient tongue segmentation model based on u-net framework | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |