CN115457057A - 一种采用深监督策略的多尺度特征融合腺体分割方法 - Google Patents

一种采用深监督策略的多尺度特征融合腺体分割方法 Download PDF

Info

Publication number
CN115457057A
CN115457057A CN202211175506.7A CN202211175506A CN115457057A CN 115457057 A CN115457057 A CN 115457057A CN 202211175506 A CN202211175506 A CN 202211175506A CN 115457057 A CN115457057 A CN 115457057A
Authority
CN
China
Prior art keywords
convolution
sup
segmentation
block
resconvblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211175506.7A
Other languages
English (en)
Inventor
孙军梅
张鑫
李秀梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202211175506.7A priority Critical patent/CN115457057A/zh
Publication of CN115457057A publication Critical patent/CN115457057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明公开一种采用深监督策略的多尺度特征融合腺体分割方法。本发明所提出的网络采用编码器‑解码器网络结构，在特征提取与解析的相邻卷积部分添加了残差连接，并且在编码层到解码层的拼接路径上使用了坐标并行注意力机制及密集空洞卷积块，抑制病理图像中的噪声，引导网络关注图像的显著区域并且可以获取多尺度图像特征。同时采用深监督策略，将各解码层的输出转换为预测图，采用基于像素分类、区域、边缘分割的组合损失函数，提前与标签计算损失，在网络的浅层就加以监督约束，最终将各尺度不一的预测图进行融合，互补缺失值，令网络达到更好的分割效果，有效提高了对腺体分割的准确率。

Description

一种采用深监督策略的多尺度特征融合腺体分割方法
技术领域
本发明涉及深度学习及图像分割领域，具体涉及一种采用深监督策略的多尺度特征融合腺体分割方法。
背景技术
基于深度学习的医学图像分割作为一种新兴的生物医学图像处理技术，为可持续医疗做出了巨大贡献。现在已经成为计算机视觉领域的一个重要研究方向。随着深度学习的快速发展，基于深度神经网络的医学图像处理已成为研究热点。
腺体是重要的组织学结构，可分布于许多组织器官，腺癌为涎腺上皮发生的恶性肿瘤，结构不一，是最普遍的癌症形式，组织病理学样本的临床形态学分析是癌症诊断的有效方法，专业的病理学家经常使用腺体的形状来评估腺癌的恶性程度，腺体的准确分割是获得可靠形态统计数据的关键步骤。因此，在组织病理学中精确分割腺体的形状具有重要的意义，在临床治疗上有着迫切的需求。但是腺体的分割需要由经验丰富的病理学家手动标注，费时费力，成本高昂，并且受到人为的主观性的影响。因此自动化的腺体分割方法是具有重要意义的。
早期，对于腺体的自动化分割方法有基于阈值、形态学的分割方法，但这些方法在面对腺体的病理切片图像的复杂内容时，往往出现了分割精度不高的问题。
近年来，由于深度学习在自动特征学习与函数模拟构建方面的优势，其迅速成为分析医学图像的主要方法，尤其是在数字病理学领域。
但是，目前基于深度学习的腺体细胞分割方法仍面临着以下难点：(1)腺体细胞的病理切片样本的制作过程中都会不可避免地产生伪影，降低图像质量，病理切片在染色时不均匀，导致边界模糊，难以与背景进行区分，易导致对腺体细胞边缘分割的不精准，出现误分割；(3)不同组织学的腺体细胞的形态大小不一，密度与尺度变化较大，易导致腺体细胞的分割缺失。
发明内容
本发明的第一个目的是在于提出一种采用深监督策略的具有多尺度特征融合的腺体分割方法，解决腺体细胞分割时候的缺失值大，误分割现象，最终提高基于深度学习的腺体细胞分割的精度。
一种采用深监督策略的多尺度特征融合腺体分割方法，包括以下步骤：
步骤一、获取腺体的数字病理图像；
步骤二、对腺体的数字病理图像和标签做预处理，作为训练数据；
步骤三、神经网络搭建和训练；
3-1.搭建采用深监督策略的多尺度特征融合腺体分割网络
所述采用深监督策略的多尺度特征融合腺体分割网络包括编码器-解码器网络结构；
所述编码器包括5个逐级串联的残差卷积块ResConvBlock L1-L5；所述解码器包括4个逐级串联的残差卷积块ResConvBlock L6-L9；
残差卷积块ResConvBlock L1-L9的结构相同，均是将编码、解码中的卷积操作进行残差处理，将各层的输入部分进行跳跃连接到各层的输出部分；
其中：
所述残差卷积块ResConvBlock L1-L3分别通过坐标并行注意力模块CPA连接到残差卷积块ResConvBlock L7-L9，使用坐标并行注意力对当前编码层输出的特征图进行处理，得到赋予注意力权重的新特征图；
所述残差卷积块ResConvBlock L4使用密集空洞卷积块DAC连接到残差卷积块ResConvBlock L6，对当前编码层输出的特征图进行多尺度特征提取；
所述残差卷积块ResConvBlock L5对当前编码层输出的特征图进行残差处理，连接到残差卷积块ResConvBlock L6；
所述残差卷积块ResConvBlock L6-L9的四个输出均转换为四张分割预测图Sup1、Sup2、Sup3、Sup4，将四张分割预测图Sup1、Sup2、Sup3、Sup4进行融合、互补缺失值得到分割预测图Sup5；并使用组合损失函数对分割预测图Sup1、Sup2、Sup3、Sup4、Sup5进行监督约束，实现对模型参数进行反向传播，完成更新模型参数；
3-2.模型训练
将步骤二预处理后图像数据输入到步骤3-1搭建的采用深监督策略的多尺度特征融合腺体分割网络中进行训练；通过组合损失函数计算出各分割预测图与标签的损失值；通过损失值反向传播，网络迭代更新参数不断减小损失值，直到达到预设的迭代次数；
步骤四、使用步骤三所搭建并训练完成的采用深监督策略的多尺度特征融合腺体分割网络，实现腺体分割。
作为优选，残差卷积块ResConvBlock L2-L5的输入均为上一层残差卷积块ResConvBlock通过2*2最大池化进行下采样操作的特征图。
作为优选，残差卷积块ResConvBlock L1-L9结构相同，均依次包括：
1)kernel size＝3x3，stride＝1，采用samepadding的卷积核；
2)BatchNorm2d归一化层；
3)Relu激活函数；
4)kernel size＝3x3，stride＝1，采用samepadding的卷积核；
5)BatchNorm2d归一化层；
6)Relu激活函数；
7)原始输入跳跃连接到两次卷积输出的，通过1x1的卷积调整维度实现。
作为优选，所述坐标并行注意力模块CPA具体计算过程为：
将输入特征图分别传送至软池化分支与平均值池化分支，再在这两个分支中分别沿着宽W、高H的方向对特征图进行池化聚合及通道压缩操作，得到新的特征向量Fsoftpool和Favgpool；
将特征向量Fsoftpool和Favgpool进行相加融合得到特征向量Ftotal；
沿着空间维度将特征向量Ftotal拆解成两个坐标位置相关的特征向量Fh和Fw；
调整上述两个坐标位置相关的特征向量的通道数，并进行激活，最后将输入特征图Input与高度方向的权重Weighth、宽度方向的权重Weightw相乘，得到赋予注意力权重的特征图Output。
作为优选，所述密集空洞卷积块包括4个分支，在各分支中使用空洞卷积来扩大模型的感受野，最后经过4个分支进行特征提取后得到的特征图与原始输入特征图相加；其中：
第1个分支包括1个卷积块，该卷积块的卷积核大小为3x3，其膨胀率设置为1，第1个分支的感受野为3；
第2个分支包括依次级联的2个卷积块，第1个卷积块的卷积核大小为3x3，其膨胀率设置为3，第2个卷积块的卷积核大小为1x1，其膨胀率设置为1，第2个分支的感受野为7；
第3个分支包括依次级联的3个卷积块，第1个卷积块的卷积核大小为3x3，其膨胀率设置为1，第2个卷积块的卷积核大小为3x3，其膨胀率设置为3，第3个卷积块的卷积核大小为1x1，其膨胀率设置为1，第3个分支的感受野为9；
第4个分支包括依次级联的4个卷积块，第1个卷积块的卷积核大小为3x 3，其膨胀率设置为1，第2个卷积块的卷积核大小为3x3，其膨胀率设置为3，第3个卷积块的卷积核大小为3x3，其膨胀率设置为5，第4个卷积块的卷积核大小为1x1，其膨胀率设置为1，第4个的感受野大小为19。
作为优选，所述组合损失函数
Figure BDA00038641415700000413
Pred用于计算出各分割预测图与标签的损失值，见式(1)：
Figure BDA0003864141570000041
其中
Figure BDA0003864141570000042
表示分割预测图Supk与标签的二值交叉熵损失；
Figure BDA0003864141570000043
表示分割预测图Supk与标签的活动轮廓损失；
Figure BDA0003864141570000044
其中N表示图像像素的总数目，
Figure BDA0003864141570000045
表示分割预测图Supk的第n个像素对应的真实标签，
Figure BDA0003864141570000046
表示分割预测图Supk的第n个像素对应的预测结果；
Figure BDA0003864141570000047
分割是逐像素的分类任务，因此逐像素计算损失：
Figure BDA0003864141570000048
其中Length用于约束边缘轮廓，Ω表示图像域，即像素点(i,j)的集合，
Figure BDA0003864141570000049
表示求梯度，x、y表示水平和垂直方向，∈是防止平方根为零的极小项，
Figure BDA00038641415700000410
表示分割预测图Supk的y方向上像素点(i,j)对应的真实标签，
Figure BDA00038641415700000411
表示表示分割预测图Supk的x方向上像素点(i,j)对应的预测结果；
Figure BDA00038641415700000412
其中Region表示P与Y之间的区域相似度损失，用于改善分割目标区域缺失；
Figure BDA0003864141570000051
表示分割预测图Supk的像素点(i,j)对应的真实标签，
Figure BDA0003864141570000052
表示分割预测图Supk的像素点(i,j)对应的预测结果；
网络的总损失Losstotal为各分割预测图与标签计算得到的损失之和：
Figure BDA0003864141570000053
本发明的第二个发明目的是提供一种腺体分割装置，其特征在于包括训练完成的采用深监督策略的多尺度特征融合腺体分割网络。
本发明的第三个发明目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
本发明的第四个发明目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
本发明的有益效果如下：
1)本发明针对腺体图像中的噪声、伪影，采用坐标并行注意力机制进行抑制噪声，突出显著区域，用以引导网络更好地关注重点像素区域。
2)本发明针对腺体图像中相邻腺体间隙狭窄、腺体细胞形态大小不同、密集程度不同，采用密集空洞卷积块，来进行多尺度的特征提取，能够有效地检测到形态差异大的目标。
3)本发明针对不同腺体的形态大小、密集程度不同导致的细胞分割出现细胞分割有缺失值的问题，对不同尺度的各预测输出进行融合，使它们互相补充缺失值，并且采用深监督的策略，对不同尺度的各预测输出用组合损失函数加以监督约束，一定程度上解决了腺体分割中出现部分区域缺失的缺失值现象。
附图说明
图1是本发明腺体分割网络的结构架构图。
图2是本发明中残差卷积块ResConvBlock的结构架构图。
图3是本发明中坐标并行注意力机制CPA的结构架构图。
图4是本发明中密集空洞卷积的模型结构架构图。
图5是本发明中对Glas数据集的腺体分割的效果图。
图6是本发明中对Crag数据集的腺体分割的效果图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
一种采用深监督策略的具有多尺度融合特征的腺体分割网络，包含以下内容：
步骤一、在两个公开数据集上进行实验，分别为腺体数据集Glas和Crag。
步骤二、从Glas训练集中读取对腺体的数字病理图像与其标签label进行除以255的归一化以及随机旋转的数据增强操作得到预处理后的图像xorigin与其标签label；
步骤三、如图1，搭建采用深监督策略的多尺度特征融合腺体分割网络
3-1将预处理后的腺体图像Xorigin输入到网络中。首先，经过L1层的残差卷积块ResConvBlock 1的特征提取处理得到特征图
Figure BDA0003864141570000061
再通过2*2最大池化进行下采样操作得到L2层的输入特征图
Figure BDA0003864141570000062
以此作为下一编码层L2的输入。L2、L3、L4、L5层均在上一层的特征图输出进行2*2最大池化进行下采样的基础上作进一步的特征提取操作，其特征提取操作均由残差卷积块ResConvBlock来完成。由此完成在编码路径上的特征提取操作。
如图2，所述编码路径中的各残差卷积块ResConvBlock依次设置为：
1)ResConvBlock 1依次包含：
3*3，步长为1，filters＝32的卷积块；
3*3，步长为1，filters＝32的卷积块；
1*1，步长为1，filters＝32的卷积块；
2)ResConvBlock 2依次包含：
3*3，步长为1，filters＝64的卷积块；
3*3，步长为1，filters＝64的卷积块；
1*1，步长为1，filters＝64的卷积块；
3)ResConvBlock 3依次包含：
3*3，步长为1，filters＝128的卷积块；
3*3，步长为1，filters＝128的卷积块；
1*1，步长为1，filters＝128的卷积块；
4)ResConvBlock 4依次包含：
3*3，步长为1，filters＝256的卷积块；
3*3，步长为1，filters＝256的卷积块；
1*1，步长为1，filters＝256的卷积块；
5)ResConvBlock 5依次包含：
3*3，步长为1，filters＝256的卷积块；
3*3，步长为1，filters＝256的卷积块；
1*1，步长为1，filters＝256的卷积块。
上述的每个卷积块依次包括一个卷积层、BatchNorm层和ReLU激活函数。
3-2在编码层与解码层的特征拼接路径上，以L1层为例，L1的输出
Figure BDA0003864141570000071
经过能够抑制图像中的噪声、赋予重要像素区域以较大权重、引导网络关注重点区域的坐标并行注意力机制CPA的处理得到特征图
Figure BDA0003864141570000072
同理，L2、L3层的输出
Figure BDA0003864141570000073
和
Figure BDA0003864141570000074
经过坐标并行注意力机制CPA得到
Figure BDA0003864141570000075
和
Figure BDA0003864141570000076
L4层的输出
Figure BDA0003864141570000077
经过具有较大感受野的密集空洞卷积块DAC的多尺度特征提取后得到特征图
Figure BDA0003864141570000078
密集空洞卷积块DAC具有4个分支，各分支具有不同的感受野，感受野依次为3，7，9，19。这些操作为编码层的输出与解码层的输入的特征拼接进行了准备。
如图3所述坐标并行注意力机制CPA中依次包含：
1)沿着特征图宽度方向进行池化的一维软池化层；
2)沿着特征图高度方向进行池化的一维软池化层；
3)沿着特征图宽度方向进行池化的一维平均池化层；
4)沿着特征图高度方向进行池化的一维平均池化层；
5)1*1，步长为1的卷积块，该卷积块依次包括一个卷积层、BatchNorm层和Relu激活函数；
6)1*1，步长为1的卷积块，该卷积块依次包括一个卷积层、BatchNorm层和Sigmoid激活函数。
如图4所述密集空洞卷积块DAC中依次包含：
1)第1个分支：3*3，步长为1，filters＝256，膨胀率为1的卷积块。
2)第2个分支：3*3，步长为1，filters＝256，膨胀率为1的卷积块；
3*3，步长为1，filters＝256，膨胀率为3的卷积块。
3)第3个分支：3*3，步长为1，filters＝256，膨胀率为1的卷积块；
3*3，步长为1，filters＝256，膨胀率为3的卷积块；
1*1，步长为1，filters＝256，膨胀率为1的卷积块。
4)第4个分支：3*3，步长为1，filters＝256，膨胀率为1的卷积块；
3*3，步长为1，filters＝256，膨胀率为3的卷积块；
3*3，步长为1，filters＝256，膨胀率为5的卷积块；
1*1，步长为1，filters＝256，膨胀率为1的卷积块。
上述的每个卷积块依次包括一个卷积层、ReLU激活函数。
3-3特征图
Figure BDA0003864141570000081
用双线性插值进行2倍的上采样后再与
Figure BDA0003864141570000082
进行拼接得到特征图
Figure BDA0003864141570000083
3-4解码阶段。
Figure BDA0003864141570000084
作为L6层的输入，经过ResConvBlock 6的特征解析得到
Figure BDA0003864141570000085
特征图
Figure BDA0003864141570000086
经过双线性插值的2倍上采样并通过3*3卷积调整通道数至128与
Figure BDA0003864141570000087
进行拼接得到L7层的输入
Figure BDA0003864141570000088
L7层的输入
Figure BDA0003864141570000089
经过ResConvBlock 7的特征解析得到
Figure BDA00038641415700000810
特征图
Figure BDA00038641415700000811
经过双线性插值的2倍上采样并通过3*3卷积调整通道数至128与
Figure BDA00038641415700000812
进行拼接得到L8层的输入
Figure BDA00038641415700000813
L8层的输入
Figure BDA00038641415700000814
经过ResConvBlock 8的特征解析得到
Figure BDA00038641415700000815
Figure BDA00038641415700000816
经过双线性插值的2倍上采样并通过3*3卷积调整通道数至128与
Figure BDA00038641415700000817
进行拼接得到L9层的输入
Figure BDA00038641415700000818
L9层的输入
Figure BDA00038641415700000819
经过ResConvBlock 9的特征解析得到
Figure BDA00038641415700000820
ResConvBlock 6的设置与ResConvBlock 4一致；ResConvBlock 7的设置与ResConvBlock 3一致；ResConvBlock 8的设置与ResConvBlock 2一致；ResConvBlock 9的设置与ResConvBlock 1一致。
3-5预测阶段。
L6层的
Figure BDA0003864141570000091
经过1*1卷积转换为预测输出
Figure BDA0003864141570000092
并将
Figure BDA0003864141570000093
上采样至与标签一样大小得到
Figure BDA0003864141570000094
即分割预测图Sup1。
L7层的
Figure BDA0003864141570000095
经过1*1卷积转换为预测输出
Figure BDA0003864141570000096
并将
Figure BDA0003864141570000097
上采样至与标签一样大小得到
Figure BDA00038641415700000926
即分割预测图Sup2。
L8层的
Figure BDA0003864141570000099
经过1*1卷积转换为预测输出
Figure BDA00038641415700000910
并将
Figure BDA00038641415700000911
上采样至与标签一样大小得到
Figure BDA00038641415700000912
即分割预测图Sup3。
L9层的
Figure BDA00038641415700000913
经过1*1卷积转换为预测输出
Figure BDA00038641415700000914
即分割预测图Sup4因为预测输出
Figure BDA00038641415700000915
的尺寸已经跟标签是一样大小，故无需上采样。
最终将
Figure BDA00038641415700000916
进行融合拼接操作得到xresult_fusion，即分割预测图Sup5。
3-6采用深监督策略对各预测输出进行损失计算，如图1所示：
组合损失函数
Figure BDA00038641415700000917
用于计算出各分割预测图与标签的损失值，见式(1)所示：
Figure BDA00038641415700000918
其中
Figure BDA00038641415700000919
表示分割预测图Supk与标签的二值交叉熵损失；
Figure BDA00038641415700000920
表示分割预测图Supk与标签的活动轮廓损失；
Figure BDA00038641415700000921
其中N表示图像像素的总数目，
Figure BDA00038641415700000922
表示分割预测图Supk的第n个像素对应的真实标签，
Figure BDA00038641415700000923
表示分割预测图Supk的第n个像素对应的预测结果；
Figure BDA00038641415700000924
分割是逐像素的分类任务，因此逐像素计算损失：
Figure BDA00038641415700000925
其中Length用于约束边缘轮廓，Ω表示图像域，即像素点(i,j)的集合，
Figure BDA0003864141570000101
表示求梯度，x、y表示水平和垂直方向，∈是防止平方根为零的极小项，
Figure BDA0003864141570000102
表示分割预测图Supk的y方向上像素点(i,j)对应的真实标签，
Figure BDA0003864141570000103
表示表示分割预测图Supk的x方向上像素点(i,j)对应的预测结果；
Figure BDA0003864141570000104
其中Region表示P与Y之间的区域相似度损失，用于改善分割目标区域缺失；
Figure BDA0003864141570000105
表示分割预测图Supk的像素点(i,j)对应的真实标签，
Figure BDA0003864141570000106
表示分割预测图Supk的像素点(i,j)对应的预测结果；
网络的总损失Losstotal为各分割预测图与标签计算得到的损失之和：
Figure BDA0003864141570000107
3-7利用上述计算得到的总损失Losstotal进行反向传播更新网络中的各项参数，这样是完成一次训练。重复步骤3-1至3-7，进行迭代更新。随着迭代的进行，总损失函数Losstotal将不断被优化，直至达到预设的迭代次数，保存训练好的权重模型。
3-8向网络载入训练好的权重模型，向网络输入待分割的腺体图像xinput，网络经过运行处理便得到最终的腺体分割结果Result。
为了验证本发明的有效性，将本发明方法与多种现有分割方法，如：U-Net、U-Net++、KiU-Net、MultiResUNet、UT-Net等进行比较，实验基于Glas和Crag数据集进行训练和测试。在Glas数据集上的实验设置是训练集由85幅腺体图像构成，用训练集来训练网络，测试集由20幅腺体图像构成，用测试集来对网络进行测试。在Crag数据集上的实验设置是训练集由138幅腺体图像构成，用训练集来训练网络，测试集由40幅腺体图像构成，用测试集来对网络进行测试。用测试集进行测试，得到最终的评价指标。
为了验证本发明所提出的分割方法的有效性，选择使用F1值、交并比IOU(Intersection overUnion)、Hausdorff95、Accuracy作为评价指标，从多方面来衡量分割效果。4类计算指标的计算公式如式7到式8所示
Figure BDA0003864141570000108
Figure BDA0003864141570000109
其中，TP为正确预测的正例，TN为正确预测的负例，FP为错误预测的正例，FN为错误预测的负例，SR为分割网络的输出，GT为输入的标签。
Hausdorff(SR,GT)＝max(h(SR,GT),h(GT,SR)) (9)
Figure BDA0003864141570000111
Figure BDA0003864141570000112
其中||·||为点集X和点集Y间的距离范式。Hausdorff95是对计算Hausdorff的过程中取第95％位置处的值，目的是为了取消离群值所造成的偏差对计算结果的影响。
Figure BDA0003864141570000113
实验结果如表1所示，本发明网络模型较现有的分割方法，在腺体细胞的分割效果上更佳。在Glas数据集上，较经典的U-Net相比，F1值和IOU分别提高了3.15％和5.09％，Hausdorff95减少了17.2109，Accuracy提高3.49％。在Crag数据集上与U-Net相比，F1值和IOU分别提高了3.61％和6.01％，Hausdorff95减少了32.3601，Accuracy提高2.44％。并且本发明提出的方法在两个数据集上的测试得到的评价指标高于其它方法。对Glas数据集的分割效果图如图5所示，对Crag数据集的分割效果图如图6所示。
表1不同模型在Glas和Crag数据集上的分割结果对比
Figure BDA0003864141570000114

Claims (9)

1.一种采用深监督策略的多尺度特征融合腺体分割方法，其特征在于该方法包括以下步骤：
步骤一、获取腺体的数字病理图像；
步骤二、对腺体的数字病理图像和标签预处理，作为训练数据；
步骤三、神经网络搭建和训练；
3-1.搭建采用深监督策略的多尺度特征融合腺体分割网络
所述采用深监督策略的多尺度特征融合腺体分割网络包括编码器-解码器网络结构；
所述编码器包括5个逐级串联的残差卷积块ResConvBlock L1-L5；所述解码器包括4个逐级串联的残差卷积块ResConvBlock L6-L9；
残差卷积块ResConvBlock L1-L9的结构相同，均是将编码、解码中的卷积操作进行残差处理，将各层的输入部分进行跳跃连接到各层的输出部分；
其中：
所述残差卷积块ResConvBlock L1-L3分别通过坐标并行注意力模块CPA连接到残差卷积块ResConvBlock L7-L9，使用坐标并行注意力对当前编码层输出的特征图进行处理，得到赋予注意力权重的新特征图；
所述残差卷积块ResConvBlock L4使用密集空洞卷积块DAC连接到残差卷积块ResConvBlock L6，对当前编码层输出的特征图进行多尺度特征提取；
所述残差卷积块ResConvBlock L5对当前编码层输出的特征图进行残差处理，连接到残差卷积块ResConvBlock L6；
所述残差卷积块ResConvBlock L6-L9的四个输出均转换为四张分割预测图Sup1、Sup2、Sup3、Sup4，将四张分割预测图Sup1、Sup2、Sup3、Sup4进行融合、互补缺失值得到分割预测图Sup5；并使用组合损失函数对分割预测图Sup1、Sup2、Sup3、Sup4、Sup5进行监督约束，实现对模型参数进行反向传播，完成更新模型参数；
3-2.模型训练
将步骤二预处理后图像数据输入到步骤3-1搭建的采用深监督策略的多尺度特征融合腺体分割网络中进行训练；通过组合损失函数计算出各分割预测图与标签的损失值；通过损失值反向传播，网络迭代更新参数不断减小损失值，直到达到预设的迭代次数；
步骤四、使用步骤三所搭建并训练完成的采用深监督策略的多尺度特征融合腺体分割网络，实现腺体分割。
2.根据权利要求1所述方法，其特征在于残差卷积块ResConvBlock L2-L5的输入均为上一层残差卷积块ResConvBlock通过2*2最大池化进行下采样操作的特征图。
3.根据权利要求1所述方法，其特征在于残差卷积块ResConvBlock L1-L9结构相同，均依次包括：
1)kernel size＝3x3，stride＝1，采用same padding的卷积核；
2)BatchNorm2d归一化层；
3)Relu激活函数；
4)kernel size＝3x3，stride＝1，采用same padding的卷积核；
5)BatchNorm2d归一化层；
6)Relu激活函数；
7)原始输入跳跃连接到两次卷积输出，通过1x1的卷积调整维度实现。
4.根据权利要求1所述方法，其特征在于所述坐标并行注意力模块CPA具体计算过程为：
将输入特征图分别传送至软池化分支与平均值池化分支，再在这两个分支中分别沿着宽W、高H的方向对特征图进行池化聚合及通道压缩操作，得到新的特征向量Fsoftpool和Favgpool；
将特征向量Fsoftpool和Favgpool进行相加融合得到特征向量Ftotal；
沿着空间维度将特征向量Ftotal拆解成两个坐标位置相关的特征向量Fh和Fw；
调整上述两个坐标位置相关的特征向量的通道数，并进行激活，最后将输入特征图Input与高度方向的权重Weighth、宽度方向的权重Weightw相乘，得到赋予注意力权重的特征图Output。
5.根据权利要求1所述方法，其特征在于所述密集空洞卷积块包括4个分支，在各分支中使用空洞卷积来扩大模型的感受野，最后经过4个分支进行特征提取后得到的特征图与原始输入特征图相加；其中：
第1个分支包括1个卷积块，该卷积块的卷积核大小为3x3，其膨胀率设置为1，第1个分支的感受野为3；
第2个分支包括依次级联的2个卷积块，第1个卷积块的卷积核大小为3x3，其膨胀率设置为3，第2个卷积块的卷积核大小为1x1，其膨胀率设置为1，第2个分支的感受野为7；
第3个分支包括依次级联的3个卷积块，第1个卷积块的卷积核大小为3x3，其膨胀率设置为1，第2个卷积块的卷积核大小为3x3，其膨胀率设置为3，第3个卷积块的卷积核大小为1x1，其膨胀率设置为1，第3个分支的感受野为9；
第4个分支包括依次级联的4个卷积块，第1个卷积块的卷积核大小为3x 3，其膨胀率设置为1，第2个卷积块的卷积核大小为3x3，其膨胀率设置为3，第3个卷积块的卷积核大小为3x3，其膨胀率设置为5，第4个卷积块的卷积核大小为1x1，其膨胀率设置为1，第4个的感受野大小为19。
6.根据权利要求1所述方法，其特征在于所述组合损失函数
Figure FDA0003864141560000031
用于计算出各分割预测图与标签的损失值，见式(1)所示：
Figure FDA0003864141560000032
其中
Figure FDA0003864141560000033
表示分割预测图Supk与标签的二值交叉熵损失；
Figure FDA0003864141560000034
表示分割预测图Supk与标签的活动轮廓损失；
Figure FDA0003864141560000035
其中N表示图像像素的总数目，
Figure FDA0003864141560000036
表示分割预测图Supk的第n个像素对应的真实标签，
Figure FDA0003864141560000037
表示分割预测图Supk的第n个像素对应的预测结果；
Figure FDA0003864141560000038
分割是逐像素的分类任务，因此逐像素计算损失：
Figure FDA0003864141560000039
其中Length用于约束边缘轮廓，Ω表示图像域，即像素点(i,j)的集合，
Figure FDA00038641415600000310
表示求梯度，x、y表示水平和垂直方向，∈是防止平方根为零的极小项，
Figure FDA00038641415600000311
表示分割预测图Supk的y方向上像素点(i,j)对应的真实标签，
Figure FDA00038641415600000312
表示表示分割预测图Supk的x方向上像素点(i,j)对应的预测结果；
Figure FDA00038641415600000313
其中Region表示P与Y之间的区域相似度损失，用于改善分割目标区域缺失；
Figure FDA00038641415600000314
表示分割预测图Supk的像素点(i,j)对应的真实标签，
Figure FDA00038641415600000315
表示分割预测图Supk的像素点(i,j)对应的预测结果；
网络的总损失Losstotal为各分割预测图与标签计算得到的损失之和：
Figure FDA0003864141560000041
7.基于包括权利要求1-6任一项所述方法的腺体分割装置，其特征在于包括训练完成的采用深监督策略的多尺度特征融合腺体分割网络。
8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的方法。
9.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。
CN202211175506.7A 2022-09-26 2022-09-26 一种采用深监督策略的多尺度特征融合腺体分割方法 Pending CN115457057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211175506.7A CN115457057A (zh) 2022-09-26 2022-09-26 一种采用深监督策略的多尺度特征融合腺体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211175506.7A CN115457057A (zh) 2022-09-26 2022-09-26 一种采用深监督策略的多尺度特征融合腺体分割方法

Publications (1)

Publication Number Publication Date
CN115457057A true CN115457057A (zh) 2022-12-09

Family

ID=84306488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211175506.7A Pending CN115457057A (zh) 2022-09-26 2022-09-26 一种采用深监督策略的多尺度特征融合腺体分割方法

Country Status (1)

Country Link
CN (1) CN115457057A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN116612131A (zh) * 2023-05-22 2023-08-18 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612131A (zh) * 2023-05-22 2023-08-18 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN116612131B (zh) * 2023-05-22 2024-02-13 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN116342600B (zh) * 2023-05-29 2023-08-18 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法

Similar Documents

Publication Publication Date Title
CN110188765B (zh) 图像语义分割模型生成方法、装置、设备及存储介质
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN115457057A (zh) 一种采用深监督策略的多尺度特征融合腺体分割方法
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN114419020B (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN113569724B (zh) 基于注意力机制和扩张卷积的道路提取方法及系统
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN115457051A (zh) 基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN113870124A (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN114049314A (zh) 一种基于特征重排和门控轴向注意力的医学图像分割方法
CN116363081A (zh) 基于深度神经网络的胎盘植入mri征象检测分类方法及装置
Kanadath et al. Histopathology image segmentation using MobileNetV2 based U-net model
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination