CN112017191B - 基于注意力机制的肝脏病理图像分割模型建立及分割方法 - Google Patents

Abstract

本发明公开了基于注意力机制的肝脏病理图像分割模型建立及分割方法，首先对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；然后构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络；将切片图像块和掩模图像块作为分割网络的输入，将得到的分割概率图作为分割网络的输出，训练得到的分割网络，得到训练好的分割模型。将待处理的肝脏病理图像输入到分割模型中，得到分割结果。本发明的分割网络引入了特征注意力机制，分别对位置和通道维度进行注意力建模，提高模型对于正常组织区域、异常组织区域和背景的区分能力，缓解了肝脏组织病理图像空洞多对模型学习带来的影响。

Description

基于注意力机制的肝脏病理图像分割模型建立及分割方法

技术领域

本发明属于医学图像分析技术领域，涉及一种基于注意力机制的肝脏病理图像分割模型建立及分割方法。

背景技术

肝脏损伤是常见疾病，为了治疗和研究人类肝脏损伤，显微镜下的组织病理分析非常重要。由于病理切片场景大、背景复杂，组织区域众多，人工观察非常费时。同时，病理切片分析难度较高需要长期经验积累，不同经验的病理学家分析结果可能有差别。随着人工智能技术的快速发展，利用扫描设备将病理切片数字化，借助人工智能算法进行自动分析成为了研究热点，主要集中在利用深度学习模型实现病理图像的分割、分类、检测任务。其中对病理图像良好的分割有助于病理学家进行异常组织区域或细胞的定量分析，也可以提高后续检测模型结果的准确率。

肝脏病理图像分割作为病理图像分割中的一个方向在近年来取得了一定的进展，2017年，Rodrigo等人提出了基于计算拓扑框架的生物医学图像中细胞核的鲁棒检测和分割方法，并在肝脏组织病理图像上进行了肝脏细胞检测，检测准确率达到86.2％，分割Dice系数为0.5。2018年，Mousumi等人通过高曲率点检测和椭圆拟合质量评估方法对肝脏病理图像中的脂肪变性区域进行分割和分离，分割出脂肪变性区域的准确率为86％。以上肝脏组织病理图像的分割方法主要基于数学形态学，对数据预处理要求高，若预处理工作不彻底，则需要进行一系列的基于点的开(闭)运算，运算速度将明显下降。2019，伦敦圣玛丽大学的Xu等人研究大肠癌肝细胞转移，利用多尺度特征结合DCNN(Deep ConvolutionalNeural Networks，深度卷积神经网络)方法对肝组织病理图像块进行癌变区域的分割，得到了96％的定量分析准确率，但是此方法对数据集要求高，需要不同放大倍数下的病理图像和对应标注，而且网络参数量大，需要大量训练样本。

目前对肝脏组织病理图像分割存在以下难点：1.正常组织区域和异常组织区域有时非常相似，尤其是在两个区域过渡的部分；2.已有的数据集样本少，在提供给模型有限可学习知识的情况下，如何确保训练模型的准确率和鲁棒性是一个问题；3.肝脏组织图像因复杂的肝小叶结构、中央静脉和脂肪等原因，造成图像中有许多空洞区域，这对模型的学习造成一定干扰。对于问题1和3，常采用融合在不同放大倍数下的图像提取的特征来增加上下文语义信息的方式改善对过渡区域的分割效果。但是目前的限制之一就是数据集小且的不易获取，而这种方法所需要的不同放大倍数下的图像和对应标注更是增加了获取数据的难度。对于问题2数据样本少的情况常用的解决方案是采取翻转、色彩抖动、GAN网络生成等数据增强的方式扩充数据集，这种方式从医学角度来讲，可解释性弱。

发明内容

为解决现有技术中存在的不足，本发明提供了一种基于注意力机制的肝脏病理图像分割模型建立及分割方法，解决现有的分割方法在肝脏组织病理图像异常和正常组织区域内部欠分割(出现空洞)以及正常组织区域和异常组织区域边界分割不够准确的问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

本发明公开的基于注意力机制的肝脏病理图像分割模型建立方法，包括以下步骤：

步骤1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；

步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，

编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；

多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；

多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；

特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；

解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，

其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；

步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。

具体的，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过归一化处理获得位置关联强度矩阵S；

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图。

具体的，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过归一化处理获得通道关联强度矩阵X；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图。

具体的，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；

所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；

所述的多尺度特征融合模块包括一个1×1的卷积层；

所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；

所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

本发明还公开了基于注意力机制的肝脏病理图像分割模型建立系统，该系统包括：

图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；

分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，

编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；

多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；

多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；

特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；

解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，

其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；

分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。

具体的，所述的特征注意力模块中，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过归一化处理获得位置关联强度矩阵S；

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图。

具体的，所述的特征注意力模块中，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过归一化处理获得通道关联强度矩阵X；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图。

具体的，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；

所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；

所述的多尺度特征融合模块包括一个1×1的卷积层；

所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；

所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

本发明还公开了基于注意力机制的肝脏病理图像分割方法，包括以下步骤：

步骤1，对待处理的肝脏病理图像，进行本发明模型构建方法中步骤1的预处理，得到切片图像块和掩模图像块；

步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到本发明得到的分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。

本发明还公开了基于注意力机制的肝脏病理图像分割系统，该系统包括以下模块：

图像处理模块，用于对待处理的肝脏病理图像，进行本发明模型建立方法步骤1或图像处理模块的处理，得到切片图像块和掩模图像块；

肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到本发明得到的分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；

比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。

与现有技术相比，本发明的有益效果是：

(1)本发明的分割网络利用空洞卷积来提取不同感受野的特征并对它们进行融合以增加上下文语义信息，解决了肝脏组织病理图像分割中边界的难分问题；

(2)本发明的分割网络引入了特征注意力机制，分别对位置和通道维度进行注意力建模，以获得空间维度和通道维度的特征相关性，进一步的提高模型对于正常组织区域、异常组织区域和背景的区分能力，缓解了肝脏组织病理图像空洞多对模型学习带来的影响；

(3)本发明采用了编码器和解码器组成的U型网络的基础架构，解决了数据样本少带来的模型不易收敛等问题；本发明方法和模型网络参数量较少，对于样本数量少的情况也不容易过拟合，提高了模型的鲁棒性。同时本发明解码器模块实现了低级特征和高级特征的跳跃连接，将用于定位的深层特征和有助于精确分割浅层特征结合，更适用于解决肝脏组织病理图像边界模糊的问题。

附图说明

图1是本发明方法肝脏组织病理图像分割的整体流程图。

图2是本方法中的分割网络结构图。

图3是实施例1采用特征注意力机制对特征图的空间域建模过程。

图4是实施例1采用特征注意力机制对特征图的通道域建模过程。

图5是实施例2的分割模型建立系统整体结构。

图6是实施例3与现有方法得到的分割结果图。

具体实施方式

以下给出本发明的具体实施例，需要说明的是，本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1

本实施例公开了基于注意力机制的肝脏病理图像分割模型建立方法，具体包括以下步骤：

步骤1，肝脏组织病理图像处理

本实施例的数据集源自于国内某医院病理科所采集的30张H&E染色的肝脏组织病理全场病理切片，数据集随机划分为三份，采用三折交叉验证对网络进行评估，取三折的均值作为最终结果。

本发明处理的图像为数字化病理全场图像(RGB，3通道)，图像尺寸为10000╳10000以上，因计算机性能的限制一般无法是实现直接对全场病理图像的分割处理，故使用滑动窗口策略将全场图像剪裁为512×512大小的图像块。但在窗口滑动过程中难免有裁剪至边界的情况，这时采用填充的方法，对图像进行补0操作，但在实际的模型训练过程中，填补0后的黑色区域会对模型学习带来干扰，所以在进行实验前对数据集中有黑色区域的图像进行处理，将黑色区域和背景统一转化为255后进行实验。因此，步骤1具体包括：

步骤1.1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，采用滑动窗口策略从中截取197组大小为512×512样本图像块用于标注。每张对应有正常区域的掩膜和坏死区域的掩膜，本实验使用其中159组作为训练集。

步骤1.2，为了避免窗口滑动过程中裁剪至边界对模型学习带来的影响。本发明还需对步骤1.1得到的切片图像块进行预处理，预处理过程为：设定阈值将切片图像块和掩模图像块背景统一映射到[255,255,255]，去除因滑动窗口策略剪裁至边界产生的黑色区域。本发明中，每个切片图像对应有多个切片图像块和掩模图像块。

步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器部分和解码器部分，如图2所示。

其中，编码器部分包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块，其中，

编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图。每个肝脏组织病理切片图像块对应多个语义特征图，语义特征图的数量与编码器的数量对应。本实施例中，编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层，来确保每个编码器提取不同粒度的语义信息。

多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图。每个语义特征图对应多个不同分辨率的语义特征图。

本实施例中，多尺度特征提取模块包括一个3×3的普通卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构。输入的特征图通过四种并行卷积，获得四种不同分辨率的特征图。增大了感受野，可以获得更多上下文信息，有助于改善模型对于边界细节的分割能力，在一定程度上解决肝脏病理图像中异常组织和正常组织边界难分问题。

多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，以减少通道数量，得到低通道特征图。其中一个切片图像块对应一个低通道特征图。

本发明将不同膨胀率提取到的不同尺度的特征进行拼接后，采用1×1大小的卷积将其转化为固定大小的特征图，由于融合了不同尺度的特征，因此提高了网络对于肝脏病理图像中小区域病变的分割能力，同时也减少了特征信息的损失，有助于后续解码器上采样恢复细节信息。

本实施例的多尺度特征融合模块包括一个1×1的普通卷积层；本实施例通过一个1×1的普通卷积层来变化通道，使其通道数降低，降低后的低通道特征图的通道数与输入特征图的通道数量保持一致。

特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；然后将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图。

具体为：由于肝脏组织病理图像中不同组织区域内的细胞形状、染色情况等存在差异，但组织间也存在一定的拓扑结构相似性，为了利用任意两点特征之间的关联，来相互增强各自特征的表达，本发明利用特征注意力机制对位置进行建模。本实施例采用特征注意力机制对低通道特征图的空间域建模过程如图3所示，具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图中每个像素对应位置形成原始特征矩阵A，原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过softmax操作归一化处理，获得位置关联强度矩阵S，其中越相似的两点特征之间，响应值越大。本实施例中，响应值为关联强度矩阵S中的每个数值。

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图，即图3中的E。

本发明通过像素间的关联性达到选择性增强或抑制特征的作用，提高模型对于正常组织区域、异常组织区域和背景的区分能力。

不同通道间的特征图可以看作是对特定类别的响应，且不同响应间有一定的依赖关系，本发明利用注意力机制对通道域进行建模，具体过程与空间域建模相似，不同的是改变维度后的两个特征矩阵的相乘过程不同，具体过程为：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过softmax操作归一化处理，获得通道关联强度矩阵X，同样，越相似的两点特征之间，响应值越大；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图，即图4中的E。

本实施例的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块也包括3个1×1的卷积层。

本步骤的解码器部分包括解码器模块，解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，

其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图，和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图，其中，具有特征全局依赖关系的特征图是指经上采样处理后的具有特征全局依赖关系的特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图，其中，输出特征图是指经上采样处理后的输出特征图；每个解码器输出的是与其输入具有相同分辨率的分割概率图。该解码器模块最终得到的是最后一个解码器输出的分割概率图。

本实施例的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。

在本实施例中，构建DSC和交叉熵(crossentropy)的和作为网络的目标函数，网络训练损失函数L为：

其中，y_i是医生标注的金标准，网络预测概率图，i表示第i个样本。

将步骤1得到的切片图像块和掩模图像块送入构建好的分割网络中，使用该损失函数端到端的训练分割网络，得到训练好的分割模型。

实施例2

本实施例公开了一种基于注意力机制的肝脏病理图像分割模型建立系统，如图5所示，该系统包括：

(1)图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；具体包括图像裁剪模块和图像预处理模块，其中，

(1.1)图像裁剪模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，

(1.2)图像预处理模块，用于通过设定阈值将切片图像块和掩模图像块背景统一映射到[255,255,255]，去除因滑动窗口策略剪裁至边界产生的黑色区域。

(2)分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络,分割网络包括编码器部分和解码器部分，其中编码器部分包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块，解码器部分包括解码器模块。其中，

(2.1)编码器模块，用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图。本实施例中，编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层，来确保每个编码器提取不同粒度的语义信息。

(2.2)多尺度特征提取模块，用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图。本实施例中，多尺度特征提取模块包括一个3×3的普通卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构。

(2.3)多尺度特征融合模块，用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图。本实施例的多尺度特征融合模块包括一个1×1的普通卷积层。

(2.4)特征注意力模块，用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图。本实施例的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块也包括3个1×1的卷积层。

本实施例采用特征注意力机制对低通道特征图的空间域建模过，具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图中每个像素对应位置形成原始特征矩阵A，原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过softmax操作归一化处理，获得位置关联强度矩阵S，其中越相似的两点特征之间，响应值越大。本实施例中，响应值为关联强度矩阵S中的每个数值。

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图，即图3中的E。

具体的，本发明利用注意力机制对通道域进行建模，过程与空间域建模相似，不同的是改变维度后的两个特征矩阵的相乘过程不同，具体过程为：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过softmax操作归一化处理，获得通道关联强度矩阵X，同样，越相似的两点特征之间，响应值越大；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图，即图4中的E。

(2.5)解码器模块，用于获取具有特征全局依赖关系的特征图的分割概率图。其中，

解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图，和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图，其中，具有特征全局依赖关系的特征图是指经上采样处理后的具有特征全局依赖关系的特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图，其中，输出特征图是指经上采样处理后的输出特征图；每个解码器输出的是与其输入具有相同分辨率的分割概率图。该解码器模块最终得到的是最后一个解码器输出的分割概率图。

本实施例的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。

在本实施例中，构建DSC和交叉熵(crossentropy)的和作为网络的目标函数，网络训练损失函数L如公式(3)所示，使用该损失函数端到端的训练分割网络。

经过上述方法获得分割模型后，采用该模型对待处理图像进行分割，分割思路如图1所示，具体过程见实施例3。

实施例3

本实施例公开了一种基于注意力机制的肝脏病理图像分割方法，包括以下步骤：

步骤1，对待处理的肝脏病理图像。

本实施例将197组肝脏组织病理图像块中的38组作为测试集，如图6中原图所示为38组图像块中的其中一幅图像块。根据实施例1中步骤1进行处理，得到切片图像块和掩模图像块；

步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。

如图6最后一幅图所示为本实施例的肝脏组织病理图像分割结果，其他五幅图片为目前常用的5种分割方法对应的分割结果，可以看出，本发明的分割方法在异常区域处边界处分割较为准确。

本发明还对比了本发明方法与目前常用的5种不同方法之间的分割效果，如表1所示。

表1所示为本发明实施例中197组肝脏组织病理图像块样本的实验结果的均值，其中戴斯系数(Dice Similarity Coefficient，DSC)、像素精度(Pixel accuracy，PA)和频权交并比(Frequency Weighted Intersection over Union，FWIoU)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表分割性能越好。

表1不同方法之间的效果对比

由表1可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。

实施例4

本实施例还公开了一种基于注意力机制的肝脏病理图像分割系统，该系统包括以下模块：

(1)图像处理模块，用于对待处理的肝脏病理图像，进行实施例3中步骤1或实施例2中图像处理模块的处理，得到切片图像块和掩模图像块；

(2)肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；

比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。

Claims (6)

1.基于注意力机制的肝脏病理图像分割模型建立方法，其特征在于，包括以下步骤：

步骤1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；

步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，

编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；

多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；

多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；

特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；

采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过归一化处理获得位置关联强度矩阵S；

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图；

采用特征注意力机制对低通道特征图通道域建模的具体过程包括：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过归一化处理获得通道关联强度矩阵X；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图；

解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，

其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；

步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。

2.如权利要求1所述的基于注意力机制的肝脏病理图像分割模型建立方法，其特征在于，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；

所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；

所述的多尺度特征融合模块包括一个1×1的卷积层；

所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；

所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

3.基于注意力机制的肝脏病理图像分割模型建立系统，其特征在于，该系统包括：

图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；

分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，

编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；

多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；

多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；

特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；

所述的特征注意力模块中，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：

(1)计算低通道特征图的位置关联强度矩阵S，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将S′经过归一化处理获得位置关联强度矩阵S；

(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图；

所述的特征注意力模块中，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：

(1)计算低通道特征图的通道关联强度矩阵X，具体为：

低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，

其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；

将X′经过归一化处理获得通道关联强度矩阵X；

(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图；

解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，

其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；

分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。

4.如权利要求3所述的基于注意力机制的肝脏病理图像分割模型建立系统，其特征在于，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；

所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；

所述的多尺度特征融合模块包括一个1×1的卷积层；

所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；

所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。

5.一种如权利要求1～2任一项所述的基于注意力机制的肝脏病理图像分割模型建立方法的分割方法，其特征在于，包括以下步骤：

步骤1，对待处理的肝脏病理图像，进行预处理，得到切片图像块和掩模图像块；

步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。

6.一种如权利要求3～4任一项所述的基于注意力机制的肝脏病理图像分割模型建立系统的分割系统，其特征在于，该系统包括以下模块：

图像处理模块，用于对待处理的肝脏病理图像，进行预处理，得到切片图像块和掩模图像块；

肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；

比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。