CN112017191B - 基于注意力机制的肝脏病理图像分割模型建立及分割方法 - Google Patents
基于注意力机制的肝脏病理图像分割模型建立及分割方法 Download PDFInfo
- Publication number
- CN112017191B CN112017191B CN202010809379.6A CN202010809379A CN112017191B CN 112017191 B CN112017191 B CN 112017191B CN 202010809379 A CN202010809379 A CN 202010809379A CN 112017191 B CN112017191 B CN 112017191B
- Authority
- CN
- China
- Prior art keywords
- feature
- channel
- module
- segmentation
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000007170 pathology Effects 0.000 title claims abstract description 53
- 230000007246 mechanism Effects 0.000 title claims abstract description 49
- 210000004185 liver Anatomy 0.000 title claims abstract description 40
- 238000003709 image segmentation Methods 0.000 title claims abstract description 39
- 210000005228 liver tissue Anatomy 0.000 claims abstract description 34
- 230000001575 pathological effect Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 148
- 238000012545 processing Methods 0.000 claims description 36
- 238000007634 remodeling Methods 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 14
- 230000017105 transposition Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 abstract description 16
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 230000004044 response Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 206010067125 Liver injury Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 231100000753 hepatic injury Toxicity 0.000 description 2
- 210000005229 liver cell Anatomy 0.000 description 2
- 230000007863 steatosis Effects 0.000 description 2
- 231100000240 steatosis hepatitis Toxicity 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于注意力机制的肝脏病理图像分割模型建立及分割方法，首先对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；然后构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络；将切片图像块和掩模图像块作为分割网络的输入，将得到的分割概率图作为分割网络的输出，训练得到的分割网络，得到训练好的分割模型。将待处理的肝脏病理图像输入到分割模型中，得到分割结果。本发明的分割网络引入了特征注意力机制，分别对位置和通道维度进行注意力建模，提高模型对于正常组织区域、异常组织区域和背景的区分能力，缓解了肝脏组织病理图像空洞多对模型学习带来的影响。
Description
技术领域
本发明属于医学图像分析技术领域，涉及一种基于注意力机制的肝脏病理图像分割模型建立及分割方法。
背景技术
肝脏损伤是常见疾病，为了治疗和研究人类肝脏损伤，显微镜下的组织病理分析非常重要。由于病理切片场景大、背景复杂，组织区域众多，人工观察非常费时。同时，病理切片分析难度较高需要长期经验积累，不同经验的病理学家分析结果可能有差别。随着人工智能技术的快速发展，利用扫描设备将病理切片数字化，借助人工智能算法进行自动分析成为了研究热点，主要集中在利用深度学习模型实现病理图像的分割、分类、检测任务。其中对病理图像良好的分割有助于病理学家进行异常组织区域或细胞的定量分析，也可以提高后续检测模型结果的准确率。
肝脏病理图像分割作为病理图像分割中的一个方向在近年来取得了一定的进展，2017年，Rodrigo等人提出了基于计算拓扑框架的生物医学图像中细胞核的鲁棒检测和分割方法，并在肝脏组织病理图像上进行了肝脏细胞检测，检测准确率达到86.2％，分割Dice系数为0.5。2018年，Mousumi等人通过高曲率点检测和椭圆拟合质量评估方法对肝脏病理图像中的脂肪变性区域进行分割和分离，分割出脂肪变性区域的准确率为86％。以上肝脏组织病理图像的分割方法主要基于数学形态学，对数据预处理要求高，若预处理工作不彻底，则需要进行一系列的基于点的开(闭)运算，运算速度将明显下降。2019，伦敦圣玛丽大学的Xu等人研究大肠癌肝细胞转移，利用多尺度特征结合DCNN(Deep ConvolutionalNeural Networks，深度卷积神经网络)方法对肝组织病理图像块进行癌变区域的分割，得到了96％的定量分析准确率，但是此方法对数据集要求高，需要不同放大倍数下的病理图像和对应标注，而且网络参数量大，需要大量训练样本。
目前对肝脏组织病理图像分割存在以下难点：1.正常组织区域和异常组织区域有时非常相似，尤其是在两个区域过渡的部分；2.已有的数据集样本少，在提供给模型有限可学习知识的情况下，如何确保训练模型的准确率和鲁棒性是一个问题；3.肝脏组织图像因复杂的肝小叶结构、中央静脉和脂肪等原因，造成图像中有许多空洞区域，这对模型的学习造成一定干扰。对于问题1和3，常采用融合在不同放大倍数下的图像提取的特征来增加上下文语义信息的方式改善对过渡区域的分割效果。但是目前的限制之一就是数据集小且的不易获取，而这种方法所需要的不同放大倍数下的图像和对应标注更是增加了获取数据的难度。对于问题2数据样本少的情况常用的解决方案是采取翻转、色彩抖动、GAN网络生成等数据增强的方式扩充数据集，这种方式从医学角度来讲，可解释性弱。
发明内容
为解决现有技术中存在的不足，本发明提供了一种基于注意力机制的肝脏病理图像分割模型建立及分割方法，解决现有的分割方法在肝脏组织病理图像异常和正常组织区域内部欠分割(出现空洞)以及正常组织区域和异常组织区域边界分割不够准确的问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
本发明公开的基于注意力机制的肝脏病理图像分割模型建立方法，包括以下步骤：
步骤1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；
步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，
编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；
多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；
多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；
特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；
解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，
其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；
步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
具体的，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过归一化处理获得位置关联强度矩阵S；
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图。
具体的，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过归一化处理获得通道关联强度矩阵X；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图。
具体的，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；
所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；
所述的多尺度特征融合模块包括一个1×1的卷积层；
所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；
所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
本发明还公开了基于注意力机制的肝脏病理图像分割模型建立系统，该系统包括：
图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；
分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，
编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；
多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；
多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；
特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；
解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，
其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；
分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
具体的，所述的特征注意力模块中，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过归一化处理获得位置关联强度矩阵S；
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图。
具体的，所述的特征注意力模块中，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过归一化处理获得通道关联强度矩阵X；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图。
具体的，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；
所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；
所述的多尺度特征融合模块包括一个1×1的卷积层；
所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；
所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
本发明还公开了基于注意力机制的肝脏病理图像分割方法，包括以下步骤：
步骤1，对待处理的肝脏病理图像，进行本发明模型构建方法中步骤1的预处理，得到切片图像块和掩模图像块；
步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到本发明得到的分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
本发明还公开了基于注意力机制的肝脏病理图像分割系统，该系统包括以下模块：
图像处理模块，用于对待处理的肝脏病理图像，进行本发明模型建立方法步骤1或图像处理模块的处理，得到切片图像块和掩模图像块；
肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到本发明得到的分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；
比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
与现有技术相比，本发明的有益效果是：
(1)本发明的分割网络利用空洞卷积来提取不同感受野的特征并对它们进行融合以增加上下文语义信息，解决了肝脏组织病理图像分割中边界的难分问题；
(2)本发明的分割网络引入了特征注意力机制，分别对位置和通道维度进行注意力建模，以获得空间维度和通道维度的特征相关性，进一步的提高模型对于正常组织区域、异常组织区域和背景的区分能力，缓解了肝脏组织病理图像空洞多对模型学习带来的影响；
(3)本发明采用了编码器和解码器组成的U型网络的基础架构，解决了数据样本少带来的模型不易收敛等问题；本发明方法和模型网络参数量较少，对于样本数量少的情况也不容易过拟合，提高了模型的鲁棒性。同时本发明解码器模块实现了低级特征和高级特征的跳跃连接，将用于定位的深层特征和有助于精确分割浅层特征结合，更适用于解决肝脏组织病理图像边界模糊的问题。
附图说明
图1是本发明方法肝脏组织病理图像分割的整体流程图。
图2是本方法中的分割网络结构图。
图3是实施例1采用特征注意力机制对特征图的空间域建模过程。
图4是实施例1采用特征注意力机制对特征图的通道域建模过程。
图5是实施例2的分割模型建立系统整体结构。
图6是实施例3与现有方法得到的分割结果图。
具体实施方式
以下给出本发明的具体实施例，需要说明的是，本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1
本实施例公开了基于注意力机制的肝脏病理图像分割模型建立方法，具体包括以下步骤：
步骤1，肝脏组织病理图像处理
本实施例的数据集源自于国内某医院病理科所采集的30张H&E染色的肝脏组织病理全场病理切片，数据集随机划分为三份，采用三折交叉验证对网络进行评估，取三折的均值作为最终结果。
本发明处理的图像为数字化病理全场图像(RGB，3通道)，图像尺寸为10000╳10000以上，因计算机性能的限制一般无法是实现直接对全场病理图像的分割处理，故使用滑动窗口策略将全场图像剪裁为512×512大小的图像块。但在窗口滑动过程中难免有裁剪至边界的情况，这时采用填充的方法，对图像进行补0操作，但在实际的模型训练过程中，填补0后的黑色区域会对模型学习带来干扰，所以在进行实验前对数据集中有黑色区域的图像进行处理，将黑色区域和背景统一转化为255后进行实验。因此，步骤1具体包括：
步骤1.1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，采用滑动窗口策略从中截取197组大小为512×512样本图像块用于标注。每张对应有正常区域的掩膜和坏死区域的掩膜，本实验使用其中159组作为训练集。
步骤1.2，为了避免窗口滑动过程中裁剪至边界对模型学习带来的影响。本发明还需对步骤1.1得到的切片图像块进行预处理，预处理过程为：设定阈值将切片图像块和掩模图像块背景统一映射到[255,255,255]，去除因滑动窗口策略剪裁至边界产生的黑色区域。本发明中，每个切片图像对应有多个切片图像块和掩模图像块。
步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器部分和解码器部分，如图2所示。
其中，编码器部分包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块，其中，
编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图。每个肝脏组织病理切片图像块对应多个语义特征图，语义特征图的数量与编码器的数量对应。本实施例中，编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层，来确保每个编码器提取不同粒度的语义信息。
多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图。每个语义特征图对应多个不同分辨率的语义特征图。
本实施例中，多尺度特征提取模块包括一个3×3的普通卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构。输入的特征图通过四种并行卷积，获得四种不同分辨率的特征图。增大了感受野，可以获得更多上下文信息，有助于改善模型对于边界细节的分割能力，在一定程度上解决肝脏病理图像中异常组织和正常组织边界难分问题。
多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，以减少通道数量，得到低通道特征图。其中一个切片图像块对应一个低通道特征图。
本发明将不同膨胀率提取到的不同尺度的特征进行拼接后，采用1×1大小的卷积将其转化为固定大小的特征图，由于融合了不同尺度的特征，因此提高了网络对于肝脏病理图像中小区域病变的分割能力，同时也减少了特征信息的损失，有助于后续解码器上采样恢复细节信息。
本实施例的多尺度特征融合模块包括一个1×1的普通卷积层；本实施例通过一个1×1的普通卷积层来变化通道，使其通道数降低，降低后的低通道特征图的通道数与输入特征图的通道数量保持一致。
特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；然后将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图。
具体为：由于肝脏组织病理图像中不同组织区域内的细胞形状、染色情况等存在差异，但组织间也存在一定的拓扑结构相似性，为了利用任意两点特征之间的关联，来相互增强各自特征的表达，本发明利用特征注意力机制对位置进行建模。本实施例采用特征注意力机制对低通道特征图的空间域建模过程如图3所示，具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图中每个像素对应位置形成原始特征矩阵A，原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过softmax操作归一化处理，获得位置关联强度矩阵S，其中越相似的两点特征之间，响应值越大。本实施例中，响应值为关联强度矩阵S中的每个数值。
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图，即图3中的E。
本发明通过像素间的关联性达到选择性增强或抑制特征的作用，提高模型对于正常组织区域、异常组织区域和背景的区分能力。
不同通道间的特征图可以看作是对特定类别的响应，且不同响应间有一定的依赖关系，本发明利用注意力机制对通道域进行建模，具体过程与空间域建模相似，不同的是改变维度后的两个特征矩阵的相乘过程不同，具体过程为：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过softmax操作归一化处理，获得通道关联强度矩阵X，同样，越相似的两点特征之间，响应值越大；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图，即图4中的E。
本实施例的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块也包括3个1×1的卷积层。
本步骤的解码器部分包括解码器模块，解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，
其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图，和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图，其中，具有特征全局依赖关系的特征图是指经上采样处理后的具有特征全局依赖关系的特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图，其中，输出特征图是指经上采样处理后的输出特征图；每个解码器输出的是与其输入具有相同分辨率的分割概率图。该解码器模块最终得到的是最后一个解码器输出的分割概率图。
本实施例的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
在本实施例中，构建DSC和交叉熵(crossentropy)的和作为网络的目标函数，网络训练损失函数L为：
其中，yi是医生标注的金标准，网络预测概率图，i表示第i个样本。
将步骤1得到的切片图像块和掩模图像块送入构建好的分割网络中，使用该损失函数端到端的训练分割网络，得到训练好的分割模型。
实施例2
本实施例公开了一种基于注意力机制的肝脏病理图像分割模型建立系统，如图5所示，该系统包括：
(1)图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；具体包括图像裁剪模块和图像预处理模块，其中，
(1.1)图像裁剪模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，
(1.2)图像预处理模块，用于通过设定阈值将切片图像块和掩模图像块背景统一映射到[255,255,255]，去除因滑动窗口策略剪裁至边界产生的黑色区域。
(2)分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络,分割网络包括编码器部分和解码器部分，其中编码器部分包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块，解码器部分包括解码器模块。其中，
(2.1)编码器模块，用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图。本实施例中，编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层，来确保每个编码器提取不同粒度的语义信息。
(2.2)多尺度特征提取模块，用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图。本实施例中，多尺度特征提取模块包括一个3×3的普通卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构。
(2.3)多尺度特征融合模块，用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图。本实施例的多尺度特征融合模块包括一个1×1的普通卷积层。
(2.4)特征注意力模块，用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图。本实施例的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块也包括3个1×1的卷积层。
本实施例采用特征注意力机制对低通道特征图的空间域建模过，具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图中每个像素对应位置形成原始特征矩阵A，原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过softmax操作归一化处理，获得位置关联强度矩阵S，其中越相似的两点特征之间，响应值越大。本实施例中，响应值为关联强度矩阵S中的每个数值。
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图，即图3中的E。
具体的，本发明利用注意力机制对通道域进行建模，过程与空间域建模相似，不同的是改变维度后的两个特征矩阵的相乘过程不同，具体过程为：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过softmax操作归一化处理，获得通道关联强度矩阵X，同样，越相似的两点特征之间，响应值越大；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图，即图4中的E。
(2.5)解码器模块，用于获取具有特征全局依赖关系的特征图的分割概率图。其中，
解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图，和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图，其中，具有特征全局依赖关系的特征图是指经上采样处理后的具有特征全局依赖关系的特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图，其中，输出特征图是指经上采样处理后的输出特征图；每个解码器输出的是与其输入具有相同分辨率的分割概率图。该解码器模块最终得到的是最后一个解码器输出的分割概率图。
本实施例的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
在本实施例中，构建DSC和交叉熵(crossentropy)的和作为网络的目标函数，网络训练损失函数L如公式(3)所示，使用该损失函数端到端的训练分割网络。
经过上述方法获得分割模型后，采用该模型对待处理图像进行分割，分割思路如图1所示，具体过程见实施例3。
实施例3
本实施例公开了一种基于注意力机制的肝脏病理图像分割方法，包括以下步骤：
步骤1，对待处理的肝脏病理图像。
本实施例将197组肝脏组织病理图像块中的38组作为测试集，如图6中原图所示为38组图像块中的其中一幅图像块。根据实施例1中步骤1进行处理，得到切片图像块和掩模图像块；
步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
如图6最后一幅图所示为本实施例的肝脏组织病理图像分割结果，其他五幅图片为目前常用的5种分割方法对应的分割结果，可以看出，本发明的分割方法在异常区域处边界处分割较为准确。
本发明还对比了本发明方法与目前常用的5种不同方法之间的分割效果，如表1所示。
表1所示为本发明实施例中197组肝脏组织病理图像块样本的实验结果的均值，其中戴斯系数(Dice Similarity Coefficient，DSC)、像素精度(Pixel accuracy，PA)和频权交并比(Frequency Weighted Intersection over Union，FWIoU)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表分割性能越好。
表1不同方法之间的效果对比
由表1可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。
实施例4
本实施例还公开了一种基于注意力机制的肝脏病理图像分割系统，该系统包括以下模块：
(1)图像处理模块，用于对待处理的肝脏病理图像，进行实施例3中步骤1或实施例2中图像处理模块的处理，得到切片图像块和掩模图像块；
(2)肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；
比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
Claims (6)
1.基于注意力机制的肝脏病理图像分割模型建立方法，其特征在于，包括以下步骤：
步骤1，对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；
步骤2，构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，
编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；
多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；
多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；
特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；
采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过归一化处理获得位置关联强度矩阵S；
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图；
采用特征注意力机制对低通道特征图通道域建模的具体过程包括：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过归一化处理获得通道关联强度矩阵X；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图；
解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，
其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；
步骤3，将步骤1得到的切片图像块和掩模图像块作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
2.如权利要求1所述的基于注意力机制的肝脏病理图像分割模型建立方法，其特征在于，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；
所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；
所述的多尺度特征融合模块包括一个1×1的卷积层；
所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；
所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
3.基于注意力机制的肝脏病理图像分割模型建立系统，其特征在于，该系统包括：
图像处理模块，用于对肝脏组织病理切片图像和其对应的专家标注掩模图像进行裁剪处理，得到切片图像块和掩模图像块；
分割网络构建模块，用于构建基于多尺度特征和注意力机制的肝脏组织病理图像分割网络，所述的分割网络包括编码器模块、多尺度特征提取模块、多尺度特征融合模块、特征注意力模块和解码器模块，其中，
编码器模块用于对步骤1得到的切片图像块进行编码，得到分辨率降低而特征维度增加的语义特征图；
多尺度特征提取模块用于使用不同膨胀率的空洞卷积对编码器模块得到的每个语义特征图进行处理，得到不同分辨率的语义特征图；
多尺度特征融合模块用于将不同分辨率的语义特征图进行拼接得到高通道特征图，将高通道特征图向低通道进行变换，得到低通道特征图；
特征注意力模块用于使用特征注意力机制对低通道特征图分别进行空间域和通道域的建模，得到空间域注意力特征图和通道域注意力特征图；将空间域注意力特征图和通道域注意力特征图进行相加融合，获得具有特征全局依赖关系的特征图；
所述的特征注意力模块中，采用特征注意力机制对低通道特征图的空间域建模的具体过程包括：
(1)计算低通道特征图的位置关联强度矩阵S，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(1)计算得到关联强度矩阵S′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将S′经过归一化处理获得位置关联强度矩阵S；
(2)将位置关联强度矩阵S作为加权对特征矩阵C进行加权融合后，得到空间域注意力特征图；
所述的特征注意力模块中，采用特征注意力机制对低通道特征图通道域建模的具体过程包括：
(1)计算低通道特征图的通道关联强度矩阵X，具体为：
低通道特征图对应的原始特征矩阵A经过特征重塑和转置后得到特征矩阵B，B＝H×W×C′，将原始特征矩阵A经过特征重塑后得到特征矩阵C，C＝C′×H×W，改变特征维度后，得到的特征矩阵和/>通过公式(2)计算得到关联强度矩阵X′，
其中，其中C′表示低通道特征图的通道数、H、W分别表示低通道特征图的高和宽；
将X′经过归一化处理获得通道关联强度矩阵X；
(2)将通道关联强度矩阵X作为加权对特征矩阵C进行加权融合后，得到通道域注意力特征图；
解码器模块用于获取具有特征全局依赖关系的特征图的分割概率图，
其中，解码器模块包括多个解码器，第一个解码器输入的是注意力模块得到的具有特征全局依赖关系的特征图和编码器模块得到的与具有特征全局依赖关系的特征图相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图以及编码器模块得到的与此输出特征图具有相同分辨率的语义特征图；
分割模型构建模块，用于将图像处理模块得到的切片图像块和掩模图像块作为分割网络的输入，将分割网络构建模块得到的分割概率图作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
4.如权利要求3所述的基于注意力机制的肝脏病理图像分割模型建立系统，其特征在于，所述的编码器模块包括四个编码器，每个编码器包括2个3×3的卷积层和一个2×2的池化层；
所述的多尺度特征提取模块包括一个3×3的卷积层、一个膨胀率为6的3×3的空洞卷积层、一个空洞率为12的3×3的空洞卷积层、一个空洞率为18的3×3的空洞卷积层，或者多尺度特征提取模块为ASPP网络结构；
所述的多尺度特征融合模块包括一个1×1的卷积层；
所述的特征注意力模块包括空间域注意力模块和通道域注意力模块，空间域注意力模块包括3个1×1的卷积层，通道域注意力模块包括3个1×1的卷积层；
所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积层。
5.一种如权利要求1～2任一项所述的基于注意力机制的肝脏病理图像分割模型建立方法的分割方法，其特征在于，包括以下步骤：
步骤1，对待处理的肝脏病理图像，进行预处理，得到切片图像块和掩模图像块；
步骤2，将步骤1得到的得到切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，分割概率图包括目标分割概率图和背景分割概率图；比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
6.一种如权利要求3～4任一项所述的基于注意力机制的肝脏病理图像分割模型建立系统的分割系统，其特征在于，该系统包括以下模块：
图像处理模块，用于对待处理的肝脏病理图像，进行预处理，得到切片图像块和掩模图像块；
肝脏病理图像分割模块，用于将图像处理模块得到的切片图像块和掩模图像块输入到分割模型中，得到分割概率图，其中，所述的分割概率图包括目标分割概率图和背景分割概率图；
比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肝脏病理图像分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809379.6A CN112017191B (zh) | 2020-08-12 | 2020-08-12 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809379.6A CN112017191B (zh) | 2020-08-12 | 2020-08-12 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017191A CN112017191A (zh) | 2020-12-01 |
| CN112017191B true CN112017191B (zh) | 2023-08-22 |
Family
ID=73505996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010809379.6A Active CN112017191B (zh) | 2020-08-12 | 2020-08-12 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017191B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489062B (zh) * | 2020-12-10 | 2024-01-30 | 中国科学院苏州生物医学工程技术研究所 | 基于边界及邻域引导的医学图像分割方法及系统 |
| CN112509052B (zh) * | 2020-12-22 | 2024-04-23 | 苏州超云生命智能产业研究院有限公司 | 黄斑中心凹的检测方法、装置、计算机设备和存储介质 |
| CN113065551B (zh) * | 2021-03-19 | 2023-08-08 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
| CN112949838B (zh) * | 2021-04-15 | 2023-05-23 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN113223008A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 基于多尺度引导注意网络的眼底图像分割方法及系统 |
| CN113139969A (zh) * | 2021-05-17 | 2021-07-20 | 齐鲁工业大学 | 一种基于注意力机制的弱监督图像语义分割方法及系统 |
| CN113326851B (zh) * | 2021-05-21 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
| CN113486716B (zh) * | 2021-06-04 | 2022-06-14 | 电子科技大学长三角研究院(衢州) | 机场场面目标分割方法及其系统 |
| CN113420641B (zh) * | 2021-06-21 | 2024-06-14 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN113139627B (zh) * | 2021-06-22 | 2021-11-05 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
| CN113591859A (zh) * | 2021-06-23 | 2021-11-02 | 北京旷视科技有限公司 | 图像分割方法、装置、设备及介质 |
| CN113674288B (zh) * | 2021-07-05 | 2024-02-02 | 华南理工大学 | 一种非小细胞肺癌数字病理图像组织自动分割方法 |
| CN113496496B (zh) * | 2021-07-07 | 2023-04-07 | 中南大学 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
| CN113610032A (zh) * | 2021-08-16 | 2021-11-05 | 北京市城市规划设计研究院 | 基于遥感影像的建筑物识别方法和装置 |
| CN113793345B (zh) * | 2021-09-07 | 2023-10-31 | 复旦大学附属华山医院 | 一种基于改进注意力模块的医疗影像分割方法及装置 |
| CN113989301A (zh) * | 2021-10-29 | 2022-01-28 | 浙江工业大学 | 一种融合多种注意力机制神经网络的结直肠息肉分割方法 |
| CN114283153A (zh) * | 2021-11-15 | 2022-04-05 | 天津大学 | 基于神经网络的肺部病理切片癌细胞分割算法 |
| CN114677403B (zh) * | 2021-11-17 | 2024-07-09 | 东南大学 | 基于深度学习注意力机制的肝脏肿瘤图像分割方法 |
| CN114298979B (zh) * | 2021-12-09 | 2024-05-31 | 北京工业大学 | 一种局灶性病变征象描述指导的肝核磁影像序列生成方法 |
| CN114359302A (zh) * | 2021-12-17 | 2022-04-15 | 华东师范大学 | 一种基于腹部ct影像的皮下脂肪及内脏脂肪区域分割方法 |
| CN114463336A (zh) * | 2021-12-29 | 2022-05-10 | 济南超级计算技术研究院 | 一种用于图像及其像素级分割标注数据的裁剪方法及系统 |
| CN114638292B (zh) * | 2022-03-10 | 2023-05-05 | 中国医学科学院北京协和医院 | 一种基于多尺度分析的人工智能病理辅助诊断系统 |
| CN114511581B (zh) * | 2022-04-20 | 2022-07-08 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN115018864B (zh) * | 2022-06-17 | 2024-04-05 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
| CN114782440B (zh) * | 2022-06-21 | 2022-10-14 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| CN115147703B (zh) * | 2022-07-28 | 2023-11-03 | 广东小白龙环保科技有限公司 | 一种基于GinTrans网络的垃圾分割方法及系统 |
| CN115953420B (zh) * | 2023-03-15 | 2023-08-22 | 深圳市联影高端医疗装备创新研究院 | 深度学习网络模型以及医疗图像分割方法、装置和系统 |
| CN117095177B (zh) * | 2023-08-23 | 2024-06-04 | 脉得智能科技(无锡)有限公司 | 肾脏图像定位方法、装置和电子设备 |
| CN117392392B (zh) * | 2023-12-13 | 2024-02-13 | 河南科技学院 | 一种割胶线识别与生成方法 |
| CN118053018B (zh) * | 2024-01-23 | 2024-08-16 | 北京透彻未来科技有限公司 | 一种基于病理大模型的语义分割模型构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111429473A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
-
2020
- 2020-08-12 CN CN202010809379.6A patent/CN112017191B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111429473A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于具有空间注意力机制的Mask R-CNN的口腔白斑分割;谢飞;穆昱;管子玉;沈雪敏;许鹏飞;王和旭;;西北大学学报(自然科学版)(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017191A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017191B (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类系统 | |
| CN115018824B (zh) | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN111582111B (zh) | 一种基于语义分割的细胞各成分分割方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN111402267A (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| Xia et al. | Dilated multi-scale cascade forest for satellite image classification | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN112819768B (zh) | 基于dcnn的癌症全视野数字病理切片生存分析方法 | |
| CN113065551A (zh) | 利用深度神经网络模型执行图像分割的方法 | |
| CN115439493A (zh) | 一种乳腺组织切片癌变区域分割方法及装置 | |
| CN110826560A (zh) | 一种食管癌病理图像标注方法 | |
| Bhimavarapu et al. | Analysis and characterization of plant diseases using transfer learning | |
| CN111210447B (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| Reddy et al. | A hybrid K-means algorithm improving low-density map-based medical image segmentation with density modification | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN113643310B (zh) | 一种基于上下文聚合的mri图像肝血管分割方法 | |
| CN113012167B (zh) | 一种细胞核与细胞质的联合分割方法 | |
| CN114155249A (zh) | 一种基于深度矢量场回归的三维细胞图像实例分割方法 | |
| CN116912240B (zh) | 基于半监督学习的突变tp53免疫学检测方法 | |
| CN115274093B (zh) | 生成包含自动标注文件的基准病理数据集的方法及系统 | |
| CN113642663B (zh) | 一种卫星遥感影像水体提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |