CN113379764B - 一种基于域对抗自监督学习的病理图像分割方法 - Google Patents
一种基于域对抗自监督学习的病理图像分割方法 Download PDFInfo
- Publication number
- CN113379764B CN113379764B CN202110621825.5A CN202110621825A CN113379764B CN 113379764 B CN113379764 B CN 113379764B CN 202110621825 A CN202110621825 A CN 202110621825A CN 113379764 B CN113379764 B CN 113379764B
- Authority
- CN
- China
- Prior art keywords
- pathological image
- domain
- self
- supervision
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 144
- 238000003709 image segmentation Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008485 antagonism Effects 0.000 title claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 230000007170 pathology Effects 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 26
- 238000012512 characterization method Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004043 dyeing Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于域对抗自监督学习的病理图像分割方法。包括：获取病理图像建立病理图像自监督数据集；建立域对抗自监督模型；使用病理图像自监督数据集对域对抗自监督模型进行深度学习训练；建立病理图像分割模型；使用经过深度学习后的域对抗自监督模型对病理图像分割模型进行初始化；对病理图像中的病灶区域进行像素级别标注建立病理图像分割数据集；使用病理图像分割数据集对病理图像分割模型进行深度学习训练；使用深度学习训练后的病理图像分割模型对病理图像的未知病灶区域进行分割。本发明方法，采用域对抗自监督学习的方法，有效缓解了分割模型对大量人工标注的依赖并解决了模型在不同域上分割性能波动的问题。
Description
技术领域
本发明涉及计算机视觉与医学图像分析领域，具体涉及一种基于域对抗自监督学习的病理图像分割方法。
背景技术
病理图像分析是为临床诊疗和医学科研服务的交叉学科，研究者需要密切关注其他研究领域的进展，从中寻找新的研究思路和领域。病理图像标准数据集和评估方法的建立，对辅助病理诊断的推动具有重要的意义，目前虽然已经取得一定成果，但只是在特定的解剖位置和成像模态上，需要进一步发展。除此之外，随着疑难与新类型病灶的出现，也需要模型拥有自我学习与更新的能力。虽然目前病理图像分析问题已经取得了一些进展，但是目前的方法准确性与可靠性仍不足以在真实的临床诊断中发挥作用。
由于复杂的背景噪声、细胞核重叠和聚集、背景和前景边缘模糊、视觉外观变化、染色变化等所带来的域不一致等问题，病理图像分析是一项具有挑战性的任务。其中，域不一致问题被普遍认为是一个可能影响系统性能的关键因素，近年来引起了广泛的关注，目前主要采用染色标准化的策略来解决域不一致的问题。染色标准化方法大致可分为三种:颜色匹配、染色分离和染色转移。在颜色匹配中，主要思想是将源图像的RGB颜色映射到参考图像，一种简单的方法是对参考图像和同源图像的颜色直方图进行匹配，但这并不适用于组织成分比例变化较大的复杂组织图像。为了克服直方图匹配的局限性，人们提出了染色分离技术，其主要思想是将图像反卷积到它们的主染色成分上，每一个都分别进行归一化。然而，基于染色分离的方法也存在需要参考图像的缺点，繁琐且限制了方法的适应性。近年来，许多研究提出使用生成对抗网络(GAN)来解决域一致性问题，主要思路是使用GAN来学习源图像的结构保持特征。这类方法虽然消除了选择参考图像的需要，但需要指定明确的源和目标域标签，因此域标准化通常作为组织病理学图像分析任务的预处理步骤。
本发明提出一种基于域对抗自监督学习的病理图像分割方法，该方法有效融合了域对抗学习与自监督学习的思想，该方法同时用于域的自我监督对比学习和对抗训练。模型转移到下游分割性能得到改善，使得模型对域差异的敏感性降低。该方法具有较好的创新性与推广性，既适用于细胞核分割，也适用于组织分割，具有较高的应用价值。
发明内容
本发明的目的在于降低现有模型对域差异的精度波动并提高模型的表征学习能力，提供一种基于域对抗自监督学习的病理图像分割方法，该方法有效解决域差异对现有方法的影响，并有效提高了现有模型的表征学习能力。
为实现上述目的，本发明的技术方案是：一种基于域对抗自监督学习的病理图像分割方法，包括如下步骤：
步骤S1、获取病理图像建立病理图像域对抗自监督数据集；
步骤S2、建立域对抗自监督模型；
步骤S3、使用病理图像域对抗自监督数据集对域对抗自监督模型进行深度学习训练；
步骤S4、对病理图像中的病灶区域进行像素级别标注建立病理图像分割数据集；
步骤S5、建立病理图像分割模型；
步骤S6、使用经过深度学习后的域对抗自监督模型对病理图像分割模型进行初始化；
步骤S7、使用病理图像分割数据集对病理图像分割模型进行深度学习训练；
步骤S8、使用深度学习训练后的病理图像分割模型对病理图像的未知病灶区域进行分割。
在本发明一实施例中，步骤S1中，通过全切片病理扫描仪将病理切片扫描为病理图像，使用滑动窗口将病理图像切分成尺寸适中的病理图像块，可得病理图像自监督数据集，表示为Iself。
在本发明一实施例中，步骤S2中，所述域对抗自监督模型包括：一个自监督对比模块G，一个域判别器D。
在本发明一实施例中，所述自监督对比模块G包括：一个数据增强模块T，一个编码器fb，一个表征层fr，一个投影层fp；
病理图像自监督数据集Iself以划分小批次的形式输入到域对抗自监督模型，定义每个小批次大小为N可表示为
首先数据增强模块T随机生成两个不同的图像增强函数t～T和t′～T，X分别输入图像增强函数t～T和t′～T可得/>
与/>
在开启梯度的情况下将/>
和/>
分别依次输入编码器fb，表征层fr和投影层fp生成投影s和s′，在关闭梯度的情况下将/>
和/>
分别依次输入编码器fb和表征层fr生成表征z和z′，最后将投影s和s′输入域判别器D生成域亲和度矩阵A，上述过程可表示为：
数据增强模块中包括翻转、旋转、裁剪、变形、缩放的几何变换类数据增高方法及噪声、模糊、颜色变换、擦除、填充的颜色变换类数据增高方法，图像增强函数t～T和t′～T的方式是数据增强模块中增强方法的随机组合；
编码器fb包括四个串行相连的残差卷积组和四个嵌入层，病理图像输入fb后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，每个残差卷积组的输出除输入下一残差卷积组外还会分别输入由卷积层和全连接层组成的嵌入层转置为一个256维的特征向量，最后将四个256维的特征向量进行拼接得到一个1024维的聚合特征向量并输出；
表征层fr包括一个全连接层，将编码器fb输出的聚合特征向量输入全连接层后输出表征特征向量；
投影层fp包括一个全连接层，将表征层fr输出的表征特征向量输入全连接层后输出投影特征向量；
所述域判别器D包括一个嵌入层，嵌入层包括两个全连接层和两个带泄露修正线性单元层，投影s和s′输入域判别器D后分别依次通过第一个全连接层，第一个带泄露修正线性单元层，第二个全连接层，第二个带泄露修正线性单元层，生成亲和度向量l和l′，最后将l转置后的lT与l′进行外积输出域亲和度矩阵A。
在本发明一实施例中，步骤S3中，所述深度学习训练方法为随机梯度下降方法，域对抗自监督模型通过对比损失函数Lsimilarity和亲和度损失函数Ladversarial进行对抗训练，学习域对抗自监督模型的最优参数；
对比损失函数Lsimilarity的表达为：
其中，通过最小化s与z′(以及s′与z)之间的负余弦相似度，使得域对抗自监督模型在无监督信息的情况下学习病理图像中的潜在表征；
亲和度损失函数Ladversarial的表达为：
其中，通过最小化域亲和度矩阵A对角线元素与非对角线元素之间的亲和度差异，使得域对抗自监督模型降低在不同域情况下的波动。
在本发明一实施例中，通过域对抗自监督模型中的自监督对比模块G与域判别器D进行相互对抗，提高自监督对比模块G的表征提取能力，上述对抗过程可表示为：
在本发明一实施例中，步骤S4中，所述像素级别标注过程需要标注出病理图像的病灶区域，以像素级别标注为病理图像内的每个像素点都分配相应的病灶标签，病理图像分割数据集可表示为Iseg，Iseg中的第i个样本表示为(Pi，Mi)，其中，P为，I为病理图像，M为对应的像素级别标注数据，且M∈[0，N]，N为病灶类型数量。
在本发明一实施例中，步骤S5中，所述病理图像分割模型包括：一个编码器fencoder、一个解码器fdecoder；病理图像输入病理图像分割模型后，首先输入编码器fencoder后输出编码后的深层语义特征，深层语义特征输入解码器fdecoder后输出病理图像分割结果M′；
编码器fencoder包括四个串行相连的残差卷积组，病理图像输入fencoder后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，最后一个残差卷积组输出病理图像的深层语义特征；
解码器fdecoder包括四个串行相连的残差反卷积组，深层语义特征输入fdecoder后依次输入残差反卷积组逐层对语义特征进行解码，第一个残差卷积组的输入为深层语义特征，第二个至第三个残差反卷积组的输入为上一层残差反卷积组的输出，最后一个残差反卷积组输出图像的病理图像分割结果M′。
在本发明一实施例中，步骤S6中，所述病理图像分割模型初始化的过程为：将经过深度学习的域对抗自监督模型中编码器fb中的四个串行相连的残差卷积组的权重迁移至病理图像分割模型中编码器fencoder中的四个串行相连的残差卷积组中。
在本发明一实施例中，步骤S7中，所述深度学习训练方法为随机梯度下降方法，通过最小化分割损失函数Lseg学习病理分割模型的最优参数；
分割损失函数Lseg表达为：
其中N为病灶类型数，W为病理图像宽度，H为病理图像高度，M为病理图像分割掩码，M′为病理图像分割结果。
相较于现有技术，本发明具有以下有益效果：
(1)通过自监督对比学习的方式有效提高了模型的表征提取能力。
(2)基于亲和度矩阵的对抗训练帮助模型克服了域差异带来的精度波动。
(3)该域对抗训练的方法在组织分割及细胞分割上都具有增益。
(4)本发明提出的方法具有较高的可扩展性，可在除病理之外的医学分割数据集上进行应用。
附图说明
图1为本发明一种基于域对抗自监督学习的病理图像分割方法的流程框图；
图2为域对抗自监督模型流程示意图；
图3为域判别器结构示意图；
图4为域对抗自监督学习热值分布示意图；
图5为病理图像分割标注示意图；
图6为本发明一种基于域对抗自监督学习的病理图像分割方法示例图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，本发明提供的一种基于域对抗自监督学习的病理图像分割方法，包括如下步骤：
步骤S1、获取病理图像建立病理图像域对抗自监督数据集；
步骤S2、建立域对抗自监督模型；
步骤S3、使用病理图像域对抗自监督数据集对域对抗自监督模型进行深度学习训练；
步骤S4、对病理图像中的病灶区域进行像素级别标注建立病理图像分割数据集；
步骤S5、建立病理图像分割模型；
步骤S6、使用经过深度学习后的域对抗自监督模型对病理图像分割模型进行初始化；
步骤S7、使用病理图像分割数据集对病理图像分割模型进行深度学习训练；
步骤S8、使用深度学习训练后的病理图像分割模型对病理图像的未知病灶区域进行分割。
可选的，步骤S1具体包括如下步骤：
通过全切片病理扫描仪将病理切片扫描为病理图像，使用滑动窗口将病理图像切分成尺寸适中的病理图像块，可得病理图像自监督数据集，可表示为Iself；
可选的，步骤S2中，所述域对抗自监督模型包含：一个自监督对比模块G，一个域判别器D；
其中，自监督对比模块G包含：一个数据增强模块T，一个编码器fb，一个表征层fr，一个投影层fp；
图2是域对抗自监督学习流程示意图，病理图像自监督数据集Iself以划分小批次的形式输入到域对抗自监督模型，定义每个小批次大小为N可表示为
首先数据增强模块T随机生成两个不同的图像增强函数t～T和t′～T，X分别输入图像增强函数t～T和t′～T可得/>
与/>
在开启梯度的情况下将/>
和/>
分别依次输入编码器fb，表征层fr和投影层fp生成投影s和s′，在关闭梯度的情况下将/>
和/>
分别依次输入编码器fb和表征层fr生成表征z和z′，最后将投影s和s′输入域判别器D生成域亲和度矩阵A，上述过程可表示为：
在上述过程中，在开启梯度的情况下生成了映射s，s′，在关闭梯度的情况下生成了表征z，z′，其中编码器fb和表征层fr都采用了孪生网络的思想进行了权重共享，而不同的是映射s，s′可进行梯度反向传播，更新模型参数，而表征z，z′则把s，s′作为表征学习标签进行拟合；
其中图2所展示的开启-关闭梯度的思想可理解为动力学的交替优化建模，该步骤可以有效提升表征学习的连续性，在关闭梯度的情况下优化器可以迅速找到最小可能损失点避免了模型性能的整体退化；
其中，数据增强模块T中包括翻转，旋转，裁剪，变形，缩放等几何变换类数据增高方法及噪声、模糊、颜色变换、擦除、填充等颜色变换类数据增高方法，图像增强函数t～T和t′～T的方式是数据增强模块中增强方法的随机组合；
其中，编码器fb包含四个串行相连的残差卷积组和四个嵌入层，病理图像输入fb后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，每个残差卷积组的输出除输入下一残差卷积组外还会分别输入由卷积层和全连接层组成的嵌入层转置为一个256维的特征向量，最后将四个256维的特征向量进行拼接得到一个1024维的聚合特征向量并输出；
其中，表征层fr包含一个全连接层，将编码器fb输出的聚合特征向量输入全连接层后输出表征特征向量；
其中，投影层fp包含一个全连接层，将表征层fr输出的表征特征向量输入全连接层后输出投影特征向量；
图3为域判别器结构示意图，其中，域判别器D包含一个嵌入层，嵌入层包含两个全连接层和两个带泄露修正线性单元层，投影s和s′输入域判别器D后分别依次通过第一个全连接层，第一个带泄露修正线性单元层，第二个全连接层，第二个带泄露修正线性单元层，生成亲和度向量l和l′，最后将l转置后的lT与l′进行外积输出域亲和度矩阵A；
其中，如图3所示，设定lT是一个m×1的列向量，l′是一个1×m的列向量，则域亲和度矩阵A是一个m×m的方阵，ai，j表示lT中第i张病理图像与l′中第j张病理图像的域亲和度，当i＝j时，两张图像为同一张病理图像的不同增强形式，因此当判别器性能较好时可以正确分辨出非同源病理图像之间染色亲和度的差异，使得亲和度矩阵A中对角线的平均值较高(亲和度矩阵A中红色部分)，非对角线的平均值较低(亲和度矩阵A中蓝色部分)；
其中，对抗训练的目的则是最终目的是以对抗的形式让自监督对比模块G可以学会提取图像的不变性表征，使得亲和度矩阵A中任意病理图像之间都具有较高染色亲和度，进而提升编码器fb的表征学习能力；
可选的，步骤S3中，所述深度学习训练方法为随机梯度下降(StochasticGradient Descent)方法，域对抗自监督模型通过对比损失函数Lsimilarity和亲和度损失函数Ladversarial进行对抗训练，学习域对抗自监督模型的最优参数；
其中，对比损失函数Lsimilarity的表达为：
其中，通过最小化s与z′(以及s′与z)之间的负余弦相似度，使得域对抗自监督模型在无监督信息的情况下学习病理图像中的潜在表征；
其中，亲和度损失函数Ladversarial的表达为：
其中，通过最小化域亲和度矩阵A对角线元素与非对角线元素之间的亲和度差异，使得域对抗自监督模型降低在不同域情况下的波动；
其中，通过域对抗自监督模型中的自监督对比模块G与域判别器D进行相互对抗，提高自监督对比模块G的表征提取能力，上述对抗过程可表示为：
图4为域对抗自监督学习热值分布示意图，可以明显看出经过自监督对抗学习后模型在无监督的情况下可以区分前景和背景区域之间的差异，对于细胞组织等重要区域具有高度的热值响应；
可选的，步骤S4中，所述像素级别标注过程需要标注出病理图像的病灶区域，以像素级别标注为所述病理图像内的每个像素点都分配相应的病灶标签，图5为病理图像分割标注示意图，所述病理图像分割数据集可表示为Iseg，Iseg中的第i个样本表示为(Pi，Mi)，其中，P为，I为所述病理图像，M为对应的所述像素级别标注数据，且M∈[0，N]，N为病灶类型数量；
可选的，步骤S5中，建立病理图像分割模型具体包括：一个编码器fencoder、一个解码器fdecoder，病理图像输入病理图像分割模型后，首先输入编码器fencoder后输出编码后的深层语义特征，深层语义特征输入解码器fdecoder后输出病理图像分割结果M′；
其中，编码器fencoder，其特征在于，编码器fencoder包含四个串行相连的残差卷积组，病理图像输入fencoder后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，最后一个残差卷积组输出病理图像的深层语义特征；
其中，解码器fdecoder包含四个串行相连的残差反卷积组，深层语义特征输入fdecoder后依次输入残差反卷积组逐层对语义特征进行解码，第一个残差卷积组的输入为深层语义特征，第二个至第三个残差反卷积组的输入为上一层残差反卷积组的输出，最后一个残差反卷积组输出图像的病理图像分割结果M′；
可选的，步骤S6中，所述病理图像分割模型初始化的过程为：将经过深度学习的域对抗自监督模型编码器fb中的四个串行相连的残差卷积组的权重迁移至病理图像分割模型编码器fencoder中的四个串行相连的残差卷积组中；
如图2所示，将自监督对比模块G中编码器fb的部分参数迁移至病理图像分割模型编码器fencoder中，实现病理图像分割模型的初始化；
可选的，步骤S7中，所述深度学习训练方法为随机梯度下降(StochasticGradient Descent)方法，通过最小化分割损失函数Lseg学习病理分割模型的最优参数；
其中，分割损失函数Lseg表达为：
其中N为病灶类型数，W为病理图像宽度，H为病理图像高度，M为病理图像分割掩码，M′为病理图像分割结果；
图6展示了本发明一种基于域对抗自监督学习的病理图像分割方法分析示例，通过输入病理图像，分割出其中存在的病灶区域或细胞区域，相比于原始分割效果，本发明基于域自监督对抗学习方法有效提升了模型的标注学习能力，使得分割结果更加趋近于人工标注。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (7)
1.一种基于域对抗自监督学习的病理图像分割方法，其特征在于，包括如下步骤：
步骤S1、获取病理图像建立病理图像域对抗自监督数据集；
步骤S2、建立域对抗自监督模型；
步骤S3、使用病理图像域对抗自监督数据集对域对抗自监督模型进行深度学习训练；
步骤S4、对病理图像中的病灶区域进行像素级别标注建立病理图像分割数据集；
步骤S5、建立病理图像分割模型；
步骤S6、使用经过深度学习后的域对抗自监督模型对病理图像分割模型进行初始化；
步骤S7、使用病理图像分割数据集对病理图像分割模型进行深度学习训练；
步骤S8、使用深度学习训练后的病理图像分割模型对病理图像的未知病灶区域进行分割；
步骤S2中，所述域对抗自监督模型包括：一个自监督对比模块G，一个域判别器D；
所述自监督对比模块G包括：一个数据增强模块T，一个编码器fb，一个表征层fr，一个投影层fp；
病理图像自监督数据集Iself以划分小批次的形式输入到域对抗自监督模型，定义每个小批次大小为N可表示为
首先数据增强模块T随机生成两个不同的图像增强函数t～T和t′～T，X分别输入图像增强函数t～T和t′～T可得/>
与/>
在开启梯度的情况下将/>
和/>
分别依次输入编码器fb，表征层fr和投影层fp生成投影s和s′，在关闭梯度的情况下将/>
和/>
分别依次输入编码器fb和表征层fr生成表征z和z′，最后将投影s和s′输入域判别器D生成域亲和度矩阵A，上述过程可表示为：
数据增强模块中包括翻转、旋转、裁剪、变形、缩放的几何变换类数据增高方法及噪声、模糊、颜色变换、擦除、填充的颜色变换类数据增高方法，图像增强函数t～T和t′～T的方式是数据增强模块中增强方法的随机组合；
编码器fb包括四个串行相连的残差卷积组和四个嵌入层，病理图像输入fb后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，每个残差卷积组的输出除输入下一残差卷积组外还会分别输入由卷积层和全连接层组成的嵌入层转置为一个256维的特征向量，最后将四个256维的特征向量进行拼接得到一个1024维的聚合特征向量并输出；
表征层fr包括一个全连接层，将编码器fb输出的聚合特征向量输入全连接层后输出表征特征向量；
投影层fp包括一个全连接层，将表征层fr输出的表征特征向量输入全连接层后输出投影特征向量；
所述域判别器D包括一个嵌入层，嵌入层包括两个全连接层和两个带泄露修正线性单元层，投影s和s′输入域判别器D后分别依次通过第一个全连接层，第一个带泄露修正线性单元层，第二个全连接层，第二个带泄露修正线性单元层，生成亲和度向量l和l′,最后将l转置后的lT与l′进行外积输出域亲和度矩阵A；
步骤S3中，深度学习训练方法为随机梯度下降方法，域对抗自监督模型通过对比损失函数Lsimilarity和亲和度损失函数Ladversarial进行对抗训练，学习域对抗自监督模型的最优参数；
对比损失函数Lsimilarity的表达为：
其中，通过最小化s与z′(以及s′与z)之间的负余弦相似度,使得域对抗自监督模型在无监督信息的情况下学习病理图像中的潜在表征；
亲和度损失函数Ladversarial的表达为：
其中，通过最小化域亲和度矩阵A对角线元素与非对角线元素之间的亲和度差异,使得域对抗自监督模型降低在不同域情况下的波动。
2.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，步骤S1中，通过全切片病理扫描仪将病理切片扫描为病理图像，使用滑动窗口将病理图像切分成尺寸适中的病理图像块，可得病理图像自监督数据集，表示为Iself。
3.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，通过域对抗自监督模型中的自监督对比模块G与域判别器D进行相互对抗，提高自监督对比模块G的表征提取能力，上述对抗过程可表示为：
4.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，步骤S4中，所述像素级别标注过程需要标注出病理图像的病灶区域，以像素级别标注为病理图像内的每个像素点都分配相应的病灶标签，病理图像分割数据集可表示为Iseg，Iseg中的第i个样本表示为(Pi,Mi)，其中，P为，I为病理图像，M为对应的像素级别标注数据，且M∈[0,N]，N为病灶类型数量。
5.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，步骤S5中，所述病理图像分割模型包括：一个编码器fencoder、一个解码器fdecoder；病理图像输入病理图像分割模型后，首先输入编码器fencoder后输出编码后的深层语义特征，深层语义特征输入解码器fdecoder后输出病理图像分割结果M'；
编码器fencoder包括四个串行相连的残差卷积组,病理图像输入fencoder后依次输入残差卷积组逐层提取图像的语义信息，第一个残差卷积组的输入为病理图像，第二个至第三个残差卷积组的输入为上一层残差卷积组的输出，最后一个残差卷积组输出病理图像的深层语义特征；
解码器fdecoder包括四个串行相连的残差反卷积组,深层语义特征输入fencoder后依次输入残差反卷积组逐层对语义特征进行解码，第一个残差卷积组的输入为深层语义特征，第二个至第三个残差反卷积组的输入为上一层残差反卷积组的输出，最后一个残差反卷积组输出图像的病理图像分割结果M′。
6.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，步骤S6中，所述病理图像分割模型初始化的过程为：将经过深度学习的域对抗自监督模型中编码器fb中的四个串行相连的残差卷积组的权重迁移至病理图像分割模型中编码器fencoder中的四个串行相连的残差卷积组中。
7.根据权利要求1所述的一种基于域对抗自监督学习的病理图像分割方法，其特征在于，步骤S7中，深度学习训练方法为随机梯度下降方法，通过最小化分割损失函数Lseg学习病理分割模型的最优参数；
分割损失函数Lseg表达为：
其中N为病灶类型数，W为病理图像宽度，H为病理图像高度，M为病理图像分割掩码，M′为病理图像分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110621825.5A CN113379764B (zh) | 2021-06-02 | 2021-06-02 | 一种基于域对抗自监督学习的病理图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110621825.5A CN113379764B (zh) | 2021-06-02 | 2021-06-02 | 一种基于域对抗自监督学习的病理图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379764A CN113379764A (zh) | 2021-09-10 |
| CN113379764B true CN113379764B (zh) | 2023-06-02 |
Family
ID=77575775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110621825.5A Active CN113379764B (zh) | 2021-06-02 | 2021-06-02 | 一种基于域对抗自监督学习的病理图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379764B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049497B (zh) * | 2021-11-07 | 2024-03-05 | 西北工业大学 | 基于自适应对比学习的图像深度表征方法 |
| CN114240958B (zh) * | 2021-12-23 | 2024-04-05 | 西安交通大学 | 一种应用于病理学组织分割的对比学习方法 |
| CN114926394B (zh) * | 2022-04-11 | 2024-04-05 | 云南大学 | 一种基于像素对比学习的直肠癌病理图像分割方法 |
| CN115661460B (zh) * | 2022-11-03 | 2023-07-14 | 广东工业大学 | 一种具有对比机制的相似度感知框架的医学图像分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299237A (zh) * | 2014-10-20 | 2015-01-21 | 上海电机学院 | 将非监督聚类转化为自监督分类的图像分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
-
2021
- 2021-06-02 CN CN202110621825.5A patent/CN113379764B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299237A (zh) * | 2014-10-20 | 2015-01-21 | 上海电机学院 | 将非监督聚类转化为自监督分类的图像分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379764A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379764B (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
| Öztürk et al. | Skin lesion segmentation with improved convolutional neural network | |
| Xie et al. | Skin lesion segmentation using high-resolution convolutional neural network | |
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| Khan et al. | A nonlinear mapping approach to stain normalization in digital histopathology images using image-specific color deconvolution | |
| Oskal et al. | A U-net based approach to epidermal tissue segmentation in whole slide histopathological images | |
| JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Zanjani et al. | Histopathology stain-color normalization using deep generative models | |
| Li et al. | Example-based image colorization using locality consistent sparse representation | |
| CN110555835B (zh) | 一种脑片图像区域划分方法及装置 | |
| TW202014984A (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| Zhi et al. | AdipoCount: a new software for automatic adipocyte counting | |
| CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| Kajihara et al. | Non-rigid registration of serial section images by blending transforms for 3D reconstruction | |
| CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN110533583A (zh) | 一种基于宫颈液基细胞的自适应图像增广系统 | |
| CN114240961A (zh) | 一种U-Net++细胞分割网络系统、方法、设备及终端 | |
| CN116630971B (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
| CN111210447B (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
| Ramella | Saliency-based segmentation of dermoscopic images using colour information | |
| CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| CN115294086A (zh) | 医学影像分割方法、分割模型训练方法、介质及电子设备 | |
| Zhang et al. | Residual attentive feature learning network for salient object detection | |
| CN114463173A (zh) | 一种基于超像素分割的高光谱遥感图像子图重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |