CN114299324B - 一种基于多尺度域对抗网络的病理图像分类方法及系统 - Google Patents
一种基于多尺度域对抗网络的病理图像分类方法及系统 Download PDFInfo
- Publication number
- CN114299324B CN114299324B CN202111456513.XA CN202111456513A CN114299324B CN 114299324 B CN114299324 B CN 114299324B CN 202111456513 A CN202111456513 A CN 202111456513A CN 114299324 B CN114299324 B CN 114299324B
- Authority
- CN
- China
- Prior art keywords
- domain
- feature
- scale
- network
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000004043 dyeing Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 9
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Abstract
本发明的一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类方法。本发明的另一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，包括：预处理模块；单尺度特征提取模块；总体特征提取模块；多尺度注意力模块；模型评估模块。本发明一方面结合WSI多尺度的特征信息，另一方面利用域对抗网络抑制不同染色效果对预测结果造成的影响，减小病理图像因染色带来的波动性，从而提出以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。
Description
技术领域
本发明涉及一种基于多尺度域对抗网络的病理图像分类方法及系统，属于医学图像处理领域。
背景技术
基于人工智能的计算机辅助诊断技术已经广泛应用于医学领域，尤其是在组织病理切片(Whole Slide Image，以下简称“WSI”)诊断方面。利用深度学习的自动识别技术对WSI进行智能分析，能够辅助病理医生高效准确的完成病理分析工作。目前主要是基于弱监督的深度学习实现对数字病理图像的癌症分类任务，例如中国专利CN202010690425.5、中国专利CN202010287157.2和中国专利CN201910120656.X均是以整个WSI的标签作为包的标签，以在最大分辨率下分割出的图块作为包中的实例，从而构建多实例的学习框架，以弱监督学习的方式完成对病理图像的分类任务，但是在它们的整个预测过程中并没有考虑多尺度的特征信息和染色偏差对分类结果造成的影响。
造成上述染色偏差的因素有很多，例如不同医院之间、不同设备之间、不同批次的染色剂以及不同的工艺流程等都会造成不同程度的染色偏差。而病理医生需要在不同的染色基础上进行诊断，并在这一过程中不断的调整放大倍数，通过在不同放大倍率下观察病理组织的多种形态特征最终得出诊断结果。
发明内容
本发明的目的是：将多尺度和域对抗结合起来共同构建一个深度卷积神经网络框架，以实现病理图像的分类任务。
为了达到上述目的，本发明的一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，具体包括以下步骤：
步骤1)对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
针对不同尺度的图块集合，训练相应的域对抗网络，从而获得组织病理切片在各个尺度下对应的特征提取器，具体包括以下步骤：
步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和MLP，其中：
特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
将特征提取网络作为特征提取器，特征提取网络被定义为；
Gf(x，θf) (1)
式(1)中，x为单尺度下的图块，θf为需要学习的所有权重参数；
从式(1)中，能够获得单尺度下的病理图像的特征表示：
式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度；
将多头注意力机制作为标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示FM作为多头注意力机制的输入，从而预测标签类别；
多头注意力机制结构定义如下式(3)所示：
Gy(x，θy) (3)
式(3)中，θy为需要学习的所有参数；
多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
Multi-Head(Q，K，V)＝Concat(head1，...，headh)Wo (4)
式(4)中，headi＝Attention(QWi Q，VWi V)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层W将FM分别映射为Q、K和V，如下式(5)所示：
式(5)中，dk表示映射后的特征维度，KT为K的转置矩阵；
多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得标签分类网络的分类结果；
将MLP作为颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
MLP作为颜色域的二元分类网络，公式如下：
Gd(x，θd) (6)
式(6)中，θd为需要学习的所有参数，将特征提取器获得的病理图像的特征表示FM作为二元分类网络的输入，从而预测颜色域的类别；
步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由标签预测器损失和颜色域判别器损失构成，具体包括以下步骤：
步骤2.2.1)构建标签预测器损失，其目标函数被定义为：
式(7)中，表示第i个样本的标签损失，R(W，b)为正则项，λ为人工设置的正则化参数，W、b为特征提取器的权重和偏置，V、c为标签预测器的权重和偏置；
步骤2.2.2)构建颜色域判别器损失：
将步骤2.2.1)中标签预测器损失的目标函数中的正则项R(W，b)作为颜色域判别器的目标函数，被定义为：
式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，其中N为总样本数，n和n′分别表示原域和目标域样本数；
域对抗网络的总目标函数，被定义为：
最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，对于参数W、v、b、c、u、z的优化过程可被定义为：
步骤2.2.3)优化式(9)所示的总目标函数：
颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反；
步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差让颜色域判别器无法区分源颜色域和目标颜色域，使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染色效果对预测结果造成的影响，因此颜色域判别器的损失在反向传播到特征提取器时，其梯度值取反，从而使得颜色域判别器无法区分特征提取器生成的特征是属于源域还是目标域，通过多次迭代训练，最终实现源域和目标域特征的融合；
步骤3)对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
步骤4)将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，基于多尺度特征表示训练注意力网络，其中：
训练注意力网络具体包括以下步骤：
步骤4.1)使用各尺度对应的域对抗网络中训练得到的特征提取器对各尺度的图块集合进行特征编码；
步骤4.2)将编码后的特征进行拼接，从而获得整个组织病理切片的多尺度特征表示；
步骤4.3)将多尺度特征表示作为如式(4)所示的多头注意力机制的输入，其中，/>为需要学习的所有参数；本步骤中的多头注意力机制与步骤2)中的多头注意力机制在网络架构上一致，但是权重参数各自独立并不共享；
步骤4.4)最后依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得病理图像的最终分类预测结果；
步骤5)在测试集上，端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
优选地，步骤1)中，利用多尺度金字塔和OTSU算法对组织病理切片进行多尺度的分割。
优选地，步骤1)具体包括以下步骤：
步骤1.1)对组织病理切片进行下采样，获得不同分辨率下的WSI缩略图；
步骤1.2)将各个尺度下的组织病理切片的缩略图从RGB颜色空间转换到HSV颜色空间；
步骤1.3)利用基于OTSU算法的阈值分割方法生成不同分辨率下的二进制掩码，并通过形态学操作获得最佳的组织掩码；
步骤1.4)利用同一分辨率下的通过步骤1.2)得到的病理图像和通过步骤1.3)得到的组织掩码进行图块分割，从而获得各个尺度下组织区域的图块集合。
优选地，步骤5)中，评估整个域对抗网络框架时，使用十折交叉验证，通过精确率、准确率、召回率、F1值和AUC进行多指标的综合评估，从而获得最佳预测模型。
本发明的另一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，包括：
预处理模块，对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
单尺度特征提取模块，使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
总体特征提取模块，对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
多尺度注意力模块，将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，并用于训练注意力网络；
模型评估模块，在测试集上端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
如权利要求5所述的一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，所述预处理模块利用多尺度金字塔和OTSU算法对组织病理切片进行多尺度的分割。
本发明旨在消除染色偏差的同时融合病理图像的多尺度特征信息，提供以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。
本发明一方面结合WSI多尺度的特征信息，另一方面利用域对抗网络抑制不同染色效果对预测结果造成的影响，减小病理图像因染色带来的波动性，从而提出以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。
附图说明
图1为本发明基于多尺度域对抗网络的病理图像分类方法及系统的流程图；
图2为本发明多尺度的病理图像示意图；
图3为本发明同一尺度下的域对抗网络结构示意图；
图4为本发明多尺度特征融合的网络结构示意图；
图5为本发明多头注意力机制结构示意图；
图6为本发明基于多尺度域对抗网络的病理图像分类系统结构示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，本实施例公开的一种基于多尺度域对抗网络的病理图像分类方法，具体包括以下步骤：
步骤1)利用多尺度金字塔和OTSU算法对WSI进行多尺度的分割，以获得WSI在不同尺度下的图块集合。
直接处理WSI是一项非常耗时的工作，为快速获得不同尺度下的WSI组织区域中的图块集合，可利用数字图像处理技术中的多分辨率金字塔结构和OTSU算法对组织区域进行提取和分割。结合图2，步骤1)具体包括以下步骤：
步骤1.1)首先对WSI进行下采样，获得不同分辨率下的WSI缩略图；
步骤1.2)由于在HSV颜色空间中分析颜色分布更加方便，因此将各个尺度下的WSI缩略图从RGB颜色空间转换到HSV颜色空间；
步骤1.3)利用基于OTSU算法的阈值分割方法生成不同分辨率下的二进制掩码，并通过形态学操作获得最佳的组织掩码；
步骤1.4)利用同一分辨率下的通过步骤1.2)得到的病理图像和通过步骤1.3)得到的组织掩码进行图块分割，从而获得各个尺度下组织区域的图块集合，图块集合中各图块的大小优选为256×256。
步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器。
步骤2)中的域对抗网络，其结构示意图如图3所示，针对不同尺度的图块集合，需要训练相应的域对抗网络，从而获得WSI在各个尺度下对应的特征提取器，具体包括以下步骤：
步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和MLP，其中：
将特征提取网络作为特征提取器，利用深度卷积神经网络作为各尺度下图块的特征提取网络，本实施例中，深度卷积神经网络包括但不限于ResNet50，则特征提取网络被定义为；
Gf(x，θf) (1)
式(1)中，x为单尺度下的图块，θf为需要学习的所有权重参数；
从式(1)中，可以获得单尺度下的病理图像的特征表示：
式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度，图块数量n和特征维度d作为超参数，根据实际情况人工设定，优选为n＝500，d＝1024；
将多头注意力机制作为标签预测器；
多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示FM作为多头注意力机制的输入，从而预测标签类别；
多头注意力机制结构定义如下式(3)所示：
Gy(x，θy) (3)
式(3)中，θy为需要学习的所有参数；
多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
Multi-Head(Q，K，V)＝Concat(head1，...，headh)Wo (4)
式(4)中，headi＝Attention(QWi Q，VWi V)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层W将FM分别映射为Q、K和V，如下式(5)所示：
式(5)中，dk表示映射后的特征维度，KT为K的转置矩阵；
多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得标签分类网络的分类结果；
将MLP作为颜色域判别器；
MLP作为颜色域的二元分类网络，公式如下：
Gd(x，θd) (6)
式(6)中，θd为需要学习的所有参数，将特征提取器获得的病理图像的特征表示FM作为上述二元分类网络的输入，从而预测颜色域的类别。
步骤2.1)具体包括以下步骤：
步骤2.1.1)构建特征提取器，特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
步骤2.1.2)构建标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
步骤2.1.3)构建颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由两部分构成：标签预测器损失和颜色域判别器损失，具体包括以下步骤：
步骤2.2.1)构建标签预测器损失，其目标函数可被定义为：
式(7)中，表示第i个样本的标签损失，R(W，b)为正则项，λ为人工设置的正则化参数，W、b为特征提取器的权重和偏置，V、c为标签预测器的权重和偏置；
步骤2.2.2)构建颜色域判别器损失：
将步骤2.2.1)中标签预测器损失的目标函数中的正则项R(W，b)作为颜色域判别器的目标函数，可被定义为：
式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，其中N为总样本数，n和n′分别表示原域和目标域样本数；
式(8)所示公式中R(W，b)中的负号表示对梯度的方向取反，将求最小值转为求最大值；
因此，域对抗网络的总目标函数，可被定义为：
最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，因此对于参数W、v、b、c、u、z的优化过程可被定义为：
步骤2.2.3)优化式(9)所示的总目标函数：
颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反。
步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
为实现对抗训练的目的，假定源颜色域的标签为0，目标颜色域的标签为1，颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差就是让颜色域判别器无法区分源颜色域和目标颜色域，这样就使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染色效果对预测结果造成的影响，因此颜色域判别器的损失在反向传播到特征提取器时，其梯度值需要取反，从而使得颜色域判别器无法区分特征提取器生成的特征是属于源域还是目标域，通过多次迭代训练，最终实现源域和目标域特征的融合。
步骤3)对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个WSI在不同尺度下的特征表示。
步骤3)中，WSI的多尺度特征编码的结构视示意图如图4所示，对于不同尺度的图块集合，通过步骤2)中域对抗网络进行训练，获得各自尺度下的特征提取器Gf。
步骤4)将WSI在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，基于多尺度特征表示训练注意力网络。
步骤4)中多尺度注意力学习具体包括以下步骤：
步骤4.1)使用各尺度对应的域对抗网络中训练得到的特征提取器对各尺度的图块集合进行特征编码；
步骤4.2)将编码后的特征进行拼接，从而获得整个WSI的多尺度特征表示；
步骤4.3)将多尺度特征表示作为如式(4)所示的多头注意力机制的输入，其中，/>为需要学习的所有参数；本步骤中的多头注意力机制与步骤2)中的多头注意力机制在网络架构上一致，但是权重参数各自独立并不共享；
步骤4.4)最后依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得病理图像的最终分类预测结果。
步骤5)在测试集上，端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果；
评估整个域对抗网络框架时，使用十折交叉验证，通过精确率、准确率、召回率、F1值和AUC进行多指标的综合评估，从而获得最佳预测模型。
本实施例还公开了一种基于多尺度域对抗网络的病理图像分类系统，其结构如图6所示，包括：
预处理模块，利用多尺度金字塔和OTSU算法对WSI进行多尺度的分割，以获得WSI在不同尺度下的图块集合。
单尺度特征提取模块，使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器。
总体特征提取模块，对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个WSI在不同尺度下的特征表示。
多尺度注意力模块，将WSI在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，并用于训练注意力网络。
模型评估模块，在测试集上端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
Claims (6)
1.一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，具体包括以下步骤：
步骤1)对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
针对不同尺度的图块集合，训练相应的域对抗网络，从而获得组织病理切片在各个尺度下对应的特征提取器，具体包括以下步骤：
步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和MLP，其中：
特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
将特征提取网络作为特征提取器，特征提取网络被定义为；
Gf(x,θf) (1)
式(1)中，x为单尺度下的图块，θf为需要学习的所有权重参数；
从式(1)中，能够获得单尺度下的病理图像的特征表示：
式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度；
将多头注意力机制作为标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示FM作为多头注意力机制的输入，从而预测标签类别；
多头注意力机制结构定义如下式(3)所示：
Gy(x,θy) (3)
式(3)中，θy为需要学习的所有参数；
多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
Multi-Head(Q，K，V)＝Concat(head1，...，headh)Wo (4)
式(4)中，headi＝Attention(QWi Q，KWi K，VWi V)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层W将FM分别映射为Q、K和V，如下式(5)所示：
式(5)中，dk表示映射后的特征维度，KT为K的转置矩阵；
多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和Soffmax函数即可获得标签分类网络的分类结果；
将MLP作为颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
MLP作为颜色域的二元分类网络，公式如下：
Gd(x，θd) (6)
式(6)中，θd为需要学习的所有参数，将特征提取器获得的病理图像的特征表示FM作为二元分类网络的输入，从而预测颜色域的类别；
步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由标签预测器损失和颜色域判别器损失构成，具体包括以下步骤：
步骤2.2.1)构建标签预测器损失，其目标函数被定义为：
式(7)中，表示第i个样本的标签损失，R(W，b)为正则项，λ为人工设置的正则化参数，W、b为特征提取器的权重和偏置，V、c为标签预测器的权重和偏置；
步骤2.2.2)构建颜色域判别器损失：
将步骤2.2.1)中标签预测器损失的目标函数中的正则项R(W，b)作为颜色域判别器的目标函数，被定义为：
式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，n和n′分别表示原域和目标域样本数；
域对抗网络的总目标函数，被定义为：
最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，对于参数W、V、b、c、u、z的优化过程可被定义为：
步骤2.2.3)优化式(9)所示的总目标函数：
颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反；
步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差让颜色域判别器无法区分源颜色域和目标颜色域，使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染色效果对预测结果造成的影响，因此颜色域判别器的损失在反向传播到特征提取器时，其梯度值取反，从而使得颜色域判别器无法区分特征提取器生成的特征是属于源域还是目标域，通过多次迭代训练，最终实现源域和目标域特征的融合；
步骤3)对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
步骤4)将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，基于多尺度特征表示训练注意力网络，其中：
训练注意力网络具体包括以下步骤：
步骤4.1)使用各尺度对应的域对抗网络中训练得到的特征提取器对各尺度的图块集合进行特征编码；
步骤4.2)将编码后的特征进行拼接，从而获得整个组织病理切片的多尺度特征表示；
步骤4.3)将多尺度特征表示作为如式(4)所示的多头注意力机制的输入，其中，/>为需要学习的所有参数；本步骤中的多头注意力机制与步骤2)中的多头注意力机制在网络架构上一致，但是权重参数各自独立并不共享；
步骤4.4)最后依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得病理图像的最终分类预测结果；
步骤5)在测试集上，端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
2.如权利要求1所述的一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，步骤1)中，利用多尺度金字塔和OTSU算法对组织病理切片进行多尺度的分割。
3.如权利要求1所述的一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，步骤1)具体包括以下步骤：
步骤1.1)对组织病理切片进行下采样，获得不同分辨率下的WSI缩略图；
步骤1.2)将各个尺度下的组织病理切片的缩略图从RGB颜色空间转换到HSV颜色空间；
步骤1.3)利用基于OTSU算法的阈值分割方法生成不同分辨率下的二进制掩码，并通过形态学操作获得最佳的组织掩码；
步骤1.4)利用同一分辨率下的通过步骤1.2)得到的病理图像和通过步骤1.3)得到的组织掩码进行图块分割，从而获得各个尺度下组织区域的图块集合。
4.如权利要求1所述的一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，步骤5)中，评估整个域对抗网络框架时，使用十折交叉验证，通过精确率、准确率、召回率、F1值和AUC进行多指标的综合评估，从而获得最佳预测模型。
5.一种基于多尺度域对抗网络的病理图像分类系统，用于实现如权利要求1所述的病理图像分类方法，其特征在于，包括：
预处理模块，对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
单尺度特征提取模块，使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
总体特征提取模块，对不同尺度下的图块集合使用其对应的特征提取器进行低维度特征编码，以形成整个组织病理切片在不同尺度下的特征表示；
多尺度注意力模块，将组织病理切片在不同尺度下的特征表示进行拼接，形成其多尺度特征表示，并用于训练注意力网络；
模型评估模块，在测试集上端到端地评估整个域对抗网络框架，以获得最佳的模型预测结果。
6.如权利要求5所述的一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，所述预处理模块利用多尺度金字塔和OTSU算法对组织病理切片进行多尺度的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111456513.XA CN114299324B (zh) | 2021-12-01 | 2021-12-01 | 一种基于多尺度域对抗网络的病理图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111456513.XA CN114299324B (zh) | 2021-12-01 | 2021-12-01 | 一种基于多尺度域对抗网络的病理图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114299324A CN114299324A (zh) | 2022-04-08 |
| CN114299324B true CN114299324B (zh) | 2024-03-29 |
Family
ID=80965406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111456513.XA Active CN114299324B (zh) | 2021-12-01 | 2021-12-01 | 一种基于多尺度域对抗网络的病理图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299324B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063592B (zh) * | 2022-08-16 | 2022-12-06 | 之江实验室 | 一种基于多尺度的全扫描病理特征融合提取方法及系统 |
| CN115222752B (zh) * | 2022-09-19 | 2023-01-24 | 之江实验室 | 基于特征解耦的病理图像特征提取器训练方法及装置 |
| CN117372416A (zh) * | 2023-11-13 | 2024-01-09 | 北京透彻未来科技有限公司 | 一种对抗训练的高鲁棒性数字病理切片诊断系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
| CN112614131A (zh) * | 2021-01-10 | 2021-04-06 | 复旦大学 | 基于形变表示学习的病理图像分析方法 |
| CN113628197A (zh) * | 2021-08-18 | 2021-11-09 | 哈尔滨理工大学 | 一种基于对比学习的弱监督全切片组织病理图像分类方法 |
-
2021
- 2021-12-01 CN CN202111456513.XA patent/CN114299324B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112614131A (zh) * | 2021-01-10 | 2021-04-06 | 复旦大学 | 基于形变表示学习的病理图像分析方法 |
| CN113628197A (zh) * | 2021-08-18 | 2021-11-09 | 哈尔滨理工大学 | 一种基于对比学习的弱监督全切片组织病理图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| MIFNet:基于多尺度输入与特征融合的胃癌病理图像分割方法;张泽中;高敬阳;赵地;;计算机应用;20191230(S2);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114299324A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114299324B (zh) | 一种基于多尺度域对抗网络的病理图像分类方法及系统 | |
| McNeely-White et al. | Inception and ResNet features are (almost) equivalent | |
| CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
| Xu et al. | A weakly supervised surface defect detection based on convolutional neural network | |
| CN113256637B (zh) | 一种基于深度学习、上下文相关的尿液有形成分检测方法 | |
| CN108596203B (zh) | 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| Al-Haija et al. | Multi-class weather classification using ResNet-18 CNN for autonomous IoT and CPS applications | |
| CN112381788B (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| Ni et al. | A Generative adversarial learning strategy for enhanced lightweight crack delineation networks | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
| CN113688890A (zh) | 异常检测方法、装置、电子设备及计算机可读存储介质 | |
| CN116051479A (zh) | 融合跨域迁移和异常检测的纺织品缺陷识别方法 | |
| Tavakoli | Seq2image: Sequence analysis using visualization and deep convolutional neural network | |
| Zhang | Application of artificial intelligence recognition technology in digital image processing | |
| Vilasini et al. | Deep Learning Techniques to Detect Learning Disabilities Among children using Handwriting | |
| CN115511798A (zh) | 一种基于人工智能技术的肺炎分类方法及装置 | |
| CN114998360A (zh) | 一种基于SUnet算法的脂肪细胞祖细胞分割方法 | |
| Peng et al. | Semi-Supervised Bolt Anomaly Detection Based on Local Feature Reconstruction | |
| Adaïmé et al. | Deep learning approaches to the phylogenetic placement of extinct pollen morphotypes | |
| Garcia et al. | A methodology for neural network architectural tuning using activation occurrence maps | |
| CN113705731A (zh) | 一种基于孪生网络的端到端图像模板匹配方法 | |
| Yildiz et al. | Nuclei segmentation in colon histology images by using the deep CNNs: a U-net based multi-class segmentation analysis | |
| CN116453116B (zh) | 一种高适应性的明场细胞活死分类算法 | |
| Chandra et al. | Cross-Database Facial Expression Recognition using CNN with Attention Mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |