CN112733859B - 一种组织病理学图像的深度迁移半监督域自适应分类方法 - Google Patents
一种组织病理学图像的深度迁移半监督域自适应分类方法 Download PDFInfo
- Publication number
- CN112733859B CN112733859B CN202110096888.3A CN202110096888A CN112733859B CN 112733859 B CN112733859 B CN 112733859B CN 202110096888 A CN202110096888 A CN 202110096888A CN 112733859 B CN112733859 B CN 112733859B
- Authority
- CN
- China
- Prior art keywords
- domain
- image
- layer
- classification
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013508 migration Methods 0.000 title claims abstract description 26
- 230000005012 migration Effects 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 34
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 16
- 230000000750 progressive effect Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007170 pathology Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及组织病理学图像的分类技术领域，尤其涉及一种组织病理学图像的深度迁移半监督域自适应分类方法，其采用自适应阈值滤波和采样策略用于patch切块以减少时间消耗；其通过迁移基于patch的CNN网络HisNet，可以实现深度迁移学习；其通过重构网络提取源域和目标域的高阶特征，并通过具有多重加权损失函数准则的半监督域自适应进行对齐；其引入了新颖的流形正则化损失函数以充分利用目标域样本的特征并获得更好的分类结果。实验结果表明，本发明提出的方法在组织病理学图像的分类上具有较高的准确率、效率和稳定性，具有极大的临床应用价值。
Description
技术领域
本发明涉及组织病理学图像的分类技术领域，尤其涉及一种组织病理学图像的深度迁移半监督域自适应分类方法。
背景技术
组织病理学图像分析对癌症诊断非常重要。在一般临床实践中，癌组织的分类通常由经验丰富的组织病理学家通过分析组织病理图像来进行。但是该过程非常主观，耗时且易于误诊。
计算机辅助诊断(CAD)程序提高了诊断准确率，并减少了对病理学家经验的依赖。与传统的机器学习方法相比，卷积神经网络(CNN)可以自动从原始图像中学习并找到具有代表性和差异化的信息，而无需任何预处理。最近，CNN已广泛应用于各种医学图像诊断，尤其是在组织病理学图像中。但是，为了避免过度拟合和较差的泛化能力，CNN模型需要大量带标签的图像才能构建稳定的网络。由于组织学图像的标签价格昂贵且难以获得，进而出现了迁移学习，以使用有限数量的标签将信息从源域迁移到目标域。然而，传统的迁移学习方法通常使用与目标图像不太相似的自然图像。在自然图像上训练的模型不能直接在目标图像上使用，需要用大量标记的目标图像进行微调才能获得良好的效果。
发明内容
本发明提供一种组织病理学图像的深度迁移半监督域自适应分类方法，解决了的技术问题在于：如何在标记样本有限的情况下获得良好的分类结果。
为解决以上技术问题，本发明提供一种组织病理学图像的深度迁移半监督域自适应分类方法，包括步骤：
S1：基于ImageNet数据集训练基于patch的CNN网络HisNet，获得预训练网络；
S2：将切片级组织病理图像的源域图像和目标域图像分为训练集和测试集；所述源域图像包括分类标记的源域样本，所述目标域图像包括分类标记的目标域样本和未分类标记的目标域样本；
S3：对所述预训练网络进行迁移和重构，得到重构网络，并将基于多重加权损失函数的半监督域自适应算法应用于所述重构网络；
S4：采用所述训练集对所述重构网络进行训练，以更新其网络参数；
S5：采用所述测试集对训练后的所述重构网络进行测试，输出相应的分类结果；
S6：采用测试通过的训练后的重构网络对任意切片级组织病理图像进行分类。
进一步地，步骤S1中所述预训练网络包括相连接的第一生成器和第一分类器；所述第一生成器包括层层递进的10个卷积层，和设置在每相邻两个卷积层之后的1个池化层；每个所述卷积层之后引入非线性激活函数ReLU；所述第一分类器包括层层递进的3个第一全连接层。
进一步地，所述步骤S3中所述重构网络包括相连接的第二生成器和第二分类器；所述第二生成器的结构由所述第一生成器迁移而来；所述第二分类器包括层层递进的3个重构的第二全连接层。
进一步地，对于每个所述卷积层，卷积核的尺寸为(3,3)，步长为(1,1)，填充的尺寸为(1,1)；
对于层层递进的3个所述第一全连接层，对应的神经元数分别为2048、1024、1000；
对于层层递进的3个所述第二全连接层，对应的神经元数分别为4096、4096和2；
相邻的两个所述第一全连接层之间和相邻的两个所述第二全连接层之间均设有Dropout层；
紧跟每个所述第一全连接层和每个所述第二全连接层设有相应的BN层。
进一步地，在将所述源域图像和目标域图像输入所述重构网络进行训练和测试之前，先进行图像预处理：先将所述源域图像和所述目标域图像分割成不重叠的小块，再进行图像自适应阈值滤波和随机采样。
进一步地，所述第二生成器中融入了半监督域自适应模型，所述半监督域自适应模型的多重加权损失函数表示为：
min L(XS,YS)+L(Xl,Yl)+αΨ(XS,XT)+L(Xu)
其中，分别表示分类标记的源域样本及其标签矩阵，/>分别表示分类标记的目标域样本及其标签矩阵，/>表示未分类标记的目标域样本，XT＝Xl∪Xu，d是特征维度，c是类的数量；ns、nl、nu分别是XS、Xl和Xu的样本数量，R表示实数域；
L(XS,YS)为XS和YS之间的交叉熵损失，L(Xl,Yl)是Xl和Yl之间的交叉熵损失，Ψ(XS,XT)表示XS和XT之间的最大平均差异，Ψ(XS,Xl)表示XS和Xl之间的最大平均差异，Ψ(XS,Xu)表示XS和Xu之间的最大平均差异，Φ(Xu)表示Xu的条件熵损失，表示Xu的流形正则化项；L(Xu)表示Xu的总损失，α、β、γ分别为损失Ψ(XS,XT)、Φ(Xu)和/>的权重。
进一步地，
其中，表示XS中第i个图像的第m类真实标签，对应的上一层第二全连接层获得的输出概率为/> 表示Xl中第i个图像的第m类分类标签，对应的上一层第二全连接层获得的输出概率为/>
进一步地，
其中，为源域的两幅图像，/>为目标域对应的两幅图像，nt是XT的样本数量；Θ表示高斯核函数，定义为：
进一步地，
其中，表示Xu中当前样本xu属于第m类分类标签的概率。
进一步地，
其中，εij为Xu中目标域样本和/>之间的相似性，/>和/>分别表示目标域样本/>和/>的p近邻集合，/>和/>分别表示目标域样本/>和/>的二维概率输出。
本发明提供的一种组织病理学图像的深度迁移半监督域自适应分类方法，针对具有少量图像级标记的切片级组织病理学目标图像，其采用自适应阈值滤波和采样策略用于patch切块以减少时间消耗；其通过迁移基于patch的CNN网络HisNet，可以实现深度迁移学习；其通过重构网络提取源域和目标域的高阶特征，并通过具有多重加权损失函数准则的半监督域自适应进行对齐；其引入了新颖的流形正则化损失函数以充分利用目标域样本的特征并获得更好的分类结果。在两个结肠癌数据集上评估的分类结果表明了本发明所提出的方法的卓越性能(准确率：93.84％±0.31％、灵敏度：93.72％±0.47％、特异性：93.96％±0.23％和准确率：90.62％±0.21％、灵敏度：92.01％±0.59％、特异性：89.86％±0.32％)，表明该方法可以作为临床实践中组织病理学图像分类的有效工具。
附图说明
图1是本发明实施例提供的一种组织病理学图像的深度迁移半监督域自适应分类方法的步骤流程图；
图2是本发明实施例提供的一种组织病理学图像的深度迁移半监督域自适应分类方法所对应的模型图；
图3是本发明实施例提供的预训练网络和重构网络的结构图；
图4是本发明实施例提供的实验中数据集H和D的代表性完整幻灯片图像；
图5是本发明实施例提供的实验中不同目标域样本标签数量的不同采样率下的分类准确率和时间消耗走线图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
针对现有用于组织病理学图像分类的CNN模型需要大量带标签的图像，而采用的迁移学习方法也不能获得良好的效果的问题，本发明考虑将两个域之间相似性的域自适应算法应用于组织病理学图像分类。然而，当涉及到WSI(全切片扫描图像)时，将半监督域自适应用于组织病理学图像切片分类，需要解决如下4个主要问题：
1、如何充分考虑标记数据的信息，以考虑源域和目标域的相对性，以建立稳定有效的目标模型；
2、如何尽量减少两个域的高阶特征分布差异；
3、为了使网络对目标域具有更强的任务指定性，如何充分考虑未标记目标数据的结构信息；
4、由于WSIs(全切片扫描图像集)具有大规模、高分辨率和部分冗余的特点，如何将其降采样，以减少模型的时间损耗。
为了克服上述问题，本发明实施例提供一种组织病理学图像的深度迁移半监督域自适应分类方法，如图1所示的步骤流程图所示，主要包括步骤：
S1：基于ImageNet数据集训练基于patch的CNN网络HisNet，获得预训练网络；
S2：将切片级组织病理图像的源域图像和目标域图像分为训练集和测试集；所述源域图像包括分类标记的源域样本，所述目标域图像包括分类标记的目标域样本和未分类标记的目标域样本；
S3：对所述预训练网络进行迁移和重构，得到重构网络，并将基于多重加权损失函数的半监督域自适应算法应用于所述重构网络；
S4：采用所述训练集对所述重构网络进行训练，以更新其网络参数；
S5：采用所述测试集对训练后的所述重构网络进行测试，输出相应的分类结果；
S6：采用测试通过的训练后的重构网络对任意切片级组织病理图像进行分类。
其中，步骤S2和S3的执行顺序可颠倒。
如图2所示，为本发明实施例提供的分类方法的模型图，主要包括预训练网络(HisNet)和深度迁移半监督域自适应分类模型(HisNet-SSDA)。预训练网络是指为预训练而设计的基于patch的CNN网络。HisNet-SSDA是指从预训练网络迁移而来并进行了重构、以进行半监督域适应和组织病理学图像分类的网络。
步骤S1中，如图2和3所示，所述预训练网络包括相连接的第一生成器和第一分类器；所述第一生成器包括层层递进的10个卷积层(Conv1-10)，和设置在每相邻两个卷积层之后的1个池化层(Max pooling，最大池化层)；为了避免梯度消失和弥散，在每个所述卷积层之后引入非线性激活函数ReLU。对于每个所述卷积层，卷积核的尺寸为(3,3)，步长为(1,1)，填充的尺寸为(1,1)。所述第一分类器包括层层递进的3个第一全连接层(fc1-fc3)。对于层层递进的3个所述第一全连接层，对应的神经元数分别为2048、1024、1000。另外相邻的两个所述第一全连接层之间设有相应的Dropout层；紧跟每个所述第一全连接层设有BN层(Batch Normalization，批量归一化层)，以细化参数。
具体地，在迁移学习中，已有的知识叫做源域(source domain)，要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标城上。步骤S2中，本实施例分别用S和T表示源域和目标域， 分别表示分类标记的源域样本及其标签矩阵，/>分别表示分类标记的目标域样本及其标签矩阵，/>表示未分类标记的目标域样本，XT＝Xl∪Xu，d是特征维度，c是类的数量；ns、nl、nu分别是XS、Xl和Xu的样本数量，R表示实数域。
步骤S3中，由于WSI图像的固有特性，几乎不可能一步完成对图像的分类。本实施例提出一种HisNet-SSDA模型来完成对图像的分类，严格来说，其框架结构如图3所示，主要包括三个部分：第一部分，基于ImageNet数据集设计基于patch的CNN网络HisNet以获得初始的预训练网络(步骤S1已经完成)。第二部分，对WSI图像进行预处理，将WSI图像分割成不重叠的patch小块，进行图像自适应阈值滤波和随机采样，最后将采样的图像块调整为相同大小用以输入重构网络中。第三部分，对预训练网络进行迁移和重构，并将基于多重加权损失函数的半监督域自适应算法应用于重构网络中，以对切片级组织病理图像进行分类。
具体的，重构网络包括相连接的第二生成器和第二分类器；所述第二生成器的结构由所述第一生成器直接迁移而来；所述第二分类器包括层层递进的3个重构的第二全连接层(fc1-fc3)。对于层层递进的3个所述第二全连接层，对应的神经元数分别为4096、4096和2。同样的，相邻的两个所述第二全连接层之间设有Dropout层；紧跟每个所述第二全连接层设有相应的BN层。
特别地，本实施例所述第二分类器中融入了半监督域自适应模型，在这个模型中，目标图像部分被标记，大部分没有标记。对整个重构网络进行训练，以正确分类标记的源域样本和目标域样本，这一步至关重要，因为它确保了网络学习特定任务的区别性特征。
多重加权损失策略的半监督域自适应模型中融入了交叉熵损失、最大平均差异、条件熵损失和流形正则化项。
一般来说，交叉熵损失表示为：
min(L(XS,YS)+L(XlYl)) (1)
其中，L(XS,YS)为XS和YS之间的交叉熵损失，L(Xl,Yl)是Xl和Yl之间的交叉熵损失。表示XS中第i个图像的第m类真实标签，对应的上一层第二全连接层获得的输出概率为 表示Xl中第i个图像的第m类分类标签，对应的上一层第二全连接层获得的输出概率为/>
最大平均差异(MMD)可以用来度量高维空间中不同域之间的散度，通过希尔伯特空间域之间的均值嵌入匹配，可以显著提高特征的可迁移性。MMD距离可以表示为：
其中，为源域的两幅图像，/>为目标域对应的两幅图像，nt是XT的样本数量；Θ表示高斯核函数，定义为：
式(4)中，XS为已标记的源样本，XT为已标记和未标记的目标样本(XT＝Xl∪Xu)，因此可以重写为：
Ψ(XS,XT)＝Ψ(XS,Xl)+Ψ(XS,Xu) (6)
MMD越小，两个域之间的相似度越高，表明域适应效果越好。相反，MMD越大，结果越差。在本实施例中，为了获得更好的域自适应结果，在计算MMD损失时考虑了最后两层(fc2和fc3)的输出。
受交叉熵的启发，针对目标域内众多的未标记样本，半监督域自适应模型中还加入了一种新的损失函数，以更好地利用提取的特征，促进域适应过程。由于可以通过最后一层全连接层获得概率输出，因此可以将其视为条件概率分布，表示Xu中当前样本xu属于第m类分类标签的概率。对于未标记的目标域，/>其中xu∈Xu表示目标域中未标记的图像。然后，与交叉熵相似，本实施例引入的新的损失函数，称为无标签样本条件熵损失，定义为：
另外，本实施例还在多重加权损失中引入了一种新的流形正则化项，它可以使分类器在目标区域内，而不经过高密度概率区域进行预测。它有助于揭示未标记目标样本的内在真相，使目标分类器具有更强的适应性。对于流形正则化，两个目标图像和/>的边缘分布的内在几何形状接近时，其条件分布/>和/>将是相似的。故，流形正则化项表示为：
式(8)中，εij为Xu中目标域样本和/>之间的相似性，在此，本实施例引入一个新的类似于高斯函数的计算方法，εij可以写成：
和/>分别表示目标域样本/>和/>的p近邻集合。
式(8)和(9)中，和/>可被重写为：
其中，和/>分别表示目标域样本/>和/>的二维概率输出。
结合式(8)～(10)，对未标记目标样本的流形正则化可重写为：
因此，考虑到所有的损失项，本实施例最终定义半监督域适应的多重加权损失为：
其中，α、β、γ分别为损失Ψ(XS,XT)、Φ(Xu)和的权重，用以权衡多个损失。在实际测验中，α、β和γ取值范围分别为[0.5,3]、[-0.9,-0.1]、[0.1,1]。在下文的实验中，α、β和γ分别设置为1.0、-0.1和0.5。
对于步骤S1-S6的整个过程，还可参考如下算法流程：
对本发明实施例所提组织病理学图像的深度迁移半监督域自适应分类方法的优异性能，下面进行实验验证。
本次实验使用了两个结肠癌数据集，这些数据集由H&E染色的组织病理学图像组成。其中之一由中国浙江大学提供(标记为H)[1]，该数据集的放大倍数为40倍，包含来自WSI的总共717个裁剪区域(355个癌症和362个正常图像)。另一个数据集的放大倍数为20倍，来自2019年消化系统病理学检测和分割挑战(标记为D)[2]。本次实验总共提供了324个WSI的660个组织切片，包括231名正常患者的410张图像和来自93名癌症患者的250张图像。这两个数据集的每个类别的代表性整体幻灯片图像如图4所示，其中(a)代表良性，(b)代表恶性。数据集的图像在外观上显示出很大差异，并且包含大面积的冗余部分，这对分类任务造成了障碍。
通常，白色背景在WSI中占据较大百分比(例如40％-80％)，这与组织病理学图像分类无关。在保证训练样本有效性的前提下，去除这些非信息区域可以大大降低计算成本。因此，在本实验中应用了针对patch的自适应阈值滤波策略。为了匹配放大倍数，将采样块的大小设置为40×放大倍率的672×672像素和20×放大倍数的336×336像素(均为151872×151872nm2)，而patch的步幅分别为672像素和336像素。切片切割后，白色背景切片被OTSU图像阈值方法去除，以去除大部分无关的背景，但保留组织区域用于训练。在这个过程中，使用了多级映射策略[3]，因为它可以显著提高滤波效率。图像数量的详细信息显示在表1中。此外，考虑到大量的patch切块和WSI图像的冗余性，本次实验中采用了采样策略。以采样率η随机采样过滤后的patch，以减少时间消耗。然后，在将所有采样的patch送入重构的网络之前，将它们的大小调整为224×224像素。
表1：图像预处理前后的图片数量
本次实验是在装有Geforce GTX 1080ti 11GB GPU和基于pytorch 1.2.0的CoreTMi7-8700@3.2GHz的工作站上使用python实现的。该系统在Ubuntu16.04下运行。利用高斯分布(μ＝0，σ＝0.01)随机初始化网络参数，并使用标准反向传播更新参数。网络训练时通过随机梯度下降(SGD)来优化参数。批处理大小初始设置为32，训练时期设置为30，学习率最初设置为0.0001，每千次迭代后乘以0.1。
实验中标记目标WSI的数量tl和随机采样率η。本次实验进行十次交叉验证，以训练HisNet-SSDA模型并评估组织病理学图像的分类性能，消除手动划分训练集和测试集的影响。为了评估模型的分类性能，实验计算了准确率、灵敏度和特异性，定义为：
准确率＝(TN+TP)/(TN+TP+FN+FP) (13)
灵敏度＝TP/(TP+FN) (14)
特异性＝TN/(TN+FP) (15)
其中，TN、TP、FN和FP分别代表模型输出结果中的真负数量、真正数量、假负数量和假正数量。True Positive(真正，TP)指被模型预测为正的正样本；True Negative(真负，TN)指被模型预测为负的负样本；False Positive(假正，FP)指被模型预测为正的负样本；False Negative(假负，FN)指被模型预测为负的正样本。
本次实验研究了标记的目标WSIs的数量tl和切块的随机采样率η对分类效果的影响，以确定在标记的目标图像何样少及随机采样率何样低的情况下可耗时较少且获得相对较高的准确率。
首先，为了体现各种标签数量的训练依赖性tl(η＝1.0)，表2显示了D→H(D：源域，H：目标域)的分类精度与训练目标标签的关系。表2的结果表明，随着tl值的增加，病理图像的分类精度(准确率)提高。值得注意的是，只有少量标签可用时(tl＝5)，HisNet-SSDA仍显示出较高的分类精度(准确率：85.66％±0.31％)。
表2：目标域不同样本标签数目tl下的分类结果(采样率η＝1.0)
| tl | 准确率(％) | 灵敏度(％) | 特异性(％) | 时间消耗(s) |
| 5 | 85.66±0.31 | 74.85±2.22 | 96.94±1.02 | 35481.16 |
| 10 | 86.48±0.36 | 77.28±0.46 | 96.08±1.07 | 35485.82 |
| 15 | 90.26±1.38 | 84.71±1.10 | 96.05±0.22 | 36837.14 |
| 20 | 91.87±0.59 | 91.96±1.46 | 91.78±0.32 | 38129.01 |
| 25 | 93.36±0.42 | 91.54±0.15 | 95.27±0.18 | 40114.84 |
| 30 | 94.44±0.06 | 92.86±0.29 | 96.09±0.28 | 41304.21 |
本次实验还从过滤后的patch中随机抽取图像，形成新的目标域数据集并将其输入网络(η不同)。η小的话可以大大减少时间消耗，提高训练效率。表3为D→H在tl＝30时不同η下的分类结果。总的来说，HisNet-SSDA的准确率在η≥0.3的不同η下时仍然很高(93.5％～94.5％)。值得注意的是，HisNet-SSDA的准确率并没有在η＜0.3时出现大幅下降(下降幅度低于6.5％)，表明HisNet-SSDA在较低采样率时仍具有较高的准确率。
表3：目标域patch的不同采样率η下的分类结果(tl＝30)
| η | 准确率(％) | 灵敏度(％) | 特异性(％) | 时间消耗(s) |
| 0.1 | 87.58±0.33 | 81.16±0.71 | 94.27±0.32 | 6772.39 |
| 0.2 | 92.26±0.01 | 89.19±1.16 | 95.45±0.01 | 10337.07 |
| 0.3 | 93.84±0.31 | 93.72±0.47 | 93.96±0.23 | 15651.50 |
| 0.4 | 93.52±0.92 | 92.49±0.15 | 94.59±1.40 | 17398.52 |
| 0.5 | 93.87±0.21 | 93.39±0.88 | 94.38±2.04 | 21930.97 |
| 0.6 | 93.64±0.04 | 93.20±0.58 | 94.09±1.01 | 24486.24 |
| 0.7 | 94.49±1.90 | 95.85±2.13 | 93.08±1.18 | 28272.50 |
| 0.8 | 94.60±0.00 | 95.90±0.09 | 93.25±0.38 | 31494.40 |
| 0.9 | 94.32±0.38 | 94.59±0.23 | 94.04±1.15 | 35559.77 |
| 1.0 | 94.44±0.06 | 92.86±0.29 | 96.09±0.28 | 41304.21 |
此外，本次实验还比较了目标域中标签数量从5变为30时η＝0.3与η＝1.0的分类精度，结果如图5所示。可以看出，当标签数量超过25时，η＝0.3的分类精度与η＝1.0的分类精度相比，仅下降了一点点(精度下降了1.0％以内)，而时间消耗却不到η＝1.0的一半。
针对WSI的patch切割，HisNet-SSDA引入了自适应阈值滤波并随机采样策略，以减少时间消耗。从对分类结果的分析可以看出，HisNet-SSDA具有较高的准确率、效率和稳定性。本次实验证明了HisNet-SSDA在标记的WSI有限的情况下可以获得令人满意的分类结果，这归功于HisNet-SSDA利用基于多重加权损失函数的深度迁移半监督跨域自适应策略，它考虑了目标域中未标记样本的高阶特征，并考虑了源域和目标域的特征对齐方式，从而进一步增强了模型的效率。
综上所有，本实施例提出了一种新颖的仅具有少量图像级标记WSI的切片级组织病理学图像分类方法HisNet-SSDA，其采用自适应阈值滤波和采样策略用于切块以减少时间消耗；其通过迁移基于patch的CNN网络HisNet，可以实现深度迁移学习；其通过重构网络提取源域和目标域的高阶特征，并通过具有多重加权损失函数准则的半监督域自适应进行对齐；其引入了新颖的流形正则化损失函数以充分利用目标域样本的特征并获得更好的分类结果。实验结果表明，本实施例提出的方法HisNet-SSDA在组织病理学图像的分类上具有较高的准确率、效率和稳定性，具有极大的临床应用价值。
参考文献：
[1]Xu Y,Jia Z,Wang L,et al.Large scale tissue histopathology imageclassification,segmentation,and visualization via deep convolutionalactivation features[J].BMC Bioinformatics,2017,18(1):281-281.
[2]Li J,Yang S,Huang X,et al.Signet Ring Cell Detection with a Semi-supervised Learning Framework.[C].international conference informationprocessing,2019:842-854.
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于，包括步骤：
S1：基于ImageNet数据集训练基于patch的CNN网络HisNet，获得预训练网络；步骤S1中所述预训练网络包括相连接的第一生成器和第一分类器；所述第一生成器包括层层递进的10个卷积层，和设置在每相邻两个卷积层之后的1个池化层；每个所述卷积层之后引入非线性激活函数ReLU；所述第一分类器包括层层递进的3个第一全连接层；
S2：将切片级组织病理图像的源域图像和目标域图像分为训练集和测试集；所述源域图像包括分类标记的源域样本，所述目标域图像包括分类标记的目标域样本和未分类标记的目标域样本；
S3：对所述预训练网络进行迁移和重构，得到重构网络，并将基于多重加权损失函数的半监督域自适应算法应用于所述重构网络；所述步骤S3中所述重构网络包括相连接的第二生成器和第二分类器；所述第二生成器的结构由所述第一生成器迁移而来；所述第二分类器包括层层递进的3个重构的第二全连接层；所述第二生成器中融入了半监督域自适应模型，所述半监督域自适应模型的多重加权损失函数表示为：
min L(XS,YS)+L(Xl,Yl)+αΨ(XS,XT)+L(Xu)
其中，分别表示分类标记的源域样本及其标签矩阵，/>分别表示分类标记的目标域样本及其标签矩阵，/>表示未分类标记的目标域样本，XT＝Xl∪Xu，d是特征维度，c是类的数量；ns、nl、nu分别是XS、Xl和Xu的样本数量，R表示实数域；
L(XS,YS)表示XS和YS之间的交叉熵损失，L(Xl,Yl)表示Xl和Yl之间的交叉熵损失，Ψ(XS,XT)表示XS和XT之间的最大平均差异，Ψ(XS,Xl)表示XS和Xl之间的最大平均差异，Ψ(XS,Xu)表示XS和Xu之间的最大平均差异，Φ(Xu)表示Xu的条件熵损失，表示Xu的流形正则化项；L(Xu)表示Xu的总损失，α、β、γ分别为损失Ψ(XS,XT)、Φ(Xu)和/>的权重；
S4：采用所述训练集对所述重构网络进行训练，以更新其网络参数；
S5：采用所述测试集对训练后的所述重构网络进行测试，输出相应的分类结果；在将所述源域图像和目标域图像输入所述重构网络进行训练和测试之前，先进行图像预处理，包括先将所述源域图像和所述目标域图像分割成不重叠的小块，再进行图像自适应阈值滤波和随机采样；
S6：采用测试通过的训练后的重构网络对任意切片级组织病理图像进行分类。
2.如权利要求1所述的一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于：
对于每个所述卷积层，卷积核的尺寸为(3,3)，步长为(1,1)，填充的尺寸为(1,1)；
对于层层递进的3个所述第一全连接层，对应的神经元数分别为2048、1024、1000；
对于层层递进的3个所述第二全连接层，对应的神经元数分别为4096、4096和2；
相邻的两个所述第一全连接层之间和相邻的两个所述第二全连接层之间均设有Dropout层；
紧跟每个所述第一全连接层和每个所述第二全连接层设有相应的BN层。
3.如权利要求1所述的一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于：
其中，表示XS中第i个图像的第m类真实标签，对应的上一层第二全连接层获得的输出概率为/> 表示Xl中第i个图像的第m类分类标签，对应的上一层第二全连接层获得的输出概率为/>
4.如权利要求1所述的一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于：
其中，为源域的两幅图像，/>为目标域对应的两幅图像，nt是XT的样本数量；Θ表示高斯核函数，定义为：
5.如权利要求1所述的一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于：
其中，表示Xu中当前样本xu属于第m类分类标签的概率。
6.如权利要求1所述的一种组织病理学图像的深度迁移半监督域自适应分类方法，其特征在于：
其中，εij为Xu中目标域样本和/>之间的相似性，/>和/>分别表示目标域样本/>和/>的p近邻集合，/>和/>分别表示目标域样本/>和/>的二维概率输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110096888.3A CN112733859B (zh) | 2021-01-25 | 2021-01-25 | 一种组织病理学图像的深度迁移半监督域自适应分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110096888.3A CN112733859B (zh) | 2021-01-25 | 2021-01-25 | 一种组织病理学图像的深度迁移半监督域自适应分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733859A CN112733859A (zh) | 2021-04-30 |
| CN112733859B true CN112733859B (zh) | 2023-12-19 |
Family
ID=75593874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110096888.3A Active CN112733859B (zh) | 2021-01-25 | 2021-01-25 | 一种组织病理学图像的深度迁移半监督域自适应分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733859B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298855B (zh) * | 2021-05-27 | 2021-12-28 | 广州柏视医疗科技有限公司 | 基于自动勾画的图像配准方法 |
| CN113628199B (zh) * | 2021-08-18 | 2022-08-16 | 四川大学华西第二医院 | 病理图片染色组织区域检测方法、检测系统及预后状态分析系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140008224A (ko) * | 2012-07-10 | 2014-01-21 | 오영주 | 야구용어 연계 투자평가 및 특성분석 방법 및 그 시스템 |
| CN107451616A (zh) * | 2017-08-01 | 2017-12-08 | 西安电子科技大学 | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 |
| CN110349095A (zh) * | 2019-06-14 | 2019-10-18 | 浙江大学 | 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法 |
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| CN110717526A (zh) * | 2019-09-23 | 2020-01-21 | 华南理工大学 | 一种基于图卷积网络的无监督迁移学习方法 |
| CN111308471A (zh) * | 2020-02-12 | 2020-06-19 | 河海大学 | 基于半监督域适应的雨、雪、冰雹分类监测方法 |
| CN111444955A (zh) * | 2020-03-25 | 2020-07-24 | 哈尔滨工程大学 | 一种基于类意识领域自适应的水下声纳图像无监督分类方法 |
-
2021
- 2021-01-25 CN CN202110096888.3A patent/CN112733859B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140008224A (ko) * | 2012-07-10 | 2014-01-21 | 오영주 | 야구용어 연계 투자평가 및 특성분석 방법 및 그 시스템 |
| CN107451616A (zh) * | 2017-08-01 | 2017-12-08 | 西安电子科技大学 | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 |
| CN110349095A (zh) * | 2019-06-14 | 2019-10-18 | 浙江大学 | 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法 |
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| CN110717526A (zh) * | 2019-09-23 | 2020-01-21 | 华南理工大学 | 一种基于图卷积网络的无监督迁移学习方法 |
| CN111308471A (zh) * | 2020-02-12 | 2020-06-19 | 河海大学 | 基于半监督域适应的雨、雪、冰雹分类监测方法 |
| CN111444955A (zh) * | 2020-03-25 | 2020-07-24 | 哈尔滨工程大学 | 一种基于类意识领域自适应的水下声纳图像无监督分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于邻域最小生成树的半监督极化SAR图像分类方法;滑文强等;《雷达学报》;第8卷(第4期);第458-470页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733859A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Cgc-net: Cell graph convolutional network for grading of colorectal cancer histology images | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| Öztürk et al. | HIC-net: A deep convolutional neural network model for classification of histopathological breast images | |
| US20220058839A1 (en) | Translation of images of stained biological material | |
| CN112733859B (zh) | 一种组织病理学图像的深度迁移半监督域自适应分类方法 | |
| Das et al. | Sparse representation over learned dictionaries on the Riemannian manifold for automated grading of nuclear pleomorphism in breast cancer | |
| Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
| CN113221978A (zh) | 基于弱监督学习的结直肠癌数字病理图像判别方法及系统 | |
| Tan et al. | A transfer learning approach to breast cancer classification in a federated learning framework | |
| Xu et al. | Computerized spermatogenesis staging (CSS) of mouse testis sections via quantitative histomorphological analysis | |
| Zhou et al. | Nuclei segmentation via sparsity constrained convolutional regression | |
| Albashish | Ensemble of adapted convolutional neural networks (CNN) methods for classifying colon histopathological images | |
| CN114530222A (zh) | 一种基于多组学和影像数据融合的癌症患者分类系统 | |
| Dabass et al. | A hybrid U-Net model with attention and advanced convolutional learning modules for simultaneous gland segmentation and cancer grade prediction in colorectal histopathological images | |
| Fazilov et al. | Patch-based lesion detection using deep learning method on small mammography dataset | |
| Tang et al. | Explainable survival analysis with uncertainty using convolution-involved vision transformer | |
| CN117541844A (zh) | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 | |
| Martin et al. | A graph based neural network approach to immune profiling of multiplexed tissue samples | |
| Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology | |
| CN113822252B (zh) | 显微镜下病理图像细胞鲁棒检测方法 | |
| Yan et al. | Two and multiple categorization of breast pathological images by transfer learning | |
| Kapse et al. | Cd-net: Histopathology representation learning using pyramidal context-detail network | |
| Yancey | Deep Feature Fusion for Mitosis Counting | |
| Chen et al. | An interpretable Algorithm for uveal melanoma subtyping from whole slide cytology images | |
| Kong et al. | Toward large-scale histopathological image analysis via deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |