CN116740117A - 一种基于无监督域适应的胃癌病理图像分割方法 - Google Patents
一种基于无监督域适应的胃癌病理图像分割方法 Download PDFInfo
- Publication number
- CN116740117A CN116740117A CN202310686511.2A CN202310686511A CN116740117A CN 116740117 A CN116740117 A CN 116740117A CN 202310686511 A CN202310686511 A CN 202310686511A CN 116740117 A CN116740117 A CN 116740117A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- domain image
- segmentation
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 50
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 50
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000001575 pathological effect Effects 0.000 title claims abstract description 30
- 230000006978 adaptation Effects 0.000 title claims abstract description 26
- 238000003709 image segmentation Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 129
- 230000011218 segmentation Effects 0.000 claims abstract description 112
- 230000007170 pathology Effects 0.000 claims abstract description 33
- 230000003044 adaptive effect Effects 0.000 claims abstract description 11
- 238000004043 dyeing Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000010186 staining Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督域适应的胃癌病理图像分割方法，包括以下步骤：获取胃癌病理的源域图像和目标域图像,并构建源域图像数据集和目标域图像数据集；对所述源域图像数据集进行判断，并基于所述源域图像数据集进行预训练，获取分割网络的预训练模型；基于所述分割网络的预训练模型构建第二mean‑teacher训练模型，实现基于所述第二mean‑teacher训练模型的无监督域适应分割训练，获取训练好的分割网络模型；采用所述训练好的分割网络模型对所述目标域图像进行预测，获取所述目标域图像数据集的像素级标注，实现基于无监督域适应的胃癌病理图像分割。
Description
技术领域
本发明属于数字图像处理技术领域，尤其涉及一种基于无监督域适应的胃癌病理图像分割方法。
背景技术
病理活检是目前诊断胃癌的“金标准”，它是指病理学家对采集得到的胃癌病理切片样本在显微镜下用肉眼进行观察，对大量细胞和组织区域进行分析识别从而做出诊断。但是这种方法不仅费时费力、还会因为病理学家的主观经验差异导致患者诊断结果不准确。因此，为了帮助病理学家建立一套客观统一的病理样本分析标准，基于全玻片数字化扫描技术(wholeslideimaging，WSI)的数字化病理分析在病理学领域得到了应用与发展。基于全玻片数字化扫描技术，将病理切片进行扫描得到高分辨率的数字病理图像，而后利用基于深度学习算法的图像处理技术对病理图像进行分类、检测、分割等分析，辅助病理学家进行进一步的组织分级或量化分析。
目前深度学习算法在数字化病理分析的三大主流任务之一—图像分割任务，能够帮助病理学家准确高效地识别与定位感兴趣区域，降低病理学家阅片难度，辅助病理学家进行癌症分化等级，评估治疗效果，实现预后评估。然而，目前的病理图像分割方法仍然高度依赖于大量具有像素级标注的数据。医学图像数据的人工标注需要由专业人员来进行，并且像素级标注过程费时费力，收集带有大量标注的数据集来训练深度学习模型难度非常大。
除此之外，在病理切片样本的制备过程中，必不可少的环节之一是组织染色，添加染色成分可以使自然透明的组织元素变得更容易区分。然而，染色过程以及扫描仪设备的差异均会导致数字化病理图像中的组织呈现出不同的颜色外观和亮度。不同患者的组织形态比如癌细胞形态、粘连程度、面积大小等也可能出现明显差异。即使是相同组织类型的病理图像数据，所述的颜色外观、亮度以及组织形态等差异不仅会影响病理学家的分析评估，还会降低深度学习分割算法的泛化性能。
发明内容
本发明的目的是提供一种基于无监督域适应的胃癌病理图像分割方法，该方法能够利用现有的胃癌病理图像的标注信息，实现对不同来源的胃癌病理图像的像素级标注。
为实现上述目的，本发明提供了一种基于无监督域适应的胃癌病理图像分割方法，包括以下步骤：
获取胃癌病理的源域图像和目标域图像,并构建源域图像数据集和目标域图像数据集；
对所述源域图像数据集进行判断，并基于所述源域图像数据集进行预训练，获取分割网络的预训练模型；
基于所述分割网络的预训练模型构建第二mean-teacher训练模型，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取训练好的分割网络模型；
采用所述训练好的分割网络模型对所述目标域图像进行预测，获取所述目标域图像数据集的像素级标注，实现基于无监督域适应的胃癌病理图像分割。
可选的，获取所述胃癌病理的源域图像和目标域图像,并构建所述源域图像数据集和所述目标域图像数据集包括：
将带有像素级标注的胃癌病理图像作为所述胃癌病理的源域图像，基于若干所述胃癌病理的源域图像构建所述源域图像数据集；
将无标注的胃癌病理图像数据作为所述胃癌病理的目标域图像，基于若干所述胃癌病理的目标域图像构建所述目标域图像数据集。
可选的，对所述源域图像数据集进行判断，并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型包括：
若所述源域图像数据集的像素级标注无噪音，则基于所述源域图像数据集对分割网络模型进行预训练，获取所述分割网络的预训练模型；
若所述源域图像数据集的像素级标注有噪音，构建第一mean-teacher训练模型并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型。
可选的，基于所述源域图像数据集对所述分割网络模型进行预训练，获取所述分割网络的预训练模型包括：
将所述胃癌病理源域图像输入所述分割网络模型，计算所述分割网络模型的输出和所述源域图像标注的损失函数；
所述分割网络模型利用所述源域图像标注的损失函数进行训练，并基于所述源域图像数据集对所述分割网络模型进行预训练，直至在所述目标域图像集上预测效果最好，获取所述分割网络的预训练模型。
可选的，构建所述第一mean-teacher训练模型并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型包括：
构建若干个结构相同的所述分割网络模型；
基于若干个所述结构相同的分割网络模型，构建所述第一mean-teacher训练模型，所述第一mean-teacher训练模型包括第一教师模型和第一学生模型；
利用所述源域图像数据集对所述第一学生模型进行训练，并利用噪声标注校正方法对源域噪声标注进行校正，预训练获取所述分割网络的预训练模型。
可选的，利用所述源域图像数据集对所述第一学生模型进行训练，并利用噪声标注校正方法对所述源域噪声标注进行校正，预训练获取所述分割网络的预训练模型包括：
基于所述源域图像数据集，获取所述源域噪声标注；
将所述源域图像数据集输入所述第一教师模型进行预测，获取所述源域图像数据集的分割概率图；
采用噪声标注校正法，基于所述分割概率图估计获取所述源域噪声标注的二值化错误掩膜；
利用所述二值化错误掩膜对所述源域噪声标注进行校正，获取校正后的标注；
所述校正后的标注对所述第一学生模型进行预训练，直至获取所述目标域图像数据集的验证集上预测效果最好的第一学生模型；
所述预测效果最好的第一学生模型为所述分割网络的预训练模型。
可选的，基于所述分割网络的预训练模型构建所述第二mean-teacher训练模型，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取所述训练好的分割网络模型包括：
将所述分割网络的预训练模型作为第二教师模型，构建与所述分割网络的预训练模型结构相同的第二学生模型；
基于所述第二教师模型和所述第二学生模型，构建所述第二mean-teacher训练模型；
引入动态自适应染色变换，对所述源域图像和所述目标域图像进行跨染色风格增强，获取具有目标域图像染色风格的源域图像和目标域图像；
利用所述具有目标域图像染色风格的源域图像和目标域图像对所述第二学生模型进行无监督域适应分割训练，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取所述目标域图像数据集上分割效果最好的第二学生模型；
所述分割效果最好的第二学生模型为所述训练好的分割网络模型。
可选的，所述第二mean-teacher训练模型包括所述第二学生模型和所述第二教师模型；
所述第二学生模型采用随机初始化进行权重初始化；
所述第二教师模型采用所述分割网络的预训练模型进行权重初始化。
可选的，采用所述训练好的分割网络模型对所述目标域图像进行预测，获取所述目标域图像数据集的像素级标注包括：
采用所述训练好的分割网络模型对目标域图像进行预测，评估所述分割网络模型性能，获得目标域图像数据集的像素级标注。
本发明具有以下有益效果：
本发明所提出的一种基于无监督域适应的胃癌病理图像分割方法，可以通过采用噪声标注校正策略减轻标注噪声对分割网络模型带来的负面影响，利用动态自适应染色变换融合不同数据集的染色信息，提高分割网络模型对染色差异的鲁棒性，同时在训练过程中根据样本分割的难易程度调整图像对网络模型训练的贡献度，提高了胃癌病理图像分割算法的分割准确性；本发明充分利用了无监督域适应训练方法，提升了算法对病理图像染色外观差异和细胞形态差异的鲁棒性，实现对不同来源以及不同批次的胃癌病理图像的准确分割，减轻了深度学习算法对人工标注的工作需求。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一种基于无监督域适应的胃癌病理图像分割方法的方法流程图；
图2为本发明实施例提出的算法基本框架图，其中(a)为基于噪声标注校正的分割网络模型预训练阶段，(b)为基于动态自适应染色变换的无监督域适应分割训练阶段。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的目的是利用有标注的数据作为源域数据，无标注的数据作为目标域数据，使用两个域的数据共同训练出一个统计模型，最小化源域与目标域数据之间的特征分布差异，使得源域带有的标注信息能够迁移至目标域数据上，从而实现无标注目标域数据的准确分割。该方法不仅能够通过域适应的方式解决不同来源病理图像之间的图像特征分布差异，还可以通过利用额外的无标注图像数据来减轻算法对人工标注的需求，实现了数据的高效利用。
如图1所示，本实施例中提供一种基于无监督域适应的胃癌病理图像分割方法，具体包括以下步骤：
步骤一、将无标注的胃癌病理图像数据定义为目标域图像数据集，选取带有像素级标注的胃癌病理图像公开数据集作为源域图像数据集。
将无标注数据作为目标域图像数据集Xt，并将其划分为目标域图像训练集、目标域图像验证集和目标域图像测试集；
其中，为目标域数据集中的第i张图像，Nt为目标域图像数量，i为单张图像标号，R为实数集，H为图像高度，W为图像宽度。
选择带有像素级标注的胃癌病理图像公开数据集作为源域图像数据集(Xs,Ys)，源域数据集数量与目标域训练集数量尽可能接近；
其中，为源域图像，/>为源域图像标注，Ns为源域图像数量，M表示的是图像类别数，在本实施例中，分割类别有癌细胞和正常细胞，因此M＝2。
如果源域数据集标注是准确的，则进行步骤二，如果标注是包含噪声的，则进行步骤三。
步骤二、若源域数据集标注无噪声，采用源域图像数据集对分割网络模型进行预训练。
因为源域图像数据集的标注是准确的，因此可以直接使用源域图像数据集Xs对分割网络模型进行预训练，分割网络模型选用的是DAFormer网络模型，主要包含两个部分：编码器gθ和解码器hθ，其中使用mit-b0作为DAFormer的主干网络；
将源域图像输入至分割网络模型中，计算网络输出和源域图像标注/>的二进制交叉熵(BCE)损失函数和Dice损失函数，其计算公式分别为式(3)和式(4)：
其中，为第i张图像的二进制交叉熵(BCE)损失函数，j为像素点索引，/>为第i张图像的Dice损失函数。
预训练阶段，分割网络模型采用式(5)所示的损失函数进行训练；
其中，为第i张图像总的损失函数，/>为第i张图像的二进制交叉熵(BCE)损失函数，/>为第i张图像的Dice损失函数。
采用源域图像数据集对分割网络模型进行预训练，直至在目标域图像验证集上预测效果最好，从而获得分割网络模型的预训练模型；
步骤三、若源域数据集标注含有噪声，构建出两个结构相同的分割网络模型共同组建成mean-teacher训练架构。其中，一个分割网络模型作为学生模型；另一个分割网络模型作为教师模型，为学生模型的预训练提供辅助作用；
利用所述源域图像数据集对mean-teacher训练架构中的学生模型进行训练，并利用噪声标注校正方法对所述源域噪声标注进行校正，预训练获取所述预训练模型。
如图2(a)所示，mean-teacher训练架构包含一个教师模型和一个学生模型，两个模型均采用步骤二的DAFormer网络模型，学生模型的编码器和解码器分别表示为和解码器/>教师模型的编码器和解码器分别表示为/>和解码器/>学生模型采用梯度反传的方式进行权重更新，教师模型采用指数移动平均方法进行权重更新，二者的模型权重初始化均采用随机初始化的方式；
预训练过程中，将源域图像数据集Xs输入至教师模型进行预测，输出得到源域图像数据集Xs对应的分割概率图
采用基于置信度学习的噪声标注校正的方法，根据分割概率图估计得到噪声标注对应的二值化错误掩膜；掩膜值为1表示在源域数据集给出的噪声标注中，该像素点的标注是错误的，掩膜值为0表示该像素点的标注是正确的；
使用二值化错误掩膜对噪声标注进行校正，获得校正后的标注用于学生模型的预训练过程；
基于置信度学习的噪声标注校正方法具体由以下步骤实现：
1)给定一张图像X，其中任意一个像素点x，当它对应的标注y＝i，但是教师网络输出的分割概率图中判定为类别c2的概率大于设定的阈值tj，则可以认为像素点潜在的真实标注y*＝j，阈值tc2的计算公式如式(6)所示；
2)对于图像X以及给定的噪声标注Y，计算对应的置信度联合矩阵Cy,y*和联合分布矩阵计算公式分别如式(7)和式(8)所示；
其中，为教师模型输出的概率图中判断像素类别为c的概率值。
3)针对每个类别i∈M，选择图像X中n·∑j∈M:j≠i(Qy,y*[i][j])(n为图像X的像素点总数)个置信度最低的像素点作为标注错误的像素，从而获得二值化错误掩膜Xerr，掩膜值为1表示该像素点的标注是错误的，掩膜值为0表示该像素点的标注是正确的；
4)根据式(9)校正噪声标注，获得校正过后的标注Yclean；
Yclean＝Y+Xerr·(-1)Y(9)
其中，Y为数据集给定的噪声标注。
但是由于根据教师模型的预测结果对标注进行校正过后可能仍然存在噪声，因此在预训练过程中通过式(10)计算教师模型预测结果的置信度。置信度越高，表示教师模型对该图像的预测结果越可靠，对训练损失值的贡献度可以越高，因此使用置信度作为预训练过程损失函数的加权因子，将式(5)调整为式(11)。
其中ρi为第i张图像的置信度，为第i张图象的第j个像素的教师预测概率值，M为图像类别数，在本实例中M＝2；
其中，为调整过后的第i张图像总的损失函数。
预训练得到在目标域验证集上预测效果最好的学生模型作为预训练模型并且使用该模型分割生成源域图像数据集的分割掩膜作为后续训练过程的源域图像标注；
步骤四、构建一个与所述预训练模型结构一致的分割网络模型作为学生模型，所述预训练模型作为教师模型，二者共同组建成mean-teacher训练架构，实现基于mean-teacher训练架构的无监督域适应分割训练，获取训练好的分割网络模型；
如图2(b)所示，步骤四中的mean-teacher训练架构与步骤三mean-teacher训练架构中的模型权重更新方法保持一致，但是步骤四中学生模型采用随机初始化的方式进行权重初始化，教师模型采用预训练模型进行权重初始化；
引入动态自适应染色变换模块，分别对源域数据和目标域数据进行跨域染色风格增强，获得具有目标域图像染色风格的源域数据以及具有源域图像染色风格的目标域数据，具体由以下步骤实现：
1)给定一张源域图像Xs和一张目标域图像Xt，根据比尔-朗伯特转换和稀疏非负矩阵分解将其分解为对应的染色颜色矩阵Ws,Wt和染色密度矩阵Hs,Ht；其中，染色颜色矩阵表示的是每种染色剂的颜色外观，染色密度矩阵表示的是每种染色剂的密度，比尔-朗伯特定律表示为：
其中，X表示在RGB颜色空间中的病理图像，X0是照射光强度，在实施例中X0＝255，V是图像的光密度，Wd，Hd分别表示病理图像对应的染色颜色矩阵和染色密度矩阵。
2)根据式(13)和式(14)将Ws与Wt进行自适应混合，获得染色增强后的
其中，ρs，ρt分别为教师模型对图像Xs和图像Xt的预测置信度,计算公式如式(10)。
3)根据式(15)和式(16)对染色密度矩阵Hs，Ht进行加权，获得增强后的
引入ρs,ρt作为染色颜色矩阵和染色密度矩阵的加权因子能够实现对图像进行自适应的染色变换调整，教师模型预测的置信度越高，染色变换的程度越大。
4)使用比尔-朗伯特反变换得到染色增强后的源域图像和目标域图像/>
其中，X0为照射光强度，为源域增强后的染色密度矩阵，/>为目标域增强后的染色密度矩阵。
引入动态自适应染色增强模块后，针对每个mini-batch，输入至学生模型进行训练的图像包括同时目标域图像Xt输入至教师模型生成伪标注/>用于监督目标域图像的训练。
在本实施例中，源域图像和目标域图像在网络模型训练过程中的监督损失函数均使用式(11)进行计算，分别表示为和/>
综上所述，本实施例的分割网络模型训练过程整体的损失函数定义为上述损失函数之和：
选取在目标域验证集上分割效果最好的学生模型为训练好的分割网络模型。
步骤五、采用训练好的分割网络模型对目标域图像进行预测，评估模型性能，获得目标域图像数据集的像素级标注。
本发明所提出的基于无监督域适应的胃癌病理图像分割方法，通过在预训练阶段引入噪声标注校正的方法，对源域图像数据集的噪声标注进行校正，减轻了图像噪声标注给网络带来的负面影响。使用无监督域适应的方法，实现自动准确地生成目标域图像的像素级标注，很大程度上减轻了人工标注数据集的工作需求。其中，使用动态自适应染色增强策略弱化了由染色带来的域差异，提升了网络对于染色颜色外观的鲁棒性。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，具体包括以下步骤：
获取胃癌病理的源域图像和目标域图像,并构建源域图像数据集和目标域图像数据集；
对所述源域图像数据集进行判断，并基于所述源域图像数据集进行预训练，获取分割网络的预训练模型；
基于所述分割网络的预训练模型构建第二mean-teacher训练模型，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取训练好的分割网络模型；
采用所述训练好的分割网络模型对所述目标域图像进行预测，获取所述目标域图像数据集的像素级标注，实现基于无监督域适应的胃癌病理图像分割。
2.如权利要求1所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，获取所述胃癌病理的源域图像和目标域图像,并构建所述源域图像数据集和所述目标域图像数据集包括：
将带有像素级标注的胃癌病理图像作为所述胃癌病理的源域图像，基于若干所述胃癌病理的源域图像构建所述源域图像数据集；
将无标注的胃癌病理图像数据作为所述胃癌病理的目标域图像，基于若干所述胃癌病理的目标域图像构建所述目标域图像数据集。
3.如权利要求2所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，对所述源域图像数据集进行判断，并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型包括：
若所述源域图像数据集的像素级标注无噪音，则基于所述源域图像数据集对分割网络模型进行预训练，获取所述分割网络的预训练模型；
若所述源域图像数据集的像素级标注有噪音，构建第一mean-teacher训练模型并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型。
4.如权利要求3所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，基于所述源域图像数据集对所述分割网络模型进行预训练，获取所述分割网络的预训练模型包括：
将所述胃癌病理源域图像输入所述分割网络模型，计算所述分割网络模型的输出和所述源域图像标注的损失函数；
所述分割网络模型利用所述源域图像标注的损失函数进行训练，并基于所述源域图像数据集对所述分割网络模型进行预训练，直至在所述目标域图像集上预测效果最好，获取所述分割网络的预训练模型。
5.如权利要求3所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，构建所述第一mean-teacher训练模型并基于所述源域图像数据集进行预训练，获取所述分割网络的预训练模型包括：
构建若干个结构相同的所述分割网络模型；
基于若干个所述结构相同的分割网络模型，构建所述第一mean-teacher训练模型，所述第一mean-teacher训练模型包括第一教师模型和第一学生模型；
利用所述源域图像数据集对所述第一学生模型进行训练，并利用噪声标注校正方法对源域噪声标注进行校正，预训练获取所述分割网络的预训练模型。
6.如权利要求5所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，利用所述源域图像数据集对所述第一学生模型进行训练，并利用噪声标注校正方法对所述源域噪声标注进行校正，预训练获取所述分割网络的预训练模型包括：
基于所述源域图像数据集，获取所述源域噪声标注；
将所述源域图像数据集输入所述第一教师模型进行预测，获取所述源域图像数据集的分割概率图；
采用噪声标注校正法，基于所述分割概率图估计获取所述源域噪声标注的二值化错误掩膜；
利用所述二值化错误掩膜对所述源域噪声标注进行校正，获取校正后的标注；
所述校正后的标注对所述第一学生模型进行预训练，直至获取所述目标域图像数据集的验证集上预测效果最好的第一学生模型；
所述预测效果最好的第一学生模型为所述分割网络的预训练模型。
7.如权利要求1所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，基于所述分割网络的预训练模型构建所述第二mean-teacher训练模型，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取所述训练好的分割网络模型包括：
将所述分割网络的预训练模型作为第二教师模型，构建与所述分割网络的预训练模型结构相同的第二学生模型；
基于所述第二教师模型和所述第二学生模型，构建所述第二mean-teacher训练模型；
引入动态自适应染色变换，对所述源域图像和所述目标域图像进行跨染色风格增强，获取具有目标域图像染色风格的源域图像和目标域图像；
利用所述具有目标域图像染色风格的源域图像和目标域图像对所述第二学生模型进行无监督域适应分割训练，实现基于所述第二mean-teacher训练模型的无监督域适应分割训练，获取所述目标域图像数据集上分割效果最好的第二学生模型；
所述分割效果最好的第二学生模型为所述训练好的分割网络模型。
8.如权利要求7所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，所述第二mean-teacher训练模型包括所述第二学生模型和所述第二教师模型；
所述第二学生模型采用随机初始化进行权重初始化；
所述第二教师模型采用所述分割网络的预训练模型进行权重初始化。
9.如权利要求1所述的一种基于无监督域适应的胃癌病理图像分割方法，其特征在于，采用所述训练好的分割网络模型对所述目标域图像进行预测，获取所述目标域图像数据集的像素级标注包括：
采用所述训练好的分割网络模型对目标域图像进行预测，评估所述分割网络模型性能，获得目标域图像数据集的像素级标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310686511.2A CN116740117B (zh) | 2023-06-09 | 2023-06-09 | 一种基于无监督域适应的胃癌病理图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310686511.2A CN116740117B (zh) | 2023-06-09 | 2023-06-09 | 一种基于无监督域适应的胃癌病理图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740117A true CN116740117A (zh) | 2023-09-12 |
| CN116740117B CN116740117B (zh) | 2024-02-06 |
Family
ID=87903964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310686511.2A Active CN116740117B (zh) | 2023-06-09 | 2023-06-09 | 一种基于无监督域适应的胃癌病理图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740117B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469560A (zh) * | 2016-07-27 | 2017-03-01 | 江苏大学 | 一种基于无监督域适应的语音情感识别方法 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| WO2021114130A1 (zh) * | 2019-12-11 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 一种无监督自适应乳腺病变分割方法 |
| CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
| CN116206106A (zh) * | 2023-01-28 | 2023-06-02 | 北京交通大学 | 一种基于不确定伪标签修正的半监督图像分割方法 |
| CN116229080A (zh) * | 2023-05-08 | 2023-06-06 | 中国科学技术大学 | 半监督域适应图像语义分割方法、系统、设备及存储介质 |
-
2023
- 2023-06-09 CN CN202310686511.2A patent/CN116740117B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469560A (zh) * | 2016-07-27 | 2017-03-01 | 江苏大学 | 一种基于无监督域适应的语音情感识别方法 |
| WO2021114130A1 (zh) * | 2019-12-11 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 一种无监督自适应乳腺病变分割方法 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
| CN116206106A (zh) * | 2023-01-28 | 2023-06-02 | 北京交通大学 | 一种基于不确定伪标签修正的半监督图像分割方法 |
| CN116229080A (zh) * | 2023-05-08 | 2023-06-06 | 中国科学技术大学 | 半监督域适应图像语义分割方法、系统、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| LIANG YAN ET AL.: "CMT: Cross Mean Teacher Unsupervised Domain Adaptation for VHR Image Semantic Segmentation", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 19, pages 1 - 5, XP011895605, DOI: 10.1109/LGRS.2021.3065982 * |
| PENG LIU ET AL.: "CADA: Multi-scale Collaborative Adversarial Domain Adaptation for unsupervised optic disc and cup segmentation", 《NEUROCOMPUTING》, vol. 469, pages 209 - 220, XP086883680, DOI: 10.1016/j.neucom.2021.10.076 * |
| 姚明海等: "基于主动学习的半监督领域自适应方法研究", 《高技术通讯》, vol. 30, no. 08, pages 783 - 789 * |
| 张燚鑫: "图像识别的无监督域适应方法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 03, pages 138 - 60 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740117B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| US11170897B2 (en) | Method and system for assisting pathologist identification of tumor cells in magnified tissue images | |
| CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
| CN108288506A (zh) | 一种基于人工智能技术的癌症病理辅助诊断方法 | |
| CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
| CN110853009A (zh) | 基于机器学习的视网膜病理图像分析系统 | |
| CN112950631B (zh) | 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 | |
| US11935279B1 (en) | Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN111161249B (zh) | 一种基于域适应的无监督医学图像分割方法 | |
| CN111325750A (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| Wang et al. | A generalizable and robust deep learning algorithm for mitosis detection in multicenter breast histopathological images | |
| CN112330790B (zh) | 基于对抗学习与自适应色度修正的ct图像自动着色方法 | |
| CN111210447B (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
| CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
| CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
| CN111368669B (zh) | 一种基于深度学习和特征增强的非线性光学图像识别方法 | |
| CN113837179B (zh) | 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质 | |
| CN114678121A (zh) | 一种hp球形变诊断模型及其构建方法 | |
| CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 | |
| CN114299291A (zh) | 一种可解释的人工智能医疗图像语义分割方法 | |
| CN114155249A (zh) | 一种基于深度矢量场回归的三维细胞图像实例分割方法 | |
| Shaikh et al. | Artifact identification in digital histopathology images using few-shot learning | |
| CN117522891A (zh) | 一种3d医学图像分割系统及方法 | |
| CN116740117B (zh) | 一种基于无监督域适应的胃癌病理图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |