CN115587985A - 组织病理图像细胞核分割以及染色风格规范化方法 - Google Patents

组织病理图像细胞核分割以及染色风格规范化方法 Download PDF

Info

Publication number
CN115587985A
CN115587985A CN202211259830.7A CN202211259830A CN115587985A CN 115587985 A CN115587985 A CN 115587985A CN 202211259830 A CN202211259830 A CN 202211259830A CN 115587985 A CN115587985 A CN 115587985A
Authority
CN
China
Prior art keywords
style
image
generator
segmentation
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211259830.7A
Other languages
English (en)
Inventor
周国辉
杨植若
余锦华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202211259830.7A priority Critical patent/CN115587985A/zh
Publication of CN115587985A publication Critical patent/CN115587985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供了一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成，步骤S2，将强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注；步骤S3，采用强标注图像块和具有伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。

Description

组织病理图像细胞核分割以及染色风格规范化方法
技术领域
本发明属于智能辅助诊断领域，具体涉及一种组织病理图像细胞核分割以及染色风格规范化方法。
背景技术
基于苏木精-伊红(H&E)染色的组织病理学是大多数现有临床诊断的基础和金标准。数字化病理图像的自动分析是医学影像分析中非常重要的一部分。由于多种原因，病理学图像的细胞级分析非常困难，原因包括：染色处理技术的差异导致染色风格的差异，病理学图像包含大量难以量化的信息，像素级注释非常费时费力。
染色风格差异是细胞级智能分析中最显著的问题之一。病理学家主要通过检查组织成分的分布、细胞的比例和空间组成来诊断疾病。组织化学染色赋予不同组织不同的染色，并揭示潜在的组织细胞结构。苏木精-伊红染色是最常用的组织病理学染色方法之一。由于染色过程中的操作差异，染色的组织切片通常具有不同的颜色，尤其是细胞核染色的阴影。这不仅导致病理学家的视觉诊断不一致，而且成为自动计算病理分析的障碍，尤其是在细胞分割和细胞分类等任务中。在过去的十年中，染色风格规范化对于细胞级自动分析的重要性越来越被认识到。生成对抗网络(GAN)作为深度学习的重要组成部分，广泛用于数据扩充和风格迁移。由于不需要配对数据，CycleGAN及其变形已成功应用于图像风格迁移。但是由于不配对的训练数据，也易于产生原始图像中不存在的结构。
缺乏像素级注释是病理图像中细胞核自动分割的一大瓶颈，阻碍了细胞级病理图像分析的发展。数字病理图像分析的主要深度学习模型包括卷积神经网络(CNN)和VisionTransformer(VIT)。Unet[]及其变体属于CNNs组，是应用最广泛的细胞核分割模型。ViT[]及其衍生模型由于其优越的性能，近年来在细胞核分割任务中比CNN受到了更多的关注。基于CNN的分割网络通常需要大量像素注释来实现稳健的分割模型。此外，由于比CNN具有更大的网络容量和更复杂的结构，ViT需要更多带注释的数据。由于核的像素级标签获取费时费力，全监督分割方法受到越来越多的约束，基于半监督学习框架的细胞核分割越来越受到重视。
发明内容
本发明的目的在于提供一种半监督多任务的组织病理图像细胞核分割以及染色风格规范化方法，旨在有效解决在细胞级病理分析中，由于组织病理切片图像制备过程中染色风格不统一以及标注数量不足而导致的细胞核分割精度不足问题。
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成；步骤S2，将强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注；步骤S3，采用强标注图像块和具有伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，强标注图像块分为具有多种染色风格图像块的源域训练集X和只有一种染色风格图像块目标域训练集Y，步骤S2包括：步骤S21、定义两个生成器GX2Y、GY2X和两个鉴别器DX、DY，生成器GX2Y和生成器GY2X均由一个编码器和两个解码器组成，两个解码器分别为染色风格规范化解码器和分割解码器，生成器GX2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure BDA0003891133850000031
鉴别器DY用于判断
Figure BDA0003891133850000032
是否与真实Y目标域图像风格相近真实度，生成器GY2X用于使得Y目标域图像风格转移到X源域图像风格，并由鉴别器DX判断真实度，将
Figure BDA0003891133850000033
输入生成器GY2X中得到
Figure BDA0003891133850000034
并采用循环一致性损失来约束
Figure BDA0003891133850000035
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；步骤S22，将注意力门设置到生成器GX2Y、GY2X中，通过注意力机制来使得生成器更加关注到细胞核区域；步骤S23，将强标注图像块送入多任务教师模型进行训练，进一步利用训练好的多任务教师模型对无标注图像块进行预测，并对预测结果进行筛选得到符合质量要求的细胞核分割结果作为伪标注，伪标注的质量通过对每张分割结果的每个像素点计算softmax值，若该张图片所有像素softmax均值大于设定阈值，则符合质量要求：
Figure BDA0003891133850000041
其中，k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别。
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，在步骤S21中：染色风格规范化解码器利用循环一致性损失LCyc及对抗损失LGAN，实现染色风格规范化任务：
Figure BDA0003891133850000042
Figure BDA0003891133850000043
LCyc(GX2Y,GY2X)
＝Ex～X[||GY2X(GX2Y(x)-x||1]
+Ey～Y[||GX2Y(GY2X(y)-y||1]
分割解码器利用BCE损失函数作为细胞分割的损失函数LSeg，实现细胞核的分割任务：
Figure BDA0003891133850000044
生成器的总损失函数为：
L(G′X2Y,G′Y2X,DY,DX,Xlabel)
＝[λX2YLGAN(G′X2Y)+LGAN(DY)+LGAN(G′Y2X)+LGAN(DX)]
+λCycLCyc(G′X2Y,G′Y2X)+λSegLSeg(X,Xlabel)
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，其中，分割解码器的输出设置为256*256*1，染色风格规范化解码器的输出设置为256*256*3。
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，在步骤S22中：注意力门的输出是输入特征图
Figure BDA0003891133850000051
和注意系数
Figure BDA0003891133850000052
的乘积，其中xl表示高维图像表示，i和c分别表示空间和通道尺寸：
Figure BDA0003891133850000053
每个像素i使用
Figure BDA0003891133850000054
的门控向量来确定关注区域，Fg对应于图层g中的特征映射数，门控向量包含用于修剪较低级别特征响应的上下文信息，门控系数是通过附加的注意力获得的，公式如下：
Figure BDA0003891133850000055
Figure BDA0003891133850000056
式中，σ1表示ReLU激活函数，σ2(xi,c)＝1/1+exp(-xi,c)对应于Sigmoid激活函数，注意力门的特征为一组参数θatt，包含：线性变换
Figure BDA0003891133850000057
和偏置项bψ∈R，
Figure BDA0003891133850000058
Figure BDA0003891133850000059
线性变换使用输入张量的通道1×1×1卷积计算得到。
根据本发明提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，步骤S3包括：步骤S31，定义两个生成器G′X2Y、G′Y2X和两个鉴别器D′X、D′Y，生成器G′X2Y、G′Y2X均由一个编码器和两个解码器组成，两个解码器分别为染色风格规范化解码器和分割解码器，染色风格规范化解码器及分割解码器分别利用循环一致性损失实现染色风格规范化任务以及细胞核的分割任务：生成器G′X2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure BDA0003891133850000061
鉴别器D′Y用于判断
Figure BDA0003891133850000062
是否与真实Y目标域图像风格相近真实度，生成器G′Y2X用于使得Y目标域图像风格转移到X源域图像风格，并由鉴别器D′X判断真实度，将
Figure BDA0003891133850000063
输入生成器G′Y2X中得到
Figure BDA0003891133850000064
并采用循环一致性损失来约束
Figure BDA0003891133850000065
Figure BDA0003891133850000066
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；步骤S32，将Resnet-50与Transformer级联，构成多任务学生模型生成器G′X2Y、G′Y2X的编码器；步骤S33，将步骤S23用到的强标注图像块以及由多任务教师模型预测并筛选质量合格的伪标注混合作为多任务学生模型的训练集，训练该多任务学生模型。
发明作用与效果
根据本发明的组织病理图像细胞核分割以及染色风格规范化方法，通过先进行预处理得到易于计算机处理的图像块，有效解决病理数字切片计算量过大的问题；进一步提出了教师-学生半监督框架，利用强标注数据训练的多任务教师模型产生伪标注数据，多任务学生模型的数据集得到扩增，实现更加准确的分割和规范化效果。构建的多任务教师模型AttCycle、多任务学生模型TransCycle能够有效地解决细胞级病理分析中，由于染色差异性带来的细胞核分割准确度不高的问题，提高了细胞核分割准确度的同时实现染色风格的规范化。
附图说明
图1为本发明实施例提供的组织病理图像细胞核分割以及染色风格规范化方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的组织病理图像细胞核分割以及染色风格规范化方法作具体阐述。
对本发明涉及到的技术术语进行介绍。
半监督：由于缺乏像素级标注，深度学习进行组织病理图像细胞级别分析任务时性能往往受限。为了缓解像素级标注缺失带来的不利影响，半监督的方法被提出，以生成伪标注数据作为模型训练的额外数据。多任务：多任务即所设计系统同时实现任务一：染色风格规范化；任务二：细胞核分割。多任务策略用以提高图像风格的转换质量同时实现细胞核的更准确分割。染色风格规范化：组织病理切片在制备过程中，受到染色试剂品牌、染色时间、操作流程等因素的影响会产生染色风格的差异性，染色风格的差异性对临床诊断及计算机自动分析产生不利影响，因此，将多种染色风格统一转换到利于诊断及分析的风格即为染色风格的规范化。
<实施例>
图1为本发明实施例提供的组织病理图像细胞核分割以及染色风格规范化方法的流程图，如图1所示，该方法具体包括如下步骤S1至步骤S4。
步骤S1，对全视野数字切片进行数据预处理得到图像块。
其中，步骤S1具体包括：在放大倍数为20倍的视野下，选择面积范围在2000*2000到8000*8000像素的区域，切成256*256的图像块。其中少部分图像块送至病理专家进行细胞核标注，得到具有强标注细胞核的图像块作为强标注图像块。其余大量图像块为无细胞核标注的无标注图像块。同时，按照不同的染色风格，将强标注图像块划分得到X，Y两组不同染色风格的训练集。其中X组中图像块具有多种染色风格，称为源域训练集，Y组图像块只有一种染色风格，称为目标域训练集。
本实施例中，在切出的图像块中挑选出210张染色风格各异的图像块作为X域训练集进行手工像素级细胞核标注，另外挑选出210张染色风格一致且易于诊断分析的图像块作为Y域训练集进行手工像素级细胞核标注。再挑选出140张染色风格各异的图像块，均分两份，分别作为验证集和测试集，同样进行手工像素级细胞核标注。训练集：验证集：测试集＝3:1:1。
步骤S2，将强标注图像块(即X域训练集和Y域训练集)作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注。
在本实施例的步骤S2中，对多任务教师模型AttCycle，具体包括：
步骤S21，定义两个生成器GX2Y、GY2X和两个鉴别器DX、DY，生成器GX2Y和生成器GY2X均由一个编码器和两个解码器组成。两个解码器分别为染色风格规范化解码器和分割解码器，对于分割解码器输出设置为256*256*1，对于染色风格规范化解码器输出设置为256*256*3。
染色风格规范化解码器利用循环一致性损失LCyc及对抗损失LGAN，实现染色风格规范化任务：
Figure BDA0003891133850000091
Figure BDA0003891133850000092
LCyc(GX2Y,GY2X)
＝Ex～X[||GY2X(GX2Y(x)-x||1]
+Ey～Y[||GX2Y(GY2X(y)-y||1]
式中，Ex～X为X域训练集中每个样本x在经过生成器GX2Y生成染色规范化结果后经过鉴别器DY输出二阶范数后的数学期望，Ey～Y为Y域训练集中每个样本y在经过生成器GY2X生成染色规范化结果后经过鉴别器DX输出二阶范数后的数学期望，
Figure BDA0003891133850000093
为鉴别器DY的生成对抗损失且该损失值越小越好，
Figure BDA0003891133850000101
为生成器GX2Y的生成对抗损失且该损失值越小越好，DY(GX2Y(x))为X域训练集中每个样本x在经过生成器GX2Y生成染色规范化结果后经过鉴别器DY的输出，DY(y)为Y域训练集中每个样本y在经过生成器GY2X生成染色规范化结果后经过鉴别器DX的输出。
同时，分割解码器利用BCE损失函数作为细胞分割的损失函数LSeg，实现细胞核的分割任务：
Figure BDA0003891133850000102
式中，
Figure BDA0003891133850000103
为计算分割结果x与对应标注xlabel的交叉熵的数学期望值，xlabelloge(x)+(1-xlabelloge(1-x)为分割结果x与对应标注xlabel的交叉熵，e为自然对数。
生成器的总损失函数为：
L(GX2Y,GY2X,DY,DX,Xlabel)
＝[λX2YLGAN(GX2Y)+LGAN(DY)+LGAN(GY2X)+LGAN(DX)]
+λCycLCyc(GX2Y,GY2X)+λSegLSeg(X,Xlabel)
式中，X为网络分割结果，Xlabel为X对应的标注，LGAN(GX2Y)为生成器GX2Y的对抗损失，LGAN(GY2X)为生成器GY2X的对抗损失，LGAN(DY)为鉴别器DY的对抗损失，LGAN(DX)为鉴别器DX的对抗损失，λX2Y为生成器GX2Y的损失权重，λCyc为循环一致损失LCyc的损失权重，λSeg为细胞核分割损失LSeg的损失权重。
生成器GX2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure BDA0003891133850000111
鉴别器DY用于判断
Figure BDA0003891133850000112
是否与真实Y目标域图像风格相近真实度。类似地，生成器GY2X用于使得Y目标域图像风格转移到X源域图像风格，并由鉴别器DX判断真实度。
将
Figure BDA0003891133850000113
输入生成器GY2X中得到
Figure BDA0003891133850000114
并采用循环一致性损失来约束
Figure BDA0003891133850000115
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变。由于步骤S1准备的训练集中，X域中有多种染色风格，Y域只有一种染色风格，因此实现病理图片染色风格规范化效果。
步骤S22，将注意力门(Attention-Gates，AG)设置到生成器GX2Y、GY2X中，通过注意力机制来使得生成器更加关注到细胞核区域，提升规范化质量和分割准确度。
AG的输出是输入特征图
Figure BDA0003891133850000116
和注意系数
Figure BDA0003891133850000117
的乘积，其中xl表示高维图像表示，i和c分别表示空间和通道尺寸：
Figure BDA0003891133850000118
式中，
Figure BDA0003891133850000119
为Attention-Gates的第l层特征层的输入特征图，
Figure BDA00038911338500001110
为特征层第l层的注意系数。
每个像素i使用
Figure BDA00038911338500001111
的门控向量来确定关注区域，Fg对应于图层g中的特征映射数。门控向量包含用于修剪较低级别特征响应的上下文信息，门控系数是通过附加的注意力获得的。公式如下：
Figure BDA00038911338500001112
Figure BDA00038911338500001113
其中，
Figure BDA00038911338500001114
表示特征层第l层的附加注意力系数，σ1表示ReLU激活函数，σ2(xi,c)＝1/1+exp(-xi,c)对应于Sigmoid激活函数。Attention-Gates的特征是一组参数θatt包含：线性变换
Figure BDA0003891133850000121
线性变换
Figure BDA0003891133850000122
线性变换系数
Figure BDA0003891133850000123
和偏置项bψ∈R，
Figure BDA0003891133850000124
上述线性变换Wx，Wg使用输入张量的通道1×1×1卷积计算得到。式中，
Figure BDA0003891133850000125
为维度是Fl×Fint的实数矩阵，
Figure BDA0003891133850000126
为维度是Fg×Fint的实数矩阵，Fl为特征层l中的特征映射数，Fg为图层g中的特征映射数，Fint为
Figure BDA0003891133850000127
的维度数。
步骤S23，将强标注图像块送入多任务教师模型进行训练。训练好的模型对无标注数据进行预测，并筛选符合质量阈值的伪标注数据。生成伪标注的质量通过对每张分割结果的每个像素点计算softmax值，若该张图片所有像素softmax均值大于设定阈值，则符合质量要求。
Figure BDA0003891133850000128
其中，k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别。
本实施例中，得到由多任务教师模型推测并筛选的5000张高质量的细胞核分割结果作为伪标注，这5000对应的规范化结果作为伪Y域图像。
步骤S3，采用强标注图像块和具有伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练。
本实施例的步骤S3中，采用步骤一中210例Y域图像及对应的手工细胞核标注数据和步骤三得到的5000张伪Y域图像块5000伪细胞核标注的图像块合并作为多任务学生模型的Y域训练集。X域训练集则由210例手工标注图像块以及另外的5000张染色风格不同的图像块组成。
对多任务学生模型TransCycle，具体包括：
步骤S31，定义两个生成器G′X2Y、G′Y2X和两个鉴别器D′X、D′Y，生成器G′X2Y、G′Y2X均由一个编码器和两个解码器组成，两个解码器分别为染色风格规范化解码器和分割解码器，对于分割解码器输出设置为256*256*1，对于染色风格规范化解码器输出设置为256*256*3。利用循环一致性损失，实现染色风格规范化任务。同时，实现细胞核的准确分割。
生成器G′X2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure BDA0003891133850000131
鉴别器D′Y用于判断
Figure BDA0003891133850000132
是否与真实Y目标域图像风格相近真实度。类似地，生成器G′Y2X用于使得Y目标域图像风格转移到X源域图像风格，并由鉴别器D′X判断真实度。
将
Figure BDA0003891133850000133
输入生成器G′Y2X中得到
Figure BDA0003891133850000134
并采用循环一致性损失来约束
Figure BDA0003891133850000135
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变。由于步骤S1准备的训练集中，X域中有多种染色风格，Y域只有一种染色风格，因此实现病理图片染色风格规范化效果。
步骤S32，将Resnet-50与Transformer级联，构成多任务学生模型生成器G′X2Y、G′Y2X的编码器。
步骤S33，将步骤S23用到的强标注图像块以及由多任务教师模型预测并筛选质量合格的伪标注混合作为多任务学生模型的训练集，训练该多任务学生模型。
在步骤S2、S3中，对于多任务教师模型AttCycle以及多任务学生模型TransCycle的训练过程，本实施例中执行的训练次数为200次，选取验证集分割结果评价指标最好的轮次作为最终训练结果。
步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。
本实施例中，待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果，独立测试集采用F1-score,AJI,mIOU评价分割结果，并采用MAE，RMSE，SSIM评价染色风格规范化结果。相关公式如下：
Figure BDA0003891133850000141
Figure BDA0003891133850000142
Figure BDA0003891133850000143
Figure BDA0003891133850000144
Figure BDA0003891133850000145
Figure BDA0003891133850000146
其中，TP为False Negative，表示正样本被判定为负样本的概率，FP：FalsePositive，表示负样本被判定为正样本的概率，TN：TrueNegative,负样本被判断准确的概率，TP：True Positive,正样本被判断准确的概率；k为分类数量(不包括背景类),N是一张图像块中细胞核的数量，
Figure BDA0003891133850000151
指的是生成的mask的连通域，Gi指的是
Figure BDA0003891133850000152
与标注细胞核交集最大的连通域。U指的是与标注细胞核没有交集的连通域的集合，PF指的是U的成员。uX、uY分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的标准差。σXY代表图像X和Y协方差。C1，C2和C3为常数，避免分母为0。
结果分析如下：
表1给出了所采用的多任务教师模型AttCycle和多任务学生模型TransCycle在手工标注数据集下以及TransCycle在手工标注和伪标注混合数据集下，细胞核分割和染色风格规范化的结果指标评价。
表1.不同数据集下AtCycle和TransCycle结果
Figure BDA0003891133850000153
可见本发明提出的半监督多任务的组织病理图像细胞核分割以及染色风格规范化系统能得到0.8140的F1分数，同时规范化指标RMSE进一步减小为0.1598，SSIM提升为0.8224。
实施例作用与效果
根据本实施例提供的组织病理图像细胞核分割以及染色风格规范化方法，通过先进行预处理得到易于计算机处理的图像块，有效解决病理数字切片计算量过大的问题；进一步提出了教师-学生半监督框架，利用强标注数据训练的多任务教师模型产生伪标注数据，多任务学生模型的数据集得到扩增，实现更加准确的分割和规范化效果。构建的多任务教师模型AttCycle、多任务学生模型TransCycle能够有效地解决细胞级病理分析中，由于染色差异性带来的细胞核分割准确度不高的问题，提高了细胞核分割准确度的同时实现染色风格的规范化。
另外，本实施例中，还由于AttCycle利用Attention-gate，加强对细胞核的关注，因此可以有效提升细胞核分割的准确度。
另外，本实施例中，还由于TransCycle在生成器的编码器中引入Resnet50和Transformer，有效提高了在大量数据下提取特征的能力，进一步增强了多任务学生模型分割和规范化任务的性能。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：
步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成；
步骤S2，将所述强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注；
步骤S3，采用所述强标注图像块和具有所述伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；
步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。
2.根据权利要求1所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，所述强标注图像块分为具有多种染色风格图像块的源域训练集X和只有一种染色风格图像块目标域训练集Y，所述步骤S2包括：
步骤S21，定义两个生成器GX2Y、GY2X和两个鉴别器DX、DY，所述生成器GX2Y和生成器GY2X均由一个编码器和两个解码器组成，所述两个解码器分别为染色风格规范化解码器和分割解码器，
所述生成器GX2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure FDA0003891133840000021
所述鉴别器DY用于判断
Figure FDA0003891133840000022
是否与真实Y目标域图像风格相近真实度，
所述生成器GY2X用于使得Y目标域图像风格转移到X源域图像风格，并由所述鉴别器DX判断真实度，
将
Figure FDA0003891133840000023
输入所述生成器GY2X中得到
Figure FDA0003891133840000024
并采用循环一致性损失来约束
Figure FDA0003891133840000025
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；
步骤S22，将注意力门设置到所述生成器GX2Y、GY2X中，通过注意力机制来使得所述生成器更加关注到细胞核区域；
步骤S23，将所述强标注图像块送入所述多任务教师模型进行训练，
进一步利用训练好的所述多任务教师模型对无标注图像块进行预测，
并对预测结果进行筛选得到符合质量要求的细胞核分割结果作为所述伪标注，
所述伪标注的质量通过对每张分割结果的每个像素点计算softmax值，若该张图片所有像素softmax均值大于设定阈值，则符合质量要求：
Figure FDA0003891133840000026
其中，k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别。
3.根据权利要求2所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，在所述步骤S21中：
所述染色风格规范化解码器利用循环一致性损失LCyc及对抗损失LGAN，实现染色风格规范化任务：
Figure FDA0003891133840000031
Figure FDA0003891133840000032
LCyc(GX2Y，GY2X)＝Ex～X[||GY2X(GX2Y(x)-x||1]+Ey～Y[||GX2Y(GY2X(y)-y||1]
式中，Ex～X为X域训练集中每个样本x在经过生成器GX2Y生成染色规范化结果后经过鉴别器DY输出二阶范数后的数学期望，Ey～Y为Y域训练集中每个样本y在经过生成器GY2X生成染色规范化结果后经过鉴别器DX输出二阶范数后的数学期望，
Figure FDA0003891133840000033
为鉴别器DY的生成对抗损失且该损失值越小越好，
Figure FDA0003891133840000034
为生成器GX2Y的生成对抗损失且该损失值越小越好，DY(GX2Y(x))为X域训练集中每个样本x在经过生成器GX2Y生成染色规范化结果后经过鉴别器DY的输出，DY(y)为Y域训练集中每个样本y在经过生成器GY2X生成染色规范化结果后经过鉴别器DX的输出，
所述分割解码器利用BCE损失函数作为细胞分割的损失函数LSeg，实现细胞核的分割任务：
Figure FDA0003891133840000041
式中，
Figure FDA0003891133840000042
为计算分割结果x与对应标注xlabel的交叉熵的数学期望值，xlabelloge(x)+(1-xlabelloge(1-x)为分割结果x与对应标注xlabel的交叉熵，e为自然对数，
所述生成器的总损失函数为：
L(G′X2Y，G′Y2X，DY，DX，Xlabel)＝λX2YLGAN(G′X2Y)+LGAN(DY)+LGAN(G′Y2X)+LGAN(DX)]+λCycLCyc(G′X2Y，G′Y2X)+λSegLSeg(X，Xlabel)
式中，X为网络分割结果，Xlabel为X对应的标注，LGAN(GX2Y)为生成器GX2Y的对抗损失，LGAN(GY2X)为生成器GY2X的对抗损失，LGAN(DY)为鉴别器DY的对抗损失，LGAN(DX)为鉴别器DX的对抗损失，λX2Y为生成器GX2Y的损失权重，λCyc为循环一致损失LCyc的损失权重，λSeg为细胞核分割损失LSeg的损失权重。
4.根据权利要求3所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于：
其中，所述分割解码器的输出设置为256*256*1，所述染色风格规范化解码器的输出设置为256*256*3。
5.根据权利要求2所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，在所述步骤S22中：
所述注意力门的输出是输入特征图
Figure FDA0003891133840000051
和注意系数
Figure FDA0003891133840000052
的乘积，其中xl表示高维图像表示，i和c分别表示空间和通道尺寸：
Figure FDA0003891133840000053
式中，
Figure FDA0003891133840000054
为所述注意力门的第l层特征层的输入特征图，
Figure FDA0003891133840000055
为特征层第l层的注意系数，
每个像素i使用
Figure FDA0003891133840000056
的门控向量来确定关注区域，Fg对应于图层g中的特征映射数，
所述门控向量包含用于修剪较低级别特征响应的上下文信息，门控系数是通过附加的注意力获得的，公式如下：
Figure FDA0003891133840000057
Figure FDA0003891133840000058
式中，
Figure FDA0003891133840000059
表示特征层第l层的附加注意力系数，σ1表示ReLU激活函数，σ2(xi,c)＝1/1+exp(-xi,c)对应于Sigmoid激活函数，
所述注意力门的特征为一组参数θatt，包含：线性变换
Figure FDA00038911338400000510
Figure FDA00038911338400000511
线性变换
Figure FDA00038911338400000512
线性变换系数
Figure FDA00038911338400000513
和偏置项bψ∈R，
Figure FDA00038911338400000514
所述线性变换使用输入张量的通道1×1×1卷积计算得到。
6.根据权利要求2所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，所述步骤S3包括：
步骤S31，定义两个生成器G′X2Y、G′Y2X和两个鉴别器D′X、D′Y，所述生成器G′X2Y、G′Y2X均由一个编码器和两个解码器组成，所述两个解码器分别为染色风格规范化解码器和分割解码器，
所述染色风格规范化解码器及所述分割解码器分别利用循环一致性损失实现染色风格规范化任务以及细胞核的分割任务：
所述生成器G′X2Y用于将X源域图像风格转移到Y目标域图像风格，有
Figure FDA0003891133840000061
所述鉴别器D′Y用于判断
Figure FDA0003891133840000062
是否与真实Y目标域图像风格相近真实度，
所述生成器G′Y2X用于使得Y目标域图像风格转移到X源域图像风格，并由所述鉴别器D′X判断真实度，
将
Figure FDA0003891133840000063
输入所述生成器G′Y2X中得到
Figure FDA0003891133840000064
并采用循环一致性损失来约束
Figure FDA0003891133840000065
用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；
步骤S32，将Resnet-50与Transformer级联，构成所述多任务学生模型所述生成器G′X2Y、G′Y2X的编码器；
步骤S33，将所述步骤S23用到的所述强标注图像块以及由所述多任务教师模型预测并筛选质量合格的伪标注混合作为所述多任务学生模型的训练集，训练该多任务学生模型。
CN202211259830.7A 2022-10-14 2022-10-14 组织病理图像细胞核分割以及染色风格规范化方法 Pending CN115587985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211259830.7A CN115587985A (zh) 2022-10-14 2022-10-14 组织病理图像细胞核分割以及染色风格规范化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211259830.7A CN115587985A (zh) 2022-10-14 2022-10-14 组织病理图像细胞核分割以及染色风格规范化方法

Publications (1)

Publication Number Publication Date
CN115587985A true CN115587985A (zh) 2023-01-10

Family

ID=84780589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211259830.7A Pending CN115587985A (zh) 2022-10-14 2022-10-14 组织病理图像细胞核分割以及染色风格规范化方法

Country Status (1)

Country Link
CN (1) CN115587985A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117456544A (zh) * 2023-12-25 2024-01-26 苏州可帮基因科技有限公司 带笔迹病理图像的修复方法及设备
CN117496512A (zh) * 2024-01-02 2024-02-02 广州锟元方青医疗科技有限公司 宫颈tct切片的多类型细胞核标注及多任务处理方法
CN117893450A (zh) * 2024-03-15 2024-04-16 西南石油大学 一种数字病理图像增强的方法、装置和设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117456544A (zh) * 2023-12-25 2024-01-26 苏州可帮基因科技有限公司 带笔迹病理图像的修复方法及设备
CN117456544B (zh) * 2023-12-25 2024-03-15 苏州可帮基因科技有限公司 带笔迹病理图像的修复方法及设备
CN117496512A (zh) * 2024-01-02 2024-02-02 广州锟元方青医疗科技有限公司 宫颈tct切片的多类型细胞核标注及多任务处理方法
CN117496512B (zh) * 2024-01-02 2024-03-22 广州锟元方青医疗科技有限公司 宫颈tct切片的多类型细胞核标注及多任务处理方法
CN117893450A (zh) * 2024-03-15 2024-04-16 西南石油大学 一种数字病理图像增强的方法、装置和设备
CN117893450B (zh) * 2024-03-15 2024-05-24 西南石油大学 一种数字病理图像增强的方法、装置和设备

Similar Documents

Publication Publication Date Title
CN115587985A (zh) 组织病理图像细胞核分割以及染色风格规范化方法
Li et al. cC-GAN: A robust transfer-learning framework for HEp-2 specimen image segmentation
Waibel et al. A diffusion model predicts 3d shapes from 2d microscopy images
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
EP4075325A1 (en) Method and system for the classification of histopathological images based on multiple instance learning
CN112560967A (zh) 一种多源遥感图像分类方法、存储介质及计算设备
CN110490894A (zh) 基于改进的低秩稀疏分解的视频前背景分离方法
Yuan et al. Neural stain normalization and unsupervised classification of cell nuclei in histopathological breast cancer images
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
Wang et al. Fossil brachiopod identification using a new deep convolutional neural network
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
Samsi et al. Colorization of H&E stained tissue using Deep Learning
CN113724195B (zh) 基于免疫荧光图像的蛋白质的定量分析模型和建立方法
Barrera et al. Automatic normalized digital color staining in the recognition of abnormal blood cells using generative adversarial networks
Zhang et al. Tumor cell identification in ki-67 images on deep learning
CN113436115A (zh) 一种基于深度无监督学习的图像阴影检测方法
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN117197456A (zh) 一种面向he染色的病理图像细胞核同时分割分类方法
Ye et al. A multi-attribute controllable generative model for histopathology image synthesis
Jia et al. A fast texture-to-stain adversarial stain normalization network for histopathological images
Ekman et al. Task based semantic segmentation of soft X-ray CT images using 3D convolutional neural networks
CN115908923A (zh) 基于注意力引导3d神经网络的脑部磁共振图像分类系统
Xiang et al. Semi-supervised image classification via attention mechanism and generative adversarial network
Kong et al. Toward large-scale histopathological image analysis via deep learning
CN112215351B (zh) 增强的多尺度卷积神经网络软测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination