CN112132843A - 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 - Google Patents

基于无监督深度学习的苏木精-伊红染色病理图像分割方法 Download PDF

Info

Publication number
CN112132843A
CN112132843A CN202011059326.3A CN202011059326A CN112132843A CN 112132843 A CN112132843 A CN 112132843A CN 202011059326 A CN202011059326 A CN 202011059326A CN 112132843 A CN112132843 A CN 112132843A
Authority
CN
China
Prior art keywords
image
training
segmentation
cell nucleus
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011059326.3A
Other languages
English (en)
Other versions
CN112132843B (zh
Inventor
时鹏
钟婧
吴崇数
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN202011059326.3A priority Critical patent/CN112132843B/zh
Publication of CN112132843A publication Critical patent/CN112132843A/zh
Application granted granted Critical
Publication of CN112132843B publication Critical patent/CN112132843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开基于无监督深度学习的苏木精‑伊红染色病理图像分割方法，在获得HE染色病理图像以后，首先进行预处理和特征提取，之后使用K‑means聚类将像素分为5类并进行类别整合，使用既定的训练样本全自动抓取策略对聚类得到的类别标签图像进行遍历抓取可靠的训练样本，然后使用训练集对语义分割模型U‑net进行训练，并在训练前中后都设计了不同的训练策略。将待分割图像有重叠地切分为符合模型输入的大小，放入训练好的模型得到预测结果后进行拼接得到细胞核前景的分割结果。最后使用混合分水岭分割方法对细胞核部分进行精确的核边界分割得到完整的分割结果。本发明将无监督学习的高效率和深度学习的高精度有机结合，显著提高了病理图像分割任务中对细胞核区域分割的精度和效率。

Description

基于无监督深度学习的苏木精-伊红染色病理图像分割方法
技术领域
本发明涉及图像处理领域，尤其涉及基于无监督深度学习的苏木精-伊红染色病理图像分割方法。
背景技术
HE染色病理图像分割技术是对图像中的细胞核区域及细胞核间边界进行精确分割的过程。病理图像分割技术主要的依据是利用病理图像中的一些特殊的全局特征分布，如色彩分布或细胞形态分布等，依据细胞核与背景的色彩特征或形态特征的差异，将HE染色组织病理图像中的细胞核区域同背景分离出来。
HE染色病理图像分割技术是医学图像处理技术中最为实用化的技术之一，在HE染色组织病理学图像中，细胞核的状态是肿瘤诊断的金标准，如核的大小、形状和密度等都是对肿瘤定性的依据。然而，一张HE染色病理图像中细胞核的数量就已经非常庞大，且图像染色质量参差不齐，对于图像的全自动分割处理效率提出了更高的要求。
目前的HE染色病理图像细胞核分割方法主要分为两大类：1)经典细胞核分割方法：基于人工提取特征的经典机器学习方法。2)基于深度学习的细胞核分割方法：基于人工标注样本的卷积神经网路语义分割方法。
经典机器学习方法的局限性在于HE染料的染色质量易受外界因素的影响，染色结果存在较大差异。且染色后细胞核与背景之间难以寻找明确的界限，而细胞核形状的多样性也导致在细胞核检测和分割中难以建立稳定的形状模型，泛化能力差；基于深度学习的细胞核分割方法的局限性主要在于需要大量的人工标注样本用于训练模型以达到所需的泛化能力，而人工标注样本繁琐耗时，且极易受主观因素影响。
发明内容
本发明的目的在于提供基于无监督深度学习的苏木精-伊红染色病理图像分割方法。
本发明采用的技术方案是：
基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其包括以下步骤：
步骤1，利用设定窗口大小的高斯滤波和中值滤波相结合的方式对HE(苏木精-伊红)染色图像进行预处理，并基于互信息结果在RGB色彩空间中进行特征选择得到精简二维特征集；
步骤2，基于精简二维特征集采用K-means聚类对HE染色图像中的像素进行初步分类和类别整合，并依策略提取训练样本得到训练集；
步骤3、使用所收集的训练集对语义分割卷积神经网络U-Net模型进行训练得到参数训练完成的U-Net模型，再输入待预测图像获取预测结果，并拼接得到细胞核前景分割结果；
步骤4，对细胞核前景分割结果进行混合分水岭分割得到细胞核间精确边界。
进一步地，步骤1的预处理包含滤波、可靠类标签获取、互信息计算等步骤。
进一步地，步骤1具体包括以下步骤：
步骤1.1，对HE染色病理图像采用窗口大小为5×5的高斯滤波和中值滤波相结合的方式对图像进行预处理，并将HE染色病理图像(RGB)分解为红色、绿色和蓝色色彩强度的灰度图像，作为分割所需的备选特征；
步骤1.2，采用基于层次K-means聚类的HE染色图像分割模型对HE染色图像进行分割，根据分割结果获取细胞核区域、细胞质区域和胞外间隙区域的类标签，分别计算各备选特征与类标签之间的互信息值，两个离散随机变量X与Y之间的互信息定义如下：
Figure BDA0002711790660000021
其中，Ωx，Ωy分别为X，Y的样本空间；p(x),p(y)分别为X，Y概率密度函数，p(x,y)是X，Y的联合概率密度；将备选特征分别作为X，将可靠类标签当作Y，且将所有的灰度图像及类标签伪彩色图像均映射到一维空间，计算互信息值；选择互信息值较大的红色和绿色相应的灰度图像，并将其映射到二维特征空间中组成精简的二维特征集，记为(R,G)。
进一步地，步骤2具体包括以下步骤：
步骤2.1，采用无监督K-means聚类将HE染色图像分割为五类区域，
步骤2.2，对5类区域进行像素及标签的整合得到可靠细胞核区域、模糊区域和非细胞核区域3类标签图像；
步骤2.3，基于指定的窗口大小对整合后的类别标签图像上进行遍历滑动抓取训练样本标签及对应图像块形成训练集；
进一步地，步骤2.1中的五类区域分别定义为细胞核色彩稳定区域、核质模糊区、细胞质色彩稳定区域、质隙模糊区以及胞外间隙色彩稳定区域；
进一步地，步骤2.2中细胞核色彩稳定区域重新定义为可靠细胞核区域；核质模糊区重新定义为模糊区域；细胞质色彩稳定区域、质隙模糊区、胞外间隙色彩稳定区域整合为非细胞核区域，以此生成新的类别标签图。
进一步地，步骤2.3在遍历过程中，当窗口中属于可靠细胞核区域的像素的个数大于h(此处取100)个，且属于模糊区域的像素的数量占窗口中总像素的比例小于5％(此处取5％)。则这个窗口中的模糊区域对训练的影响可以忽略不计，于是将这个窗口中的属于模糊区域像素的标签设置为非细胞核区域的标签，即将标签2全设置为0，然后取出作为训练图像的标签，并将原始HE染色图像中的对应位置取出作为训练图像，将得到的训练图像及其对应的标签进行整理得到训练集。
进一步地，步骤3中针对训练样本图像的特点制定训练协议，增强U-Net模型的泛化能力。
进一步地，步骤3具体包括以下步骤：
步骤3.1，将制作好的训练集分批放入模型中训练，设置每批的训练样本数量，并将每一批中的训练样本依概率p进行完全混合操作，完全混合操作公式如下：
Imix＝λIx+(1-λ)Iy
Lmix＝Lx|Ly
其中，Imix和Lmix表示混合后的图像和标签，Ix和Iy是一批训练样本中不同的两张图像，Lx和Ly是对应图像的标签，λ控制两张图像的混合权重分配，公式中的“|”符号表示左右两边进行逻辑“或”运算；
步骤3.2，采用带权重的二值交叉熵函数作为训练的损失函数，公式如下：
Loss＝mean(l1,l2,...,lN)
其中，ln＝-wn[yn·logxn+(1-yn)·log(1-xn)]，N是一批次的数量，yn是图像的真实标签，xn是预测结果；
步骤3.3，基于损失函数采用动态训练周期策略以完全混合的概率p的变化为导向训练U-Net模型得到训练完成的U-Net模型；
步骤3.4，将测试图像按指定步长且有重叠地裁剪成同U-Net模型输入大小相同的小片放入模型中得到预测结果，且在进行预测结果拼接时将相应重叠部分的概率值取平均值作为重叠部分的最终结果；最后将预测概率值大于或等于0.5的像素作为显性像素得到细胞核前景分割结果。
进一步的，步骤3.1中当一批训练样本需要进行完全混合操作，则将这批训练样本中的训练图像及其对应标签的排列随机打乱然后与原始排列的图像及对应标签按完全混合操作公式进行混合。
进一步地，步骤4具体包括以下步骤：
步骤4.1，首先采用色彩标记的分水岭分割方法对细胞核前景分割结果进行分割；
具体地，首先将细胞核区域转化为灰度图像，在初始标记(即区域极小值点)时，取K-means聚类得到的细胞核色彩稳定区域进行二值化处理，去除面积小于20个像素的区域，并对二值化图像中剩余连通区域中的孔洞进行填充形成包含封闭细胞核色彩稳定区域的二值图像，再将二值图像的各区域映射到完整细胞核区域灰度图像上得到初始标记，并以此进行第一次的基于灰度图像的分水岭分割；
步骤4.2，基于第一次分水岭分割结果对分割结果进行二值化处理，并生成细胞核封闭区域内的街区距离图，进行第二次的基于二值街区距离的分水岭分割得到最终的分割结果。
本发明采用以上技术方案，在获得HE染色病理图像以后，首先进行预处理和特征提取，之后使用K-means聚类将像素分为5类并进行类别整合，使用既定的训练样本全自动抓取策略对聚类得到的类别标签图像进行遍历抓取可靠的训练样本，然后使用训练集对语义分割模型U-net进行训练，并在训练前中后都设计了不同的训练策略。将待分割图像有重叠地切分为符合模型输入的大小，放入训练好的模型得到预测结果后进行拼接得到细胞核前景的分割结果。最后使用混合分水岭分割方法对细胞核部分进行精确的核边界分割得到完整的分割结果。
本发明方法取代了人工标注的过程，全自动自适应地根据图像自身的染色特点抓取训练样本，使得这一过程可以适应任意图像的数量以及质量，大大提高了训练集的制作效率。然后利用深度学习精度高的特点，将制作好的训练集放入语义分割模型中并有针对性地根据这些训练集的特点设计了完全混合、动态训练周期等训练策略，使得模型在仅仅只有细胞核稳定色彩区域参与训练的情况下，也可以预测染色较浅的细胞核。本发明将无监督学习和有监督深度学习的优点有机结合，提高了细胞核前景分割的精度及效率；并且混合分水岭分割方法也提高了细胞核间边界的分割精度。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1是本发明的原理示意图；
图2是本发明的聚类得到的细胞核色彩稳定区域像素同完整图像像素的对比图；
图3是本发明的训练样本自动抓取过程示意图；
图4是本发明的完全混合操作示意图；
图5是本发明的细胞核前景分割的结果示意图；
图6是本发明的最终完整分割的结果示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至5之一所示，本发明公开了基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其包括以下步骤：
步骤1、对苏木精-伊红(HE)染色病理图像进行特征提取，包含滤波、可靠类标签获取、互信息计算等步骤。利用窗口大小为5×5的高斯滤波和中值滤波相结合的方式对HE染色病理图像进行预处理，并基于互信息结果在RGB色彩空间中进行特征选择，得到精简的二维特征集以提高聚类效率；
具体地，如图3所示，步骤1具体包括以下步骤：
1.1首先由于HE染色图像中染料在组织细胞上的分布不均匀以及细小颜料颗粒形成椒盐噪声，本发明使用窗口大小为5×5，步长为1的中值滤波和高斯滤波相结合的方式对原始HE染色图像进行预处理。并将HE染色病理图像(RGB)分解为红色、绿色和蓝色色彩强度的灰度图像，作为分割所需的备选特征。
1.2采用基于层次K-means聚类的HE染色图像分割模型对HE染色图像进行分割，根据分割结果，获取细胞核区域、细胞质区域和胞外间隙区域的类标签。分别计算各备选特征与类标签之间的互信息值，两个离散随机变量X与Y之间的互信息定义如下：
Figure BDA0002711790660000051
其中，Ωx，Ωy分别为X，Y的样本空间；p(x),p(y)分别为X，Y概率密度函数，p(x,y)是X，Y的联合概率密度。在这里，将备选特征分别作为X，将可靠类标签当作Y，且将所有的灰度图像及类标签伪彩色图像均映射到一维空间，计算互信息值。选择互信息值较大的红色和绿色相应的灰度图像，并将其映射到二维特征空间中组成精简的二维特征集，记为(R,G)。
步骤2、根据所提取的特征集，采用K-means聚类对图像中的像素进行初步分类，然后进行类别整合并依策略自动提取训练样本。具体实现过程如下：
2.1利用步骤1中得到的特征集合(R,G)，采用K-means聚类将图像初步分割为5类，分别定义为细胞核色彩稳定区域、核质模糊区、细胞质色彩稳定区域、质隙模糊区以及胞外间隙色彩稳定区域，保存聚类结果及其标签。其中，聚类迭代次数I取150，并采用曼哈顿距离作为相似性度量指标；
2.2由于所制作的训练样本中只需要有可靠的细胞核区域，因此需要进行像素及标签的整合。将聚类得到的，属于细胞核色彩稳定区域的像素的标签设置为1，并重新定义为可靠细胞核区域，属于核质模糊区的像素的标签设置为2，并重新定义为模糊区域；属于细胞质色彩稳定区域的像素的标签、质隙模糊区的像素的标签、胞外间隙色彩稳定区域的像素的标签统一为0，并定义为非细胞核区域，此时类别标签图像上由原本的5类变为现在的3类，分别为可靠细胞核区域、模糊区域和非细胞核区域；具体整合前后的各类区域对应关系情况如下表所示；
表1：整合过程前后的各类区域对应关系表
Figure BDA0002711790660000061
2.3设置一个大小为48×48的窗口，将此窗口在整合后的类别标签图像上进行遍历滑动，为了丰富每一张图像中所能采集到的训练样本数量，设置水平滑动步长，垂直滑动步长均为8(此处取8)，由此同一区域的符合采集要求的细胞核可被多次采集。
为了保证训练样本上有细胞核区域的存在，在遍历过程中，当窗口中属于可靠细胞核区域的像素的个数大于h(此处取100)个，且属于模糊区域的像素的数量占窗口中总像素的比例小于5％(此处取5％)。则这个窗口中的模糊区域对训练的影响可以忽略不计，于是将这个窗口中的属于模糊区域像素的标签设置为非细胞核区域的标签，即将标签2全设置为0，然后取出作为训练图像的标签，并将原始HE染色图像中的对应位置取出作为训练图像，将得到的训练图像及其对应的标签进行整理得到训练集。
步骤3、原始的训练样本只有每一张图中染色最深的细胞核区域才能被采集到，因此直接用于训练模型将缺乏泛化能力。围绕这些训练样本的特点在训练前(完全混合)，训练中(损失函数、动态训练周期)，训练后(重叠预测)都设计了相应的协议使模型能够有效地将细胞核从背景中分割出来。具体实现过程如下：
3.1之所以要在训练前进行完全混合操作，是因为由无监督学习自动提取的训练样本，其只包含了图像中染色最深的细胞核部分，若直接将其用于训练，会导致模型对染色较浅的细胞核缺乏识别能力。而完全混合可以基本解决这一问题，提高模型的泛化能力。其过程如下：将制作好的训练集分批放入模型中训练，每批的训练样本数量设置为32，并将每一批中的训练样本依概率p进行完全混合操作。此处之所以要依概率p进行混合而不是完全混合，是因为模型需要一定量的原始图像来进行模型的参数修正，完全用混合后的图像会导致模型无法学习到真实的图像的特征。完全混合操作定义如下：
Imix＝λIx+(1-λ)Iy
Lmix＝Lx|Ly
公式中Imix和Lmix表示混合后的图像和标签，Ix和Iy是一批训练样本中不同的两张图像，Lx和Ly是对应图像的标签，λ控制两张图像的混合权重分配，公式中的“|”符号表示左右两边进行逻辑“或”运算。若一批训练样本需要进行完全混合操作，则将这批训练样本中的训练图像及其对应标签的排列随机打乱，然后与原始排列的图像及对应标签按上述公式进行混合。
其混合过程如图4所示，此处为使得结果能够清晰展示，使用的是大的HE染色图像而非训练样本。两张不同的训练样本图像中的红、绿、蓝三个色彩通道的色彩强度分别乘以λ(此处取0.5)再相加得到混合后的图像，如图4中的混合后的图像所示。两张图像对应的标签上的显性部分直接相叠加得到混合后的标签，如图4中的混合后的标签图所示。
3.2采用带权重的二值交叉熵函数作为训练的损失函数，定义如下：
Loss＝mean(l1,l2,...,lN)
其中
ln＝-wn[yn·log xn+(1-yn)·log(1-xn)]
公式中N是一批次的数量32(此处取32)，yn是图像的真实标签，xn是预测结果。对于权重wn，为了让模型充分学习到进行了完全混合后的训练样本中细胞核的特征，如果这个批次执行过完全混合操作，本发明将对这个批次的图像中的细胞核像素施加两倍的惩罚，对于图像的背景部分，或者没有进行完全混合操作的批次，本发明将保留原始权重。
3.3动态训练周期策略，与传统的深度神经网络的固定训练周期不同，本发明的训练周期是动态的，且以完全混合的概率p的变化为导向，具体算法定义如下：
Figure BDA0002711790660000071
Figure BDA0002711790660000081
算法1中输入的JS以及DC定义如下：
Figure BDA0002711790660000082
式中GT表示样本中像素的真实标签，SR表示预测结果。
算法1中步骤1中的p即是否进行完全混合的概率。JSti、DCti表示第i个周期得到的训练JS和DC，JSvi、DCvi表示第i个周期得到的验证JS和DC。待训练完成后，p也将从原始的0.1变化到0.9，也就是随着训练的进行完全混合操作被执行的概率将慢慢增大，使得模型可以慢慢加强对染色较浅的细胞核的辨识能力。
3.4当模型训练完成后，在放入测试图像前，由于模型的感受野只有48×48大小的窗口，因此对边界部分的预测结果会存在轻微波动，将测试图像裁剪步长设置为24(此处取24)，有重叠地裁剪成同模型输入大小相同的小片放入模型中得到预测结果。在进行预测结果拼接时，将相应重叠部分的概率值取平均值作为重叠部分的最终结果。最后，如图5所示，将预测概率值大于或等于0.5的像素作为显性像素(即细胞核像素)，得到细胞核前景分割结果。
步骤4、上述步骤得到的细胞核前景区域还存在一些粘连的细胞核，因此对其进行基于色彩标记和形状相结合的混合分水岭分割，得到细胞核间精确边界。
4.1首先采用色彩标记的分水岭分割方法对细胞核前景分割结果进行分割。首先将细胞核区域转化为灰度图像，在设计初始标记(即区域极小值点)时，取K-means聚类得到的细胞核色彩稳定区域进行二值化处理，去除面积小于20(此处取20)个像素的区域，并对二值化图像中剩余连通区域中的孔洞进行填充，形成包含封闭细胞核色彩稳定区域的二值图像，再将二值图像的各区域映射到完整细胞核区域灰度图像上，得到初始标记，并以此进行第一次的基于灰度图像的分水岭分割；
4.2基于第一次分水岭分割结果，对分割结果进行二值化处理，并生成细胞核封闭区域内的街区距离图，进行第二次的基于二值街区距离的分水岭分割，得到如图6所示的最终分割结果。
本发明采用以上技术方案，在获得HE染色病理图像以后，首先进行预处理和特征提取，之后使用K-means聚类将像素分为5类并进行类别整合，使用既定的训练样本全自动抓取策略对聚类得到的类别标签图像进行遍历抓取可靠的训练样本，然后使用训练集对语义分割模型U-net进行训练，并在训练前中后都设计了不同的训练策略。将待分割图像有重叠地切分为符合模型输入的大小，放入训练好的模型得到预测结果后进行拼接得到细胞核前景的分割结果。最后使用混合分水岭分割方法对细胞核部分进行精确的核边界分割得到完整的分割结果。
本发明方法取代了人工标注的过程，全自动自适应地根据图像自身的染色特点抓取训练样本，使得这一过程可以适应任意图像的数量以及质量，大大提高了训练集的制作效率。然后利用深度学习精度高的特点，将制作好的训练集放入语义分割模型中并有针对性地根据这些训练集的特点设计了完全混合、动态训练周期等训练策略，使得模型在仅仅只有细胞核稳定色彩区域参与训练的情况下，也可以预测染色较浅的细胞核。本发明将无监督学习和有监督深度学习的优点有机结合，提高了细胞核前景分割的精度及效率；并且混合分水岭分割方法也提高了细胞核间边界的分割精度。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (10)

1.基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：其包括以下步骤：
步骤1，利用设定窗口大小的高斯滤波和中值滤波相结合的方式对HE染色图像进行预处理，并基于互信息结果在RGB色彩空间中进行特征选择得到精简二维特征集；
步骤2，基于精简二维特征集采用K-means聚类对HE染色图像中的像素进行初步分类和类别整合，并依策略提取训练样本得到训练集；
步骤3、使用所收集的训练集对语义分割卷积神经网络U-Net模型进行训练得到参数训练完成的U-Net模型，再输入待预测图像获取预测结果，并拼接得到细胞核前景分割结果；
步骤4，对细胞核前景分割结果进行混合分水岭分割得到细胞核间精确边界。
2.根据权利要求1所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤1的具体包括以下步骤：
步骤1.1，对HE染色病理图像采用窗口大小为5×5的高斯滤波和中值滤波相结合的方式对图像进行预处理，并将HE染色病理图像(RGB)分解为红色、绿色和蓝色色彩强度的灰度图像，作为分割所需的备选特征；
步骤1.2，采用基于层次K-means聚类的HE染色图像分割模型对HE染色图像进行分割，根据分割结果获取细胞核区域、细胞质区域和胞外间隙区域的类标签，分别计算各备选特征与类标签之间的互信息值，两个离散随机变量X与Y之间的互信息定义如下：
Figure FDA0002711790650000011
其中，Ωx，Ωy分别为X，Y的样本空间；p(x),p(y)分别为X，Y概率密度函数，p(x,y)是X，Y的联合概率密度；将备选特征分别作为X，将可靠类标签当作Y，且将所有的灰度图像及类标签伪彩色图像均映射到一维空间，计算互信息值；选择互信息值较大的红色和绿色相应的灰度图像，并将其映射到二维特征空间中组成精简的二维特征集，记为(R,G)。
3.根据权利要求1所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤2具体包括以下步骤：
步骤2.1，采用无监督K-means聚类将HE染色图像分割为五类区域，五类区域分别定义为细胞核色彩稳定区域、核质模糊区、细胞质色彩稳定区域、质隙模糊区以及胞外间隙色彩稳定区域；
步骤2.2，对5类区域进行像素及标签的整合得到可靠细胞核区域、模糊区域和非细胞核区域3类标签图像；
步骤2.3，基于指定的窗口大小对整合后的类别标签图像上进行遍历滑动抓取训练样本标签及对应图像块形成训练集。
4.根据权利要求3所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤2.2中细胞核色彩稳定区域重新定义为可靠细胞核区域；核质模糊区重新定义为模糊区域；细胞质色彩稳定区域、质隙模糊区、胞外间隙色彩稳定区域整合为非细胞核区域，以此生成新的类别标签图。
5.根据权利要求3所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤2.3在遍历过程中，当窗口中属于可靠细胞核区域的像素的个数大于最低值h个，且属于模糊区域的像素的数量占窗口中总像素的比例小于5％；则将窗口中的属于模糊区域像素的标签设置为非细胞核区域的标签，即将标签2全设置为0，然后取出作为训练图像的标签，并将原始HE染色图像中的对应位置取出作为训练图像，将得到的训练图像及其对应的标签进行整理得到训练集。
6.根据权利要求1所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤3中针对训练样本图像的特点制定训练协议，增强U-Net模型的泛化能力。
7.根据权利要求1所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤3具体包括以下步骤：
步骤3.1，将制作好的训练集分批放入模型中训练，设置每批的训练样本数量，并将每一批中的训练样本依概率p进行完全混合操作，完全混合操作公式如下：
Imix＝λIx+(1-λ)Iy
Lmix＝Lx|Ly
其中，Imix和Lmix表示混合后的图像和标签，Ix和Iy是一批训练样本中不同的两张图像，Lx和Ly是对应图像的标签，λ控制两张图像的混合权重分配，公式中的“|”符号表示左右两边进行逻辑“或”运算；
步骤3.2，采用带权重的二值交叉熵函数作为训练的损失函数，公式如下：
Loss＝mean(l1,l2,...,lN)
其中，ln＝-wn[yn·logxn+(1-yn)·log(1-xn)]，N是一批次的数量，yn是图像的真实标签，xn是预测结果；
步骤3.3，基于损失函数采用动态训练周期策略以完全混合的概率p的变化为导向训练U-Net模型得到训练完成的U-Net模型；
步骤3.4，将测试图像按指定步长且有重叠地裁剪成同U-Net模型输入大小相同的小片放入模型中得到预测结果，且在进行预测结果拼接时将相应重叠部分的概率值取平均值作为重叠部分的最终结果；最后将预测概率值大于或等于0.5的像素作为显性像素得到细胞核前景分割结果。
8.根据权利要求7所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤3.1中当一批训练样本需要进行完全混合操作，则将这批训练样本中的训练图像及其对应标签的排列随机打乱然后与原始排列的图像及对应标签按完全混合操作公式进行混合。
9.根据权利要求1所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤4具体包括以下步骤：
步骤4.1，首先采用色彩标记的分水岭分割方法对细胞核前景分割结果进行进行第一次的基于灰度图像的分水岭分割；
步骤4.2，基于第一次分水岭分割结果对分割结果进行二值化处理，并生成细胞核封闭区域内的街区距离图，进行第二次的基于二值街区距离的分水岭分割得到最终的分割结果。
10.根据权利要求9所述的基于无监督深度学习的苏木精-伊红染色病理图像分割方法，其特征在于：步骤4.1中将细胞核区域转化为灰度图像，在初始标记时，取K-means聚类得到的细胞核色彩稳定区域进行二值化处理，去除面积小于20个像素的区域并对二值化图像中剩余连通区域中的孔洞进行填充形成包含封闭细胞核色彩稳定区域的二值图像，再将二值图像的各区域映射到完整细胞核区域灰度图像上得到初始标记，并以此进行第一次的基于灰度图像的分水岭分割。
CN202011059326.3A 2020-09-30 2020-09-30 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 Active CN112132843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059326.3A CN112132843B (zh) 2020-09-30 2020-09-30 基于无监督深度学习的苏木精-伊红染色病理图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059326.3A CN112132843B (zh) 2020-09-30 2020-09-30 基于无监督深度学习的苏木精-伊红染色病理图像分割方法

Publications (2)

Publication Number Publication Date
CN112132843A true CN112132843A (zh) 2020-12-25
CN112132843B CN112132843B (zh) 2023-05-19

Family

ID=73844929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059326.3A Active CN112132843B (zh) 2020-09-30 2020-09-30 基于无监督深度学习的苏木精-伊红染色病理图像分割方法

Country Status (1)

Country Link
CN (1) CN112132843B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669288A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN112819802A (zh) * 2021-02-09 2021-05-18 东北大学 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN112907603A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
CN113096096A (zh) * 2021-04-13 2021-07-09 中山市华南理工大学现代产业技术研究院 一种融合形态特征的显微图像骨髓细胞计数方法与系统
CN113393443A (zh) * 2021-06-17 2021-09-14 华南理工大学 一种he病理图像细胞核分割方法及系统
CN113409293A (zh) * 2021-06-30 2021-09-17 上海市第一人民医院 一种基于深度学习的病理学图像自动分割系统
CN113450351A (zh) * 2021-08-06 2021-09-28 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113450363A (zh) * 2021-06-10 2021-09-28 西安交通大学 一种基于标签校正的元学习细胞核分割系统及方法
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN114119981A (zh) * 2021-12-09 2022-03-01 成都理工大学 基于小样本深度学习无监督语义分割的大地电磁反演增强方法
CN114170493A (zh) * 2021-12-02 2022-03-11 江苏天汇空间信息研究院有限公司 一种提高遥感影像语义分割精度的方法
CN114511514A (zh) * 2022-01-14 2022-05-17 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN114764789A (zh) * 2022-03-30 2022-07-19 广州锟元方青医疗科技有限公司 病理细胞的量化方法、系统、装置及存储介质
CN114926398A (zh) * 2022-04-18 2022-08-19 太原理工大学 基于深度学习图像处理的粘连外周血细胞分割方法
CN114943723A (zh) * 2022-06-08 2022-08-26 北京大学口腔医学院 一种对不规则细胞进行分割计数的方法及相关设备
CN118471483A (zh) * 2024-07-10 2024-08-09 山东大学齐鲁医院 基于深度学习的贲门癌分型辅助诊断系统、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881865A (zh) * 2015-04-29 2015-09-02 北京林业大学 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN108229569A (zh) * 2018-01-10 2018-06-29 麦克奥迪（厦门）医疗诊断系统有限公司 基于染色成分调节的数字病理图像数据集样本扩充方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
US20190266731A1 (en) * 2018-02-26 2019-08-29 Abc Fintech Co., Ltd. Image segmentation method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881865A (zh) * 2015-04-29 2015-09-02 北京林业大学 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN108229569A (zh) * 2018-01-10 2018-06-29 麦克奥迪（厦门）医疗诊断系统有限公司 基于染色成分调节的数字病理图像数据集样本扩充方法
US20190266731A1 (en) * 2018-02-26 2019-08-29 Abc Fintech Co., Ltd. Image segmentation method and device
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669288B (zh) * 2020-12-30 2023-02-24 中国科学院自动化研究所 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN112669288A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN112907603B (zh) * 2021-02-05 2024-04-19 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
CN112907603A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
CN112819802A (zh) * 2021-02-09 2021-05-18 东北大学 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN112819802B (zh) * 2021-02-09 2024-03-05 东北大学 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN113096096A (zh) * 2021-04-13 2021-07-09 中山市华南理工大学现代产业技术研究院 一种融合形态特征的显微图像骨髓细胞计数方法与系统
CN113450363A (zh) * 2021-06-10 2021-09-28 西安交通大学 一种基于标签校正的元学习细胞核分割系统及方法
CN113393443A (zh) * 2021-06-17 2021-09-14 华南理工大学 一种he病理图像细胞核分割方法及系统
CN113393443B (zh) * 2021-06-17 2023-02-14 华南理工大学 一种he病理图像细胞核分割方法及系统
CN113409293A (zh) * 2021-06-30 2021-09-17 上海市第一人民医院 一种基于深度学习的病理学图像自动分割系统
CN113450351A (zh) * 2021-08-06 2021-09-28 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113450351B (zh) * 2021-08-06 2024-01-30 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN113763371B (zh) * 2021-09-15 2023-08-18 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN114170493A (zh) * 2021-12-02 2022-03-11 江苏天汇空间信息研究院有限公司 一种提高遥感影像语义分割精度的方法
CN114119981A (zh) * 2021-12-09 2022-03-01 成都理工大学 基于小样本深度学习无监督语义分割的大地电磁反演增强方法
CN114511514B (zh) * 2022-01-14 2023-07-21 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN114511514A (zh) * 2022-01-14 2022-05-17 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN114764789A (zh) * 2022-03-30 2022-07-19 广州锟元方青医疗科技有限公司 病理细胞的量化方法、系统、装置及存储介质
CN114764789B (zh) * 2022-03-30 2024-05-21 广州锟元方青医疗科技有限公司 病理细胞的量化方法、系统、装置及存储介质
CN114926398A (zh) * 2022-04-18 2022-08-19 太原理工大学 基于深度学习图像处理的粘连外周血细胞分割方法
CN114926398B (zh) * 2022-04-18 2024-03-29 太原理工大学 基于深度学习图像处理的粘连外周血细胞分割方法
CN114943723A (zh) * 2022-06-08 2022-08-26 北京大学口腔医学院 一种对不规则细胞进行分割计数的方法及相关设备
CN114943723B (zh) * 2022-06-08 2024-05-28 北京大学口腔医学院 一种对不规则细胞进行分割计数的方法及相关设备
CN118471483A (zh) * 2024-07-10 2024-08-09 山东大学齐鲁医院 基于深度学习的贲门癌分型辅助诊断系统、介质及设备

Also Published As

Publication number Publication date
CN112132843B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN112132843B (zh) 基于无监督深度学习的苏木精-伊红染色病理图像分割方法
US10445557B2 (en) Learning pixel visual context from object characteristics to generate rich semantic images
US10474874B2 (en) Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
Agrawal et al. Grape leaf disease detection and classification using multi-class support vector machine
CN108537239B (zh) 一种图像显著性目标检测的方法
CN110189383B (zh) 基于机器学习的中医舌色苔色定量分析方法
CN105893925A (zh) 基于肤色的人手检测方法及装置
CN106529380A (zh) 图像的识别方法及装置
CN112163511A (zh) 一种图像真伪鉴别方法
CN102184404B (zh) 掌纹图像中手掌区域的获取方法及装置
CN107730499A (zh) 一种基于nu‑支持向量机的白细胞分类方法
CN108154195A (zh) 茶叶识别方法及使用该方法的茶叶分拣装置
CN110728302A (zh) 一种基于HSV和Lab颜色空间的色纺织物组织识别的方法
Fu et al. Robust image segmentation using contour-guided color palettes
CN109002755A (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN103971367B (zh) 水文资料图像分割方法
CN115272838A (zh) 基于信息融合技术的海洋浮游生物自动识别方法及系统
CN103020198B (zh) 一种在视频中搜索目标的方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN113392819B (zh) 一种批量化学术图像自动分割标注装置和方法
CN111507995A (zh) 一种基于彩色图像金字塔和颜色通道分类的图像分割方法
CN114863428B (zh) 一种基于深度学习的肺刷片细胞识别与分割方法
CN110929740A (zh) 一种基于lgbm模型的舌质舌苔分离方法
CN103020995B (zh) 一种适用于在视频中搜索目标的物件特征对比方法
CN116052129A (zh) 基于多特征融合的交通标志检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant