CN114565605A - 一种病理图像的分割方法及装置 - Google Patents

一种病理图像的分割方法及装置 Download PDF

Info

Publication number
CN114565605A
CN114565605A CN202210264678.5A CN202210264678A CN114565605A CN 114565605 A CN114565605 A CN 114565605A CN 202210264678 A CN202210264678 A CN 202210264678A CN 114565605 A CN114565605 A CN 114565605A
Authority
CN
China
Prior art keywords
network
image
class activation
training set
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210264678.5A
Other languages
English (en)
Inventor
王祥丰
邓样
金博
李郁欣
胡斌
朱凤平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Huashan Hospital of Fudan University
Original Assignee
East China Normal University
Huashan Hospital of Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University, Huashan Hospital of Fudan University filed Critical East China Normal University
Priority to CN202210264678.5A priority Critical patent/CN114565605A/zh
Publication of CN114565605A publication Critical patent/CN114565605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种病理图像的分割方法及装置。其中，该方法包括：将训练集样本输入到先验分类网络，得到样本的预测类别；根据预测类别和真实类别计算二值交叉熵损失，作为先验分类损失；根据先验分类网络生成类激活图，并使用孪生网络对类激活图进行正则化，得到修正类激活图；根据修正类激活图转换为伪像素级标签；将训练集样本输入至预先设置的语义分割网络，得到训练集样本的分割结果；将分割结果与伪像素级标签计算Dice损失，以优化语义分割网络，并通过优化后的语义分割网络进行病理图像分割。本方案可以使用标注量较少的图像级标签的组织病理图像，通过弱监督学习方式，对其进行快速准确地分割，完成对病理图像中癌变区域的自动定位。

Description

一种病理图像的分割方法及装置
技术领域
本发明涉及机器学习以及图像处理技术领域，尤其涉及一种病理图像的分割方法及装置。
背景技术
近年来，随着医疗技术的快速发展，医院中患者数据的急剧增加，大量医疗影像数据急需处理。目前的人工诊断的方式，病理医生的工作量较大，使得病理医生无法更好的关注病人的病情以及进行手术；而且，由于人工诊断存在主观因素，会存在医生之间的意见分歧，同时也会存在误诊的情况发生。因此，如何能够更好的利用组织病理学的一些资料，更好的辅助诊断，提高病理诊断的效率，使得诊断结果更加客观是目前医学领域亟待解决的技术难题。
发明内容
本申请提供一种病理图像的分割方法及装置，可以使用标注量较少的图像级标签的组织病理图像，通过弱监督学习方式，对其进行快速准确地分割，完成对病理图像中癌变区域的自动定位。
第一方面，本申请提供了一种病理图像的分割方法，所述方法包括：
获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集；
将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失；
根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图；
将所述修正类激活图按照预设转换规则转换为伪像素级标签；
将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果；
将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
进一步的，所述预测类别包括阴性和阳性类别。
进一步的，对病理图像进行预处理得到预处理图像，包括：
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转，得到翻转后的预处理图像；
以及，
对病理图像按照预设角度进行随机旋转处理，得到旋转后的预处理图像。
进一步的，所述先验分类网络为ResNet 50网络，所述ResNet 50网络具体包括：2个普通卷积残差模块，2个空洞卷积残差模块以及分类模块：
其中，所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成；所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成；其中，每个所述普通卷积残差组件包括2个卷积层和1个最大池化层，普通卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2；
其中，所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成；所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成；其中，每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层，空洞卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2，空洞率分别为2和4；
所述分类模块包括1个全局平均池化层和1个线性分类层，全局平均池化层输出的训练集样本特征图的尺寸为1×1，线性分类层的输出节点为2，表示预测为阳性或者阴性。
进一步的，根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失，包括：
采用如下公式计算先验分类损失：
Figure BDA0003552178420000031
其中，
Figure BDA0003552178420000032
其中，Lcls表示先验分类损失，yi表示真实标签的类别，
Figure BDA0003552178420000034
表示预测标签的类别，N表示训练样本的总数。
进一步的，根据所述的先验分类网络生成类激活图，包括：
全局平均池化后的向量第k维的数值Gk计算方式为：
Figure BDA0003552178420000033
其中，(x,y)表示训练集样本特征图上某像素点的坐标，H、W分别表示训练集样本特征图的高度和宽度；
类别c的激活映射图CAMc(x,y)是训练集样本特征图上每个通道的该点与全连接层对应类别的权值相乘，计算方式为：
Figure BDA0003552178420000041
其中，
Figure BDA0003552178420000042
表示第k个特征向量到第c个类别的权重，也代表Gk对最终分类为类别c的重要性。
进一步的，所述孪生网络包括：第一分支和第二分支；
所述第一分支，用于将类激活图先进行数据变换，再进行特征抽取，得到第一类激活映射图；
所述第二分支，用于将类激活图先进行特征抽取，再进行数据变换，得到第二类激活映射图。
进一步的，使用孪生网络对所述类激活图进行正则化，得到修正类激活图，包括：
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失，计算方式如下：
Leq＝|N[f(I)]-f[N(I)]|2；
其中，I表示输入的类激活图，N表示先验分类网络，f表示数据变换操作，N[f(I)]表示第一分支处理过程，f[N(I)]表示第二分支处理过程；
其中，所述正则化损失采用类激活图的二范数，具体为在向量空间中类激活图的差值向量到原点的距离。
进一步的，将所述修正类激活图按照预设转换规则转换为伪像素级标签，包括：
将类激活映射图中高于设定阈值的区域采用1作为伪标签，类激活映射图中低于设定阈值的区域采用0作为伪标签；
具体的，所述伪标签的表达式如下：
Figure BDA0003552178420000051
其中，yi表示第i个像素的伪标签，threshold表示预设的阈值，CAMi表示类激活图第i个像素的热力值；
相应的，将所述分割结果与所述伪像素级标签计算Dice损失，包括：
分割损失的计算方式如下：
Figure BDA0003552178420000052
其中，pi表示第i个像素的预测值，Ldice表示分割损失。
第二方面，本申请提供了一种病理图像的分割装置，该装置包括：
预处理图像获取单元，用于获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集；
先验分类损失计算单元，用于将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失；
修正类激活图确定单元，用于根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图；
伪像素级标签转换单元，用于将所述修正类激活图按照预设转换规则转换为伪像素级标签；
分割结果确定单元，用于将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果；
语义分割网络优化单元，用于将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
本申请所提供的技术方案，通过对样本的预处理，以及采用先验分类网络和孪生网络的模型训练，可以得到一个客观且准确的病理图像分割方法，实现快速并准确的完成医疗图像分割的目的。
附图说明
图1是本申请实施例一提供的病理图像的分割方法的流程图；
图2是本申请实施例一提供的先验分类网络的示意图；
图3是本申请实施例一提供的伪标签修正的弱监督分割整体框架示意图；
图4是本申请实施例二提供的语义分割网络的示意图；
图5为本发明实施例三提供的病理图像的分割装置的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的病理图像的分割方法的流程图，本实施例可适用于对病理图像进行分割的场景，该方法可以由本申请实施例所提供的病理图像的分割装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。
如图1所示，所述病理图像的分割方法包括：
S110，获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集。
其中，为了让先验分类网络和分割网络能够处理各种类型的组织病理图像，减少由不同机器、机构、染色方式产生的不同分布的组织病理图像的影响，本发明对组织病理图像进行了数据预处理。
本实施例中，可选的，对病理图像进行预处理得到预处理图像，包括：
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转，得到翻转后的预处理图像；
以及，
对病理图像按照预设角度进行随机旋转处理，得到旋转后的预处理图像。
这里预处理的具体实施方式是：
以0.5的概率沿着x轴翻转，称为垂直翻转，以0.5的概率沿着y轴翻转，称为水平翻转，然后再对翻转后的数据进行随机角度的旋转，旋转的方向为逆时针旋转，旋转的度数为下面四种中的一种：0°，90°，180°以及270°，如果旋转的度数为0，那么就是不发生旋转。
对图像进行标准化的方式为Z-Score标准化，将组织病理图像的分布转为标准正态分布，加速网络的收敛，其具体的计算方式如下：
Figure BDA0003552178420000081
其中，x为输入图像，x’为输出图像，μ为整个图像像素值的均值，σ为整个图像像素值的方差，所得x′服从标准正态分布。
将得到的经过预处理的数据集，按照8:2的比例划分训练集和验证集。
S120，将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失。
先验分类网络，可以是将先验知识结合进神经网络的设计中会限制神经网络仅能应用于根据某些感兴趣的知识来解决特定问题。如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。
在本方案中，可选的，所述先验分类网络为ResNet 50网络，所述ResNet 50网络具体包括：2个普通卷积残差模块，2个空洞卷积残差模块以及分类模块：
其中，所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成；所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成；其中，每个所述普通卷积残差组件包括2个卷积层和1个最大池化层，普通卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2；
其中，所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成；所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成；其中，每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层，空洞卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2，空洞率分别为2和4；
所述分类模块包括1个全局平均池化层和1个线性分类层，全局平均池化层输出的训练集样本特征图的尺寸为1×1，线性分类层的输出节点为2，表示预测为阳性或者阴性。
Resnet是残差网络(Residual Network)的缩写，该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有resnet50，resnet101等。
图2是本申请实施例一提供的先验分类网络的示意图，如图2所示，改进的ResNet50网络包括两个普通卷积残差模块用于抽取特征，两个空洞卷积残差模块用于扩大感受野，分类模块用于输出图像的类别以及生成类激活映射图。
本方案中，可选的，所述预测类别包括阴性和阳性类别。
可以理解的，阴性类别即为没有病理异常，阳性类别即为存在病理异常。
在一个可行的实施例中，可选的，根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失，包括：
采用如下公式计算先验分类损失：
Figure BDA0003552178420000091
其中，
Figure BDA0003552178420000092
其中，Lcls表示先验分类损失，yi表示真实标签的类别，
Figure BDA0003552178420000093
表示预测标签的类别，N表示训练样本的总数。
本方案通过这样的设置，可以基于先验分类损失，确定先验分类网络的优化方式。
S130，根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图。
其中，可以将所述的先验分类网络输出的特征图，生成所述的类激活映射图。
在本方案中，可选的，根据所述的先验分类网络生成类激活图，包括：
全局平均池化后的向量第k维的数值Gk计算方式为：
Figure BDA0003552178420000101
其中，(x,y)表示训练集样本特征图上某像素点的坐标，H、W分别表示训练集样本特征图的高度和宽度；
类别c的激活映射图CAMc(x,y)是训练集样本特征图上每个通道的该点与全连接层对应类别的权值相乘，计算方式为：
Figure BDA0003552178420000102
其中，
Figure BDA0003552178420000103
表示第k个特征向量到第c个类别的权重，也代表Gk对最终分类为类别c的重要性。
具体的，对于组织病理图像，只需要考虑阳性类别的激活热力图，因此在图像输入到先验分类网络中之后，得到先验分类网络输出的特征图，再将特征图进行全局平均池化，得到的特征向量与线性层进行全连接，获得在线性层中特征向量到阳性类别的权重，并且与特征图相乘，得到阳性类别的激活映射图。
其中，所述孪生网络包括：第一分支和第二分支；
所述第一分支，用于将类激活图先进行数据变换，再进行特征抽取，得到第一类激活映射图；
所述第二分支，用于将类激活图先进行特征抽取，再进行数据变换，得到第二类激活映射图。
在上述方案的基础上，可选的，使用孪生网络对所述类激活图进行正则化，得到修正类激活图，包括：
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失，计算方式如下：
Leq＝|N[f(I)]-f[N(I)]|2；
其中，I表示输入的类激活图，N表示先验分类网络，f表示数据变换操作，N[f(I)]表示第一分支处理过程，f[N(I)]表示第二分支处理过程；
其中，所述正则化损失采用类激活图的二范数，具体为在向量空间中类激活图的差值向量到原点的距离。
N[f(I)]表示图像先进行数据变换操作，然后再输入到先验分类网络，f[N(I)]表示图像先输入到先验分类网络，然后再进行数据变换操作，正则化损失采用激活图的二范数，即在向量空间中激活图的差值向量到原点的距离。
图3是本申请实施例一提供的伪标签修正的弱监督分割整体框架示意图，如图3所示，用孪生网络的特征抽取形式，包含上下两个分支，其中每个分支的特征抽取网络都是先验分类网络，在孪生网络的一个分支中，先将图像进行数据变换，再输入到先验分类网络中，而在孪生网络的另一个分支中，先输入到特征网络中，再对特征图进行数据变换，将两个分支分别产生的阳性类别的激活映射图进行二范数正则化，即将激活映射图作差，再求在向量空间中这个差值向量到原点的距离，当作正则化损失，此操作是对原始类激活图的修正，使得在先验分类网络中得到的类激活图具有和分割网络的特征图相似的性质，得到的修正的类激活图鲁棒性更好，质量更高。
S140，将所述修正类激活图按照预设转换规则转换为伪像素级标签。
其中，分割网络可以采用任意的语义分割网络，在本实施例中采用金字塔场景解析网络PSPNet。
在本实施例中，可选的，将所述修正类激活图按照预设转换规则转换为伪像素级标签，包括：
将类激活映射图中高于设定阈值的区域采用1作为伪标签，类激活映射图中低于设定阈值的区域采用0作为伪标签；
具体的，所述伪标签的表达式如下：
Figure BDA0003552178420000121
其中，yi表示第i个像素的伪标签，threshold表示预设的阈值，CAMi表示类激活图第i个像素的热力值。
采用金字塔场景解析网络对组织病理图像自动分割，金字塔场景解析网络一共包括四个残差模块，一个金字塔池化模块以及一个聚合模块，其中，残差模块分别包含3，4，6，3个残差组件，每个残差组件包含2个3×3的卷积层，步长为1，填充为1，以及一个最大池化层，最大池化层的步长为2，核的大小为2×2；金字塔池化层包含4个分支，每个分支均包含一个自适应平均池化层和一个卷积层，特征图经过四个分支后，特征图的尺寸分别为1×1，2×2，3×3以及6×6；聚合模块将四个特征图上采样为输入大小，再与输入拼接，最后经过一个卷积层，输出像素级的分割结果。
S150，将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果。
图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环，也是AI领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。
S160，将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
在本实施例中，具体的，将所述分割结果与所述伪像素级标签计算Dice损失，包括：
分割损失的计算方式如下：
Figure BDA0003552178420000131
其中，pi表示第i个像素的预测值，Ldice表示分割损失。
本发明方法在DigestPath数据集上利用只有图像级标签的数据训练能够达到65.32％的Dice系数，相比于未修正的类激活图提高了0.5％，经过正则化生成的激活图能够很好地定位癌变区域的位置，并且在边界，轮廓方面刻画非常细致，非常有利于后续的分割任务，因此在病理数据集没有像素级标签的情况下，可以训练分类网络得到质量较高的CAM图。其中，DigestPath是一个结直肠癌病理图像数据集，本申请包括但不局限于此数据集，可以支持所有的病理图像数据集。Dice是通用的检测衡量指标，一般而言，Dice系数是将所有类别的交并比进行综合平均而得到的。
本申请实施例所提供的技术方案，通过先验分类网络生成类激活映射图，通过孪生网络修正类激活热力图，获得伪标签后输入到分割网络中得到像素级的分割结果，以此得到一种弱监督组织病理图像的分割方法，可以使用标注量较少的图像级标签的组织病理图像，通过弱监督学习方式，对其进行快速准确地分割，完成对病理图像中癌变区域的自动定位。
实施例二
本实施例以上述实施例为基础提供的优选实施例。图4是本申请实施例二提供的语义分割网络的示意图。本方案提供的基于伪标签修正的弱监督组织病理图像分割方法的实施实例包括以下几个步骤：
步骤一：读取组织病理图像数据，以0.5的概率沿着x轴翻转，称为垂直翻转，以0.5的概率沿着y轴翻转，称为水平翻转，然后再对翻转后的数据进行随机角度的旋转，旋转的方向为逆时针旋转，旋转的度数为下面四种中的一种：0°，90°，180°，270°，如果旋转的度数为0，那么就是不发生旋转。
对图像进行标准化的方式为Z-Score标准化，将组织病理图像的分布转为标准正态分布，加速网络的收敛，其具体的计算方式如下：
Figure BDA0003552178420000141
其中，x为输入图像，x’为输出图像，μ为整个图像像素值的均值，σ为整个图像像素值的方差，所得x’服从标准正态分布。
将得到的经过预处理的数据集，按照8:2的比例划分训练集和验证集。
步骤二：将步骤一中的数据输入到先验分类网络中，先验分类网络采用改进的ResNet 50网络包括两个普通卷积残差模块用于抽取特征，两个空洞卷积残差模块用于扩大感受野，分类模块用于输出图像的类别以及生成类激活映射图。
其中，普通卷积残差模块分别由3个，4个普通卷积残差组件构成，其中每个普通卷积残差组件包括2个卷积层和1个最大池化层，卷积核的大小为3×3，步长为1，填充为1，最大池化层的步长为2，核的大小为2×2；
空洞卷积残差模块分别由6个，3个空洞卷积残差组件构成，其中每个空洞卷积残差组件包括2个空洞卷积层和1个最大池化层，卷积核的大小为3×3，步长为1，填充为1，最大池化层的步长为2，核的大小为2×2，空洞率分别为2、4；
分类模块包括一个全局平均池化层和一个线性分类层，全局平均池化层输出的特征图的尺寸为1×1，线性分类层的输出节点为2，表示预测为阳性或者阴性；
根据先验分类网络的预测类别与真实类别计算二值交叉熵损失，作为先验分类损失，计算方式如下：
Figure BDA0003552178420000151
Figure BDA0003552178420000152
其中，Lcls表示先验分类损失，yi表示真实标签的类别，
Figure BDA0003552178420000153
表示预测标签的类别，N表示训练样本的总数。
步骤三：对于组织病理图像，只需要考虑阳性类别的激活热力图，因此在图像输入到步骤二中先验分类网络中之后，得到先验分类网络输出的特征图，再将特征图进行全局平均池化，全局平均池化后的向量第k维的数值Gk计算方式为：
Figure BDA0003552178420000154
其中(x,y)表示特征图上某像素点的坐标，H、W分别表示特征图的高度和宽度；
得到的特征向量与线性层进行全连接，获得在线性层中特征向量到阳性类别的权重，并且与特征图相乘，得到阳性类别的激活映射图。
阳性类别的激活映射图CAM(x,y)是特征图上每个通道的该点与全连接层阳性类别的权值相乘，计算方式为：
CAM(x,y)＝∑kwk×fk(x,y)；
其中wk表示第k个特征向量到阳性类别的权重，也代表Gk对最终分类为阳性的重要性。
步骤四：采用孪生网络修生先验分类网络产生的类激活映射图，伪标签修正的弱监督分割整体框架，伪标签即为类激活映射图，用孪生网络的特征抽取形式，包含上下两个分支，其中每个分支的特征抽取网络都是先验分类网络，在孪生网络的一个分支中，将图像先进行数据变换，再进行特征抽取，在孪生网络的另一个分支，先进行特征抽取，再将特征图进行数据变换，按照步骤四的方式生成类激活映射图，将产生的两个类激活映射图计算正则化损失，计算方式如下：
Leq＝|N[f(I)]-f[N(I)]|2；
其中，I表示输入的图像，N表示先验分类网络，f表示数据变换操作，N[f(I)]表示图像先进行数据变换操作，然后再输入到先验分类网络，f[N(I)]表示图像先输入到先验分类网络，然后再进行数据变换操作，正则化损失采用激活图的二范数，即在向量空间中激活图的差值向量到原点的距离；
步骤五：根据步骤四产生的修正的类激活映射图制作伪像素级标签，将类激活映射图中高于设定阈值的区域采用1作为伪标签，类激活映射图中低于设定阈值的区域采用0作为伪标签，所述伪标签的表达式如下：
Figure BDA0003552178420000171
其中，yi表示第i个像素的伪标签，threshold表示预设的阈值，CAMi表示类激活图第i个像素的热力值。
步骤六：根据步骤五的伪像素级标签训练语义分割网络，分割损失的计算方式如下：
Figure BDA0003552178420000172
其中，pi表示第i个像素的预测值，Ldice表示分割损失。
语义分割网络结构，采用金字塔场景解析网络对组织病理图像自动分割，金字塔场景解析网络一共包括四个残差模块，一个金字塔池化模块以及一个聚合模块，其中，残差模块分别包含3，4，6，3个残差组件，每个残差组件包含2个3×3的卷积层，步长为1，填充为1，以及一个最大池化层，最大池化层的步长为2，核的大小为2×2；金字塔池化层包含4个分支，每个分支均包含一个自适应平均池化层和一个卷积层，特征图经过四个分支后，特征图的尺寸分别为1×1,2×2,3×3,6×6；聚合模块将四个特征图上采样为输入大小，再与输入拼接，最后经过一个卷积层，输出像素级的分割结果。
本发明方法在DigestPath数据集上利用只有图像级标签的数据训练能够达到65.32％的Dice系数，相比于未修正的类激活图提高了0.5％，经过正则化生成的激活图能够很好地定位癌变区域的位置，并且在边界，轮廓方面刻画非常细致，非常有利于后续的分割任务，因此在病理数据集没有像素级标签的情况下，可以训练分类网络得到质量较高的CAM图。其中，DigestPath是一个结直肠癌病理图像数据集，本申请包括但不局限于此数据集，可以支持所有的病理图像数据集。Dice是通用的检测衡量指标，一般而言，Dice系数是将所有类别的交并比进行综合平均而得到的。
本发明的有益效果在于：本发明通过以上技术方案可以使用标注量较少的图像级标签的组织病理图像，通过弱监督学习方式，对其进行快速准确地分割，完成对病理图像中癌变区域的自动定位。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
实施例三
图5为本发明实施例三提供的病理图像的分割装置的结构框图，该装置可执行本发明任意实施例所提供的病理图像的分割方法，具备执行方法相应的功能模块和有益效果。
该装置可以包括：
预处理图像获取单元510，用于获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集；
先验分类损失计算单元520，用于将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失；
修正类激活图确定单元530，用于根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图；
伪像素级标签转换单元540，用于将所述修正类激活图按照预设转换规则转换为伪像素级标签；
分割结果确定单元550，用于将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果；
语义分割网络优化单元560，用于将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
上述产品可执行本申请实施例所提供的病理图像的分割方法，具备执行方法相应的功能模块和有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种病理图像的分割方法，其特征在于，包括：
获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集；
将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失；
根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图；
将所述修正类激活图按照预设转换规则转换为伪像素级标签；
将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果；
将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
2.根据权利要求1所述的方法，其特征在于，所述预测类别包括阴性和阳性类别。
3.根据权利要求1所述的方法，其特征在于，对病理图像进行预处理得到预处理图像，包括：
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转，得到翻转后的预处理图像；
以及，
对病理图像按照预设角度进行随机旋转处理，得到旋转后的预处理图像。
4.根据权利要求1所述的方法，其特征在于，所述先验分类网络为ResNet50网络，所述ResNet 50网络具体包括：2个普通卷积残差模块，2个空洞卷积残差模块以及分类模块：
其中，所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成；所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成；其中，每个所述普通卷积残差组件包括2个卷积层和1个最大池化层，普通卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2；
其中，所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成；所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成；其中，每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层，空洞卷积层的卷积核的大小为3×3，步长为1，填充为1；最大池化层的步长为2，池化层核的大小为2×2，空洞率分别为2和4；
所述分类模块包括1个全局平均池化层和1个线性分类层，全局平均池化层输出的训练集样本特征图的尺寸为1×1，线性分类层的输出节点为2，表示预测为阳性或者阴性。
5.根据权利要求1所述的方法，其特征在于，根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失，包括：
采用如下公式计算先验分类损失：
Figure FDA0003552178410000021
其中，
Figure FDA0003552178410000022
其中，Lcls表示先验分类损失，yi表示真实标签的类别，
Figure FDA0003552178410000023
表示预测标签的类别，N表示训练样本的总数。
6.根据权利要求4所述的方法，其特征在于，根据所述的先验分类网络生成类激活图，包括：
全局平均池化后的向量第k维的数值Gk计算方式为：
Figure FDA0003552178410000031
其中，(x,y)表示训练集样本特征图上某像素点的坐标，H、W分别表示训练集样本特征图的高度和宽度；
类别c的激活映射图CAMc(x,y)是训练集样本特征图上每个通道的该点与全连接层对应类别的权值相乘，计算方式为：
Figure FDA0003552178410000032
其中，
Figure FDA0003552178410000033
表示第k个特征向量到第c个类别的权重，也代表Gk对最终分类为类别c的重要性。
7.根据权利要求1所述的方法，其特征在于，所述孪生网络包括：第一分支和第二分支；
所述第一分支，用于将类激活图先进行数据变换，再进行特征抽取，得到第一类激活映射图；
所述第二分支，用于将类激活图先进行特征抽取，再进行数据变换，得到第二类激活映射图。
8.根据权利要求7所述的方法，其特征在于，使用孪生网络对所述类激活图进行正则化，得到修正类激活图，包括：
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失，计算方式如下：
Leq＝|N[f(I)]-f[N(I)]|2；
其中，I表示输入的类激活图，N表示先验分类网络，f表示数据变换操作，N[f(I)]表示第一分支处理过程，f[N(I)]表示第二分支处理过程；
其中，所述正则化损失采用类激活图的二范数，具体为在向量空间中类激活图的差值向量到原点的距离。
9.根据权利要求1所述的方法，其特征在于，将所述修正类激活图按照预设转换规则转换为伪像素级标签，包括：
将类激活映射图中高于设定阈值的区域采用1作为伪标签，类激活映射图中低于设定阈值的区域采用0作为伪标签；
具体的，所述伪标签的表达式如下：
Figure FDA0003552178410000041
其中，yi表示第i个像素的伪标签，threshold表示预设的阈值，CAMi表示类激活图第i个像素的热力值；
相应的，将所述分割结果与所述伪像素级标签计算Dice损失，包括：
分割损失的计算方式如下：
Figure FDA0003552178410000042
其中，pi表示第i个像素的预测值，Ldice表示分割损失。
10.一种病理图像的分割装置，其特征在于，包括：
预处理图像获取单元，用于获取组织的病理图像，对病理图像进行预处理得到预处理图像，并以所述预处理图像为样本按照预设比例划分为训练集和验证集；
先验分类损失计算单元，用于将所述训练集样本输入到先验分类网络，得到样本的预测类别；根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失，作为先验分类损失；
修正类激活图确定单元，用于根据所述的先验分类网络生成类激活图，并使用孪生网络对所述类激活图进行正则化，得到修正类激活图；
伪像素级标签转换单元，用于将所述修正类激活图按照预设转换规则转换为伪像素级标签；
分割结果确定单元，用于将所述训练集样本输入至预先设置的语义分割网络，得到所述训练集样本的分割结果；
语义分割网络优化单元，用于将所述分割结果与所述伪像素级标签计算Dice损失，以优化所述语义分割网络，并通过优化后的语义分割网络进行病理图像分割。
CN202210264678.5A 2022-03-17 2022-03-17 一种病理图像的分割方法及装置 Pending CN114565605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264678.5A CN114565605A (zh) 2022-03-17 2022-03-17 一种病理图像的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264678.5A CN114565605A (zh) 2022-03-17 2022-03-17 一种病理图像的分割方法及装置

Publications (1)

Publication Number Publication Date
CN114565605A true CN114565605A (zh) 2022-05-31

Family

ID=81720238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264678.5A Pending CN114565605A (zh) 2022-03-17 2022-03-17 一种病理图像的分割方法及装置

Country Status (1)

Country Link
CN (1) CN114565605A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898098A (zh) * 2022-06-27 2022-08-12 北京航空航天大学 脑组织图像分割方法
CN115880262A (zh) * 2022-12-20 2023-03-31 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898098A (zh) * 2022-06-27 2022-08-12 北京航空航天大学 脑组织图像分割方法
CN114898098B (zh) * 2022-06-27 2024-04-19 北京航空航天大学 脑组织图像分割方法
CN115880262A (zh) * 2022-12-20 2023-03-31 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
US11935279B1 (en) 2022-12-20 2024-03-19 Guilin University Of Electronic Technology Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy

Similar Documents

Publication Publication Date Title
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
WO2021227366A1 (zh) 一种多个小目标的自动准确检测方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN114565605A (zh) 一种病理图像的分割方法及装置
CN107992874A (zh) 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
CN111626994A (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN114240961A (zh) 一种U-Net++细胞分割网络系统、方法、设备及终端
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN115984238A (zh) 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统
CN115761834A (zh) 人脸识别的多任务混合模型和人脸识别方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN114972871A (zh) 基于图像配准的少样本图像异常检测方法及系统
CN111627033A (zh) 一种难样本实例分割方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination