CN112258480B - 一种基于点标注的弱监督腺体实例分割方法 - Google Patents

Abstract

本发明涉及一种基于点标注的弱监督腺体实例分割方法。包括：获取结肠组织病理学图像；对图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；建立腺体点检测模型；使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；建立腺体实例分割模型；使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。本发明方法实现了结肠组织病理学图像中腺体实例的自动分割，降低了结肠癌诊断中人工分割腺体的数据标注成本。

Description

一种基于点标注的弱监督腺体实例分割方法

技术领域

本发明属于计算机视觉与医学图像分析领域，具体涉及一种基于点标注的弱监督腺体实例分割方法。

背景技术

结肠癌是常见的发生于结肠部位的消化道恶性肿瘤，是新发癌症发病率最高的癌症之一。肿瘤细胞和组织在显微镜下观察表现出一定的异于正常细胞和组织的结构特征，也叫组织学特征。医生根据组织学特征对癌症进行分级，进而确定病人的癌症情况与治疗方案。从病理图像中准确地分割腺体实例是病理学家定量分析腺癌恶性程度进行诊断的关键步骤，然而手动分割出病理图像中的腺体实例是一项十分耗时的工作。病理图像采用苏木精和伊红(H&E)等染色剂进行染色制片，受制于染色剂与光照等因素的影响加大了分割腺体实例的难度。病理全切片扫描设备的普及使得病理学图像数字化成为可能，对数字病理图像进行计算机辅助诊断是目前医学图像分析领域的研究热点之一。但是由于腺体形态的多变性，且恶性及良性腺体的组织学特征差异大，使得传统的分割方法存在很大的局限性。

基于图像级别标注的弱监督实例分割方法有效降低了标注成本，但是图像级别标注所包含的空间信息十分有限，导致基于图像级别标注的弱监督实例分割方法效果不佳。基于点标注的弱监督实例分割方法在图像级别标注的基础上提供了图像实例的空间信息，并且相较于图像级别标注只需要增加少量的标注工作量。点标注是对图像中的每个实例仅标注一个参照点，该参照点在模型的训练过程中提供了必要的空间信息。而一般的弱监督实例分割算法都需要使用精度较高的分类模型进行梯度反向传播得到实例间的热值定位。而在腺体图像中，由于腺体与非腺体区域在图像中大多同时存在。分类模型无法有效地区分腺体区域与非腺体区域之间的差异，导致目前的弱监督实例分割算法无法在腺体分割中应用。

本申请提出了一种基于点标注的弱监督腺体实例分割方法。通过点标注训练腺体点检测模型，预测腺体高置信点，根据高置信点辅助训练腺体实例分割模型。最后使用腺体实例分割模型分析输入的腺体图像得到腺体实例掩膜，实现了在仅使用点标注的弱监督条件下的腺体实力分割。该方法具有较好的创新性与推广性，该方法也能用于与腺体实例类似的前景实例分割问题中，具有较高的应用价值。

发明内容

本发明的目的在于提供一种基于点标注的弱监督腺体实例分割方法，实现了结肠组织病理学图像中腺体实例的自动分割，降低了结肠癌诊断中人工分割腺体的数据标注成本。

为实现上述目的，本发明的技术方案是：一种基于点标注的弱监督腺体实例分割方法，包括如下步骤：

步骤S1、获取结肠组织病理学图像；

步骤S2、对结肠组织病理学图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；

步骤S3、建立腺体点检测模型；

步骤S4、使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；

步骤S5、利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；

步骤S6、建立腺体实例分割模型；

步骤S7、使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；

步骤S8、使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。

在本发明一实施例中，步骤S2中，对结肠组织病理学图像中存在的腺体实例进行点标注，即在结肠组织病理学图像的每一个腺体中心标注一个标注点，并标注及统计结肠组织病理学图像中的腺体实例总数r。

在本发明一实施例中，所述结肠组织病理学图像中的每个腺体都对应一个标注点，其标注位置为腺体实例的中心，点标注相比于像素级别标注的标注复杂度较低，具有腺体实例的弱语义位置信息，可表示为；t＝[x，y],其中x为标注点的横坐标，y为标注点的竖坐标。

在本发明一实施例中，步骤S3中，所述腺体点检测模型包括：一个骨干网络、三个锚点机制模块；结肠组织病理学图像输入到腺体点检测模型，首先通过骨干网络提取图像的语义特征；接着图像的语义特征输入第一个锚点机制模块输出第一组腺体点检测结果，而后平行地通过第二个锚点机制模块、第三个锚点机制模块分别输出第二组腺体点检测结果、第三组腺体点检测结果，最后综合三组的腺体点检测结果输出最终的腺体点检测结果。

在本发明一实施例中，所述三个锚点机制模块分别为：DBL特征提取模块、高置信点检测模块和腺体数量回归模块；图像的语义特征首先通过DBL特征提取模块进行特征提取与缩放，缩放后的图像特征将平行地通过高置信点检测模块和腺体数量回归模块，最后高置信点检测模块输出高置信点的预测结果，可表示为：t^*＝[x^*，y^*，c^*]，其中x^*为高置信点的横坐标，y^*为高置信点的竖坐标，c^*为高置信点的置信值，腺体数量回归模块输出腺体实例数量的预测结果，可表示为r^*。

在本发明一实施例中，所述DBL特征提取模块是卷积层、批标准化层和带泄露修正线性单元的组合，图像的语义特征输入DBL特征提取模块后进特征提取与缩放，输出锚点特征，其中在DBL特征提取模块设置参数A对特征进行缩放，最后输出锚点特征的深度为3*A；所述高置信点检测模块的分析流程为：将锚点特征通过方格窗口切分成k*k的网格特征，最后对于网格特征中的每个网格点预测出A个高置信点作为高置信点的预测结果t^*；所述腺体数量回归模块的分析流程为：将锚点特征通过全局池化层将特征尺寸缩放至1，将锚点特征转换为特征向量，最后将特征向量输入全连接层输出腺体实例数量的预测结果r^*。

在本发明一实施例中，步骤S4中，所述深度学习训练方法为自适应矩估计方法，通过最小化损失函数L_P学习腺体点检测模型的最优参数，损失函数L_P表达为：

L_P＝L_P-D+L_P-R

其中，L_P-D为腺体点检测模型的损失，N表示检测的尺度数，k²表示网格大小，A表示每个网格中高置信点的预测数量，

和/>

是网格预测的坐标值，x_i和y_i是点标注的坐标值，L_P-D采用L1范式进行距离度量，μ_i，j表示第i个网格中第j个锚点预测的有效性，取值为[0,1]，当网格有效时值1，否则为0；L_P-R为腺体数量回归模块损失，n表示回归的尺度数，/>

表示回归分支预测的腺体实例数量，r_i表示腺体的实际数量，通过Log-cosh函数来描述预测腺体数量与实际数量的差异。

在本发明一实施例中，步骤S5中，利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，设定一个阈值τ来过滤模型输出的高置信点，保留置信度高于阈值τ的点作为实例分割训练样本集，可表示为

其中/>

为高置信点的横坐标，/>

为高置信点的竖坐标，/>

为高置信点的置信值，阈值τ的取值为0.5。

在本发明一实施例中，步骤S6中，所述腺体实例分割模型包括一个编码器和一个解码器；所述编码器结构与腺体点检测模型的骨干网络相同，将深度学习训练后的腺体点检测模型的骨干网络参数迁移至编码器中进行参数初始化，结肠组织病理学图像输入编码器后进行特征提取得到图像的语义特征；所述解码器包括五层解码单元，其中解码单元为卷积层与上采样层的组合，图像的语义特征输入到解码器，依次输入五层解码单元进行特征的重建于上采样，得到分割掩膜，可表示为o_i。

在本发明一实施例中，步骤S7中，所述深度学习训练方法为自适应矩估计方法，通过最小化损失函数L_S学习腺体实例分割模型的最优参数，损失函数L_S表达为：

L_S＝L_S-G+L_S-C

其中，L_S-G中W和H代表结肠组织病理学图像的大小，o_i是腺体实例分割模型输出的分割掩膜，

是腺体实例分割模型的热值图输出，L_S-G使用二元交叉熵函数来激励模型将热值区域内的点划分为腺体区域，在L_S-C中T表示预测的高置信点个数，s_i为高置信点所在像素点在分割掩膜的值，L_S-C使用交叉熵函数来激励模型将高置信点划分为腺体区域。

相较于现有技术，本发明具有以下有益效果：

(1)基于点标注实现腺体图像的弱监督实例分割。

(2)通过点标注训练腺体点检测模型，解决了腺体图像无法预先训练分类模型进行热值定位的问题。

(3)通过高置信点辅助训练腺体实例分割模型，实现腺体实例分割。

(4)本发明提出的方法具有较高的可扩展性，可在除腺体之外的前景实例分割数据集上进行应用。

附图说明

图1为本发明一种基于点标注的弱监督腺体实例分割方法的流程框图；

图2为腺体点标示意图；

图3为方法流程示意图；

图4为腺体点检测模型示意图；

图5为腺体实例分割模型解码单元示意图；

图6为腺体点检测效果示意图；

图7为本发明一种基于点标注的弱监督腺体实例分割方法示例图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供的一种基于点标注的弱监督腺体实例分割方法，包括如下步骤：

步骤S1：获取结肠组织病理学图像；

步骤S2：对结肠组织病理学图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；

步骤S3：建立腺体点检测模型；

步骤S4：使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；

步骤S5：利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；

步骤S6：建立腺体实例分割模型；

步骤S7：使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；

步骤S8：使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。

其中，步骤S1为通过全切片病理扫描仪将结肠组织病理学切片扫描为结肠组织病理学图像；

其中，步骤S2，对结肠组织病理学图像中存在的腺体实例进行点标注，即在结肠组织病理学图像的每一个腺体中心标注一个标注点，并标注结肠组织病理学图像中的腺体实例总数；

进一步地，结肠组织病理学图像中的每个腺体都对应一个标注点，其标注位置为腺体实例的中心，点标注相比于像素级别标注的标注复杂度较低，具有腺体实例的弱语义位置信息，可表示为；t＝[x，y],其中x为标注点的横坐标，y为标注点的竖坐标；

如图2所示，为腺体点标注示意图，在结肠组织病理学图像中的每个腺体实例中心都标注一个标签点，该点标注过程操作简单，与传统的像素级别实例标注相比，可以大大降低标注的工作量与复杂度，通过点标注的弱语义信息实现对腺体实例的分割。

进一步地，在点标注过程中标注腺体实例的中心的同时统计结肠组织病理学图像中的腺体实例总数，可表示为r；

其中，步骤S3中，所述腺体点检测模型包含：一个骨干网络、三个锚点(Anchor)机制模块，如图3上半部分所示：

结肠组织病理学图像输入到腺体点检测模型，首先是骨干网络，提取图像的语义特征；接着图像的语义特征将平行地输入第一个锚点(Anchor)机制模块，输出第一组腺体点检测结果，接着图像的语义特征将平行地输入第二个锚点(Anchor)机制模块，接着图像的语义特征将平行地输入第三个锚点(Anchor)机制模块，最后综合三组的腺体点检测结果输出最终的腺体点检测结果；

进一步地，本发明中使用DarkNet作为骨干网络进行图像的特征提取；

进一步地，三个锚点(Anchor)机制模块，其特征在于，所述三个锚点(Anchor)机制模块包含：一个DBL特征提取模块、一个高置信点检测模块和一个腺体数量回归模块；

图像特征进入锚点(Anchor)机制模块，首先通过DBL特征提取模块进行特征提取与缩放，缩放后的图像特征将评选地通过高置信点检测模块和腺体数量回归模块，最后高置信点检测模块输出高置信点的预测结果，可表示为：t^*＝[x^*，y^*，c^*]，其中x^*为高置信点的横坐标，y^*为高置信点的竖坐标，c^*为高置信点的置信值，腺体数量回归模块输出腺体实例数量的预测结果，可表示为r^*；

进一步地，所述DBL特征提取模块是卷积层(Darknet Convolution)、批标准化(Batch normalization)和带泄露修正线性单元(LeakyReLU)的组合，图像特征输入DBL特征提取模块后进特征提取与缩放，输出锚点特征，其中在DBL特征提取模块设置了参数A对特征进行缩放，最后输出锚点特征的深度为3*A；

进一步地，所述高置信点检测模块的分析流程为：将锚点特征通过方格窗口切分成k*k的网格特征，最后对于网格特征中的每个网格点预测出A个高置信点作为高置信点的预测结果t^*；

如图4所示，为腺体点检测模型示意图，其中Y₁-Y₃为高置信点检测模块，在通过Anchor机制预测高置信点中，如果预测的中心坐标值t_x和t_y大于1时，高置信点的中心坐标值将超出对应网格单元的范围，Anchor机制则是预测相应网格单元中的高置信点。为了解决这个问题，本方法采用sigmod函数将Anchor机制的输出压缩到0到1的范围内，从而有效地将中心保持在预测网格中。

进一步地，所述腺体数量回归模块的分析流程为：将锚点特征通过全局池化层将特征尺寸缩放至1，将锚点特征转换为特征向量，最后将特征向量输入全连接层输出腺体实例数量的预测结果r^*；

图4中R₁-R₃为腺体数量回归模块,该模块通过对Anchor特征进行回归预测图像中的腺体实例个数。回归分支采用卷积层将Anchor特征进行进一步地深度压缩并转换为特征向量，利用全连接层对特征向量进行回归进而预测图像中的腺体实例个数；

其中，步骤S4中，所述深度学习训练方法为自适应矩估计(Adaptive MomentEstimation)方法，通过最小化损失函数L_P学习腺体点检测模型的最优参数；

进一步地，损失函数L_P表达为：

L_P＝L_P-D+L_P-R

其中，L_P-D为腺体点检测模型的损失，N表示检测的尺度数，k²表示网格大小，A表示每个网格中高置信点的预测数量，

和/>

是网格预测的坐标值，x_i和y_i是点标注的坐标值，该损失采用L1范式进行距离度量，μ_i，j表示第i个网格中第j个Anchor预测的有效性，取值为[0,1]当网格有效时值1否则为0。L_P-R为腺体数量回归模块损失，n表示回归的尺度数，/>

表示回归分支预测的腺体实例数量，r_i表示腺体的实际数量，通过Log-cosh函数来描述预测腺体数量与实际数量的差异；

其中，步骤S5中，利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，设定一个阈值τ来过滤模型输出的高置信点，保留置信度高于阈值τ的点作为实例分割训练样本集,可表示为

其中/>

为高置信点的横坐标，/>

为高置信点的竖坐标，/>

为高置信点的置信值，阈值τ的取值为0.5；

图6是腺体点检测结果的示例，深色点是腺体的点标注，浅色点是腺体点模型预测的高置信点，当阈值τ过大时，腺体点检测模型预测的高置信点大部分会被过滤，导致一些较小的腺体没有落入高置信点产生漏检，而当阈值τ过小时，对于高置信点的预测约束性变弱，使得部分与腺体区域特征相似的腺体区域被误检为腺体区域。综上所述，阈值τ过大或过小时，腺体的实例分割结果都会降低，在本方法中选取阈值τ为0.5。

其中，步骤S6，所述腺体实例分割模型包含一个编码器和一个解码器，如图3下半部分所示；

进一步地，所述编码器结构与腺体点检测模型的骨干网络相同，将深度学习训练后的腺体点检测模型的骨干网络参数迁移至编码器中进行参数初始化，结肠组织病理学图像输入编码器后进行特征提取得到图像的语义特征；

进一步地，所述解码器包含五层解码单元，其中解码单元为卷积层与上采样层的组合，图像的语义特征输入到解码器，依次输入五层解码单元进行特征的重建于上采样，得到分割掩膜，可表示为o_i；

解码模块的解码单元结构如图5所示，解码单元综合了不同尺度和深度的特征映射，将低分辨率的粗分割与高分辨率的精细分割相结合，得到了很好的分割结果。深度语义信息可以理解为经过多次采样后的低分辨率信息，它可以提供整个图像中分割目标的上下文语义信息，也可以理解为目标与其环境关系的特征。浅层信息则可以理解为编码器通过跳跃连接将浅层语义特征与解码器同一尺度特征相结合的高分辨率信息。

其中，步骤S7中，所述深度学习训练方法为自适应矩估计(Adaptive MomentEstimation)方法，通过最小化损失函数L_S学习腺体实例分割模型的最优参数；

进一步地，损失函数L_S表达为：

L_S＝L_S-G+L_S-C

其中，L_S-G中W和H代表结肠组织病理学图像的大小，o_i是腺体实例分割模型输出的分割掩膜，

是腺体实例分割模型的热值图输出，该损失使用二元交叉熵函数来激励模型将热值区域内的点划分为腺体区域，在L_S-C中T表示预测的高置信点个数，s_i为高置信点所在像素点在分割掩膜的值该损失使用交叉熵函数来激励模型将高置信点划分为腺体区域；

图7展示了本发明一种基于点标注的弱监督腺体实例分割方法分析示例，通过输入结肠组织病理学图像，分割出其中存在的腺体实例区域。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于点标注的弱监督腺体实例分割方法，其特征在于，包括如下步骤：

步骤S1、获取结肠组织病理学图像；

步骤S2、对结肠组织病理学图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；

步骤S3、建立腺体点检测模型；

步骤S4、使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；

步骤S5、利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；

步骤S6、建立腺体实例分割模型；

步骤S7、使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；

步骤S8、使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割；

步骤S3中，所述腺体点检测模型包括：一个骨干网络、三个锚点机制模块；结肠组织病理学图像输入到腺体点检测模型，首先通过骨干网络提取图像的语义特征；接着图像的语义特征输入第一个锚点机制模块输出第一组腺体点检测结果，而后平行地通过第二个锚点机制模块、第三个锚点机制模块分别输出第二组腺体点检测结果、第三组腺体点检测结果，最后综合三组的腺体点检测结果输出最终的腺体点检测结果；

所述三个锚点机制模块分别为：DBL特征提取模块、高置信点检测模块和腺体数量回归模块；图像的语义特征首先通过DBL特征提取模块进行特征提取与缩放，缩放后的图像特征将平行地通过高置信点检测模块和腺体数量回归模块，最后高置信点检测模块输出高置信点的预测结果，可表示为：t^*＝[x^*，y^*，c^*]，其中x^*为高置信点的横坐标，y^*为高置信点的竖坐标，c^*为高置信点的置信值，腺体数量回归模块输出腺体实例数量的预测结果，可表示为r^*；

所述DBL特征提取模块是卷积层、批标准化层和带泄露修正线性单元的组合，图像的语义特征输入DBL特征提取模块后进特征提取与缩放，输出锚点特征，其中在DBL特征提取模块设置参数A对特征进行缩放，最后输出锚点特征的深度为3*A；所述高置信点检测模块的分析流程为：将锚点特征通过方格窗口切分成k*k的网格特征，最后对于网格特征中的每个网格点预测出A个高置信点作为高置信点的预测结果t^*；所述腺体数量回归模块的分析流程为：将锚点特征通过全局池化层将特征尺寸缩放至1，将锚点特征转换为特征向量，最后将特征向量输入全连接层输出腺体实例数量的预测结果r^*。

2.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S2中，对结肠组织病理学图像中存在的腺体实例进行点标注，即在结肠组织病理学图像的每一个腺体中心标注一个标注点，并标注及统计结肠组织病理学图像中的腺体实例总数r。

3.根据权利要求1或2所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，所述结肠组织病理学图像中的每个腺体都对应一个标注点，其标注位置为腺体实例的中心，点标注相比于像素级别标注的标注复杂度较低，具有腺体实例的弱语义位置信息，可表示为；t＝[x，y]，其中x为标注点的横坐标，y为标注点的竖坐标。

4.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S4中，深度学习训练方法为自适应矩估计方法，通过最小化损失函数L_P学习腺体点检测模型的最优参数，损失函数L_P表达为：

L_P＝L_P-D+L_P-R

其中，L_P-D为腺体点检测模型的损失，N表示检测的尺度数，k²表示网格大小，A表示每个网格中高置信点的预测数量，

和/>

是网格预测的坐标值，x_i和y_i是点标注的坐标值，L_P-D采用L1范式进行距离度量，μ_i，j表示第i个网格中第j个锚点预测的有效性，取值为[0，1]，当网格有效时值1，否则为0；L_P-R为腺体数量回归模块损失，n表示回归的尺度数，/>

表示回归分支预测的腺体实例数量，r_i表示腺体的实际数量，通过Log-cosh函数来描述预测腺体数量与实际数量的差异。

5.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S5中，利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，设定一个阈值τ来过滤模型输出的高置信点，保留置信度高于阈值τ的点作为实例分割训练样本集，可表示为

其中/>

为高置信点的横坐标，/>

为高置信点的竖坐标，/>

为高置信点的置信值，阈值τ的取值为0.5。

6.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S6中，所述腺体实例分割模型包括一个编码器和一个解码器；所述编码器结构与腺体点检测模型的骨干网络相同，将深度学习训练后的腺体点检测模型的骨干网络参数迁移至编码器中进行参数初始化，结肠组织病理学图像输入编码器后进行特征提取得到图像的语义特征；所述解码器包括五层解码单元，其中解码单元为卷积层与上采样层的组合，图像的语义特征输入到解码器，依次输入五层解码单元进行特征的重建于上采样，得到分割掩膜，可表示为o_i。

7.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S7中，深度学习训练方法为自适应矩估计方法，通过最小化损失函数L_S学习腺体实例分割模型的最优参数，损失函数L_S表达为：

L_S＝L_S-G+L_S-C

其中，L_S-G中W和H代表结肠组织病理学图像的大小，o_i是腺体实例分割模型输出的分割掩膜，

是腺体实例分割模型的热值图输出，L_S-G使用二元交叉熵函数来激励模型将热值区域内的点划分为腺体区域，在L_S-C中T表示预测的高置信点个数，s_i为高置信点所在像素点在分割掩膜的值，L_S-C使用交叉熵函数来激励模型将高置信点划分为腺体区域。/>

Images