CN113077438A - 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 - Google Patents

Abstract

本发明公开了一种针对多细胞核彩色图像的细胞核区域提取方法，包括获取训练数据集并得到单细胞核裁剪图像；处理单细胞核裁剪图像得到初步的粗糙像素级细胞核分割信息；构建针对多细胞核彩色图像的细胞核区域提取模型；对训练数据集中的图像数据进行特征提取并采用提取模型预测图像中细胞核的包围盒位置信息；对细胞核位置信息采用粗糙像素级分割信息进行监督优化；重复上述步骤并采用得到的结果更新训练数据集并得到最终的细胞核区域提取模型；采用细胞核区域提取模型对实际的多细胞核彩色图像进行细胞核区域。本发明还公开了包括所述针对多细胞核彩色图像的细胞核区域提取方法的成像方法。本发明精确度高、可靠性好且效果较好。

Description

针对多细胞核彩色图像的细胞核区域提取方法及成像方法

技术领域

本发明属于图像处理领域，具体涉及一种针对多细胞核彩色图像的细胞核区域提取方法及成像方法。

背景技术

随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。

在医学图像学领域中，多细胞核彩色图像的细胞核区域提取，一直是医学图像学领域的研究重点。在多细胞核彩色图像中对细胞核区域进行准确地分割和提取，能够为后续的研究、诊断等打下坚实的基础。

目前，针对多细胞核彩色图像中对细胞核区域的提取研究，传统方法一般通过人工设计特征来寻找核区域，从而进行核区域的分割提取；但是，现有的技术往往不能适应复杂图像，难以提取稳定的特征表示，直接导致结果缺乏准确性和鲁棒性，从而进一步影响了后续的工作。

发明内容

本发明的目的之一在于提供一种精确度高、可靠性好且效果较好的针对多细胞核彩色图像的细胞核区域提取方法。

本发明的目的之二在于提供一种包括了所述针对多细胞核彩色图像的细胞核区域提取方法的成像方法。

本发明提供的这种针对多细胞核彩色图像的细胞核区域提取方法，包括如下步骤：

S1.获取训练数据集；

S2.根据步骤S1获取的训练数据集中提供的细胞核包围盒位置信息，获取单细胞核裁剪图像；

S3.将步骤S2得到的单细胞核裁剪图像进行处理，从而将细胞核区域和背景区域分离，从而得到初步的粗糙像素级细胞核分割信息；

S4.构建针对多细胞核彩色图像的细胞核区域提取模型；

S5.对训练数据集中的图像数据进行特征提取，并采用针对多细胞核彩色图像的细胞核区域提取模型预测图像中细胞核的包围盒位置信息；

S6.对步骤S5获取的细胞核位置信息，采用步骤S3得到的粗糙像素级分割信息进行监督优化；

S7.重复步骤S2～S6直至满足设定的条件，重复过程中采用步骤S5和步骤S6得到的包围盒位置信息和像素级分割结果更新训练数据集原始标签，加强监督信息，从而得到最终的细胞核区域提取模型；

S8.采用步骤S7得到的细胞核区域提取模型，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域。

步骤S3所述的将步骤S2得到的单细胞核裁剪图像进行处理，从而将细胞核区域和背景区域分离，从而得到初步的粗糙像素级细胞核分割信息，具体为将步骤S2得到的单细胞核裁剪图像进行处理，具体是将裁剪图像中的像素分类为背景像素或细胞核像素，达到细胞核区域和背景区域分离的目的，从而得到初步的粗糙像素级细胞核分割信息；采用颜色去卷积算法(Color Deconvolution)获取分割信息，详细算法步骤如下：

颜色去卷积算法通常是用来将多种染色剂成分混合染色的医学彩色数字图像进行颜色分离，细胞核和其他背景区域对于不同的染色剂成分的吸附性不一样，表现出的外观特征则是颜色各异，这个颜色分离的过程恰好可以将细胞核区域和背景区域分离。根据比尔-朗博定律，整个计算原理如下：

O_i＝-ln(x_i/I_max)

S_i＝D·O_i

其中x_i表示RGB颜色空间的第i个像素值；O_i表示RGB通道的光密度(opticaldensity，OD)；D则是颜色去卷积中的参数矩阵；I_max表示背景的像素强度；S_i是颜色去卷积的结果，其拥有多个通道，分别表示不同染色剂成分的染色区域，又因为区域间对不同染色剂的不同吸附性，细胞核可以很清晰的在S_i的第一个通道中显示出来，之后通过大津法(Otsu)自适应阈值将S_i提取的图像二值化来做成分割标签。

步骤S4所述的构建针对多细胞核彩色图像的细胞核区域提取模型，具体为采用如下步骤构建模型：

网络结构模型采用Mask RCNN分割网络，包括主干网络、特征金字塔结构和头部；其中主干网络用于提取特征，特征金字塔结构用于将主干网络的特征进行融合和增强，并输入到头部；头部包括预测分支和分割分支，用于进行最后的预测分割；

主干网络采用ResNet-50网络，包括C1、C2、C3、C4和C5共五个输出阶段，在C1～C4阶段，每个阶段的特征长宽尺度均为前一个阶段的特征长宽尺度的一半，C5阶段的特征长宽尺度与C4阶段的特征长宽尺度相同；主干网络C4至C5阶段的卷积均为空洞卷积；

特征金字塔结构包括P2层、P3层、P4层和P5层；P5层的候选框与P4层的候选框保持一致；

在训练时，采用如下算式作为损失函数：

L＝L_rpn+L_head

式中L_rpn为第一阶段RPN网络的损失函数；L_head为第二阶段头部网络的损失函数；L_rpn采用现有的RPN网络的损失函数；

针对L_head部分，包括分类损失和位置回归损失；并对分类损失进行如下修改：

式中L_cls为L_head中的分类损失；N为样本数量；α为设定的权重；y为真实目标的类别指定值；p_i为预测为目标的概率。

所述的设定的权重，具体为α＝1.25。

步骤S6所述的对步骤S5获取的细胞核位置信息，采用步骤S3得到的无监督像素级分割信息进行监督优化，具体为O_i＝SEG(DET(f_i),f_i)，其中O_i为分割结果，SEG()为分割分支SEG的输出结果；f_i为根据预选框选出的可能存在目标区域的特征图，且f_i∈f，f为整幅图像的特征图；DET()为检测分支的输出结果；L_seg＝L(O_i,I_b)，L_seg为分割损失，I_b为二值图，L()为二值交叉熵损失函数。

步骤S7所述的重复步骤S2～S6直至满足设定的条件，重复过程中采用步骤S5和步骤S6得到的包围盒位置信息和像素级分割结果更新训练数据集原始标签，具体为采用如下步骤进行更新：预测的结果有细胞核包围盒位置信息、此区域为真实细胞核的置信度(confidence)以及分割信息；一个预测结果可以补充到训练集作为标签的条件是：1)置信度大于设定值(比如0.75)；2)预测的细胞核包围盒与原始标签的所有包围盒都没有任何的交叉区域；满足上述两个条件，从而保证选出的伪标签同时满足未标注的合格细胞核的概率大于设定值，且不会与原始标注有冲突；符合上述条件的合格预测，其预测的包围盒位置信息和分割信息将会被作为伪标签，并更新训练集标注。

本发明还公开了一种包括所述针对多细胞核彩色图像的细胞核区域提取方法的成像方法，具体包括如下步骤：

A.采用所述的针对多细胞核彩色图像的细胞核区域提取方法，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域；

B.在实际的多细胞核彩色图像上，对步骤A提取到的细胞核区域进行再次标注，从而得到标注后的多细胞核彩色图像。

本发明提供的这种针对多细胞核彩色图像的细胞核区域提取方法及成像方法，针对训练数据集中细胞核区域分割标注信息，弱监督式训练初始化模型参数，并在后续的训练周期中采用自训练的方式对训练集补充伪标签，最后利用补充的伪标签以及原始标签对模型进行训练，从而得到最终的提取模型并用于实际图像的细胞核区域提取；本发明方法针对细胞核分割训练中缺少分割监督信息的缺陷，提出一种基于弱监督以及自训练方式的分割算法，在只有部分稀疏的目标标注的情况下，能够得到高精度的细粒度预测模型，完成精确的核分割任务，而且精确度高、可靠性好且效果较好。

附图说明

图1为本发明的提取方法的方法流程示意图。

图2为本发明的提取方法的网络结构示意图。

图3为本发明的成像方法的方法流程示意图。

具体实施方式

如图1所示为本发明的提取方法的方法流程示意图：本发明提供的这种针对多细胞核彩色图像的细胞核区域提取方法，包括如下步骤：

S1.获取训练数据集；

S2.根据步骤S1获取的训练数据集中提供的细胞核包围盒位置信息，获取单细胞核裁剪图像；

S3.将步骤S2得到的单细胞核裁剪图像进行处理，从而将细胞核区域和背景区域分离，从而得到初步的粗糙像素级细胞核分割信息；具体为将步骤S2得到的单细胞核裁剪图像进行处理，具体是将裁剪图像中的像素分类为背景像素或细胞核像素，达到细胞核区域和背景区域分离的目的，从而得到初步的粗糙像素级细胞核分割信息；采用颜色去卷积算法(Color Deconvolution)获取分割信息，详细算法步骤如下：

颜色去卷积算法通常是用来将多种染色剂成分混合染色的医学彩色数字图像进行颜色分离，细胞核和其他背景区域对于不同的染色剂成分的吸附性不一样，表现出的外观特征则是颜色各异，这个颜色分离的过程恰好可以将细胞核区域和背景区域分离。根据比尔-朗博定律，整个计算原理如下：

O_i＝-ln(x_i/I_max)

S_i＝D·O_i

其中x_i表示RGB颜色空间的第i个像素值；O_i表示RGB通道的光密度(opticaldensity，OD)；D则是颜色去卷积中的参数矩阵；I_max表示背景的像素强度；S_i是颜色去卷积的结果，其拥有多个通道，分别表示不同染色剂成分的染色区域，又因为区域间对不同染色剂的不同吸附性，细胞核可以很清晰的在S_i的第一个通道中显示出来，之后通过大津法(Otsu)自适应阈值将S_i提取的图像二值化来做成分割标签；

S4.构建针对多细胞核彩色图像的细胞核区域提取模型(如图2所示)；具体为采用如下步骤构建模型：

整体网络结构是由主干网络C1-C5、特征金字塔结构P2-P5(在原有结构上舍弃P6层，P6层由P5直接进行2倍下采样生成)、头部三个部分组成，其中主干部分用来提取特征，金字塔特征用于将C2-C5阶段的特征融合增强生成P2-P5处特征，由候选框在P2-P5处选择特征作为后续头部的输入，头部做出最后的预测；具体实施时，网络结构模型采用MaskRCNN分割网络，包括主干网络、特征金字塔结构和头部；其中主干网络用于提取特征，特征金字塔结构用于将主干网络的特征进行融合和增强，并输入到头部；头部包括预测分支和分割分支，用于进行最后的预测分割；

通常主干有C1-C5五个输出阶段，每个阶段的特征长宽尺度是前一个特征1/2大小，因此每一个目标的特征表达也在进行高语义信息的提取，但是在C5经过下采样后长宽比例已经是原图的1/32，大部分目标中心在特征图上的分辨率将会消失；因此，做出如下设计：1)将网络C4至C5阶段的卷积全部使用空洞卷积替换，在C4-C5阶段保持特征分辨率不再下降；C4与C5保持分辨率一致可以达到足够的细胞核目标的识别，同时，为了不让C5阶段的高层语义信息损失，采用空洞卷积可以在保持参数量的前提下增加感受野，从而可以更高效的提取语义信息，让C5输出特征在保持分辨率的同时可以减少语义信息的损失；

2)将网络宽度与上一个阶段保持一致；因为C5输出特征图的分辨率的增加，意味着更多的计算量，因此在C5阶段将网络的宽度即特征的通道数量降低为原来的1/2，与C4一致；3)在原始的设置中，P5的目标候选框的大小是P4的四倍，其目的也是捕捉更大的目标。但在本方法中，针对小尺度目标的问题，让产生于C5的P5特征像素位置上的候选框大小保持和P4一致，同时也因为P5分辨率的增加，整个候选框的数量也会增加，其覆盖的目标也将更多，理论上会增加效果表现；

具体实施时，主干网络采用ResNet-50网络，包括C1、C2、C3、C4和C5共五个输出阶段，在C1～C4阶段，每个阶段的特征长宽尺度均为前一个阶段的特征长宽尺度的一半，C5阶段的特征长宽尺度与C4阶段的特征长宽尺度相同；主干网络C4至C5阶段的卷积均为空洞卷积；

特征金字塔结构包括P2层、P3层、P4层和P5层；P5层的候选框与P4层的候选框保持一致；

在训练时，采用如下算式作为损失函数：

L＝L_rpn+L_head

式中L_rpn为第一阶段RPN网络的损失函数；L_head为第二阶段头部网络的损失函数；L_rpn采用现有的RPN网络的损失函数；

针对L_head部分，包括分类损失和位置回归损失；并对分类损失进行如下修改：

式中L_cls为L_head中的分类损失；N为样本数量；α为设定的权重(优选为1.25)；y为真实目标的类别指定值；p_i为预测为目标的概率；

S5.对训练数据集中的图像数据进行特征提取，并采用针对多细胞核彩色图像的细胞核区域提取模型预测图像中细胞核的包围盒位置信息；

S6.对步骤S5获取的细胞核位置信息，采用步骤S3得到的粗糙像素级分割信息进行监督优化；具体为O_i＝SEG(DET(f_i),f_i)，其中O_i为分割结果，SEG()为分割分支SEG的输出结果；f_i为根据预选框选出的可能存在目标区域的特征图，且f_i∈f，f为整幅图像的特征图；DET()为检测分支的输出结果；L_seg＝L(O_i,I_b)，L_seg为分割损失，I_b为二值图，L()为二值交叉熵损失函数；

S7.重复步骤S2～S6直至满足设定的条件，重复过程中采用步骤S5和步骤S6得到的包围盒位置信息和像素级分割结果更新训练数据集原始标签，加强监督信息，从而得到最终的细胞核区域提取模型；

具体实施时，采用如下步骤进行更新：预测的结果有细胞核包围盒位置信息、此区域为真实细胞核的置信度(confidence)以及分割信息；一个预测结果可以补充到训练集作为标签的条件是：1)置信度大于设定值(比如0.75)；2)预测的细胞核包围盒与原始标签的所有包围盒都没有任何的交叉区域；满足上述两个条件，从而保证选出的伪标签同时满足未标注的合格细胞核的概率大于设定值，且不会与原始标注有冲突；符合上述条件的合格预测，其预测的包围盒位置信息和分割信息将会被作为伪标签，并更新训练集标注；

S8.采用步骤S7得到的细胞核区域提取模型，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域。

如图3所示为本发明的成像方法的方法流程示意图：本发明还公开了一种包括所述针对多细胞核彩色图像的细胞核区域提取方法的成像方法，具体包括如下步骤：

A.采用所述的针对多细胞核彩色图像的细胞核区域提取方法，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域；

B.在实际的多细胞核彩色图像上，对步骤A提取到的细胞核区域进行再次标注，从而得到标注后的多细胞核彩色图像。

在具体实施时，针对需要分割提取的多细胞核彩色图像，采用本发明方法提供的提取方法对图像进行细胞核区域提取；同时在提取后，将提取后的部分，在原始的多细胞核彩色图像上进行标注(比如以矩形框和不同颜色的方式)，从而方便后续的研究或者查看等。同时，本发明的成像方法，也可以用于现有的多细胞核彩色图像的成像设备：该成像设备可以将本发明的提取方法和成像方法进行直接应用，直接采用现有技术得到多细胞核彩色图像，并采用本发明的提取方法进行细胞核区域提取，并将提取区域在图像中进行显著标记，从而得到多细胞核彩色图像的结果(包括原始图像结果，细胞核区域提取结果，以及在原始图像结果上标注了提取的细胞核区域的结果)。

Claims (7)

1.一种针对多细胞核彩色图像的细胞核区域提取方法，包括如下步骤：

S1.获取训练数据集；

S2.根据步骤S1获取的训练数据集中提供的细胞核包围盒位置信息，获取单细胞核裁剪图像；

S3.将步骤S2得到的单细胞核裁剪图像进行处理，从而将细胞核区域和背景区域分离，从而得到初步的粗糙像素级细胞核分割信息；

S4.构建针对多细胞核彩色图像的细胞核区域提取模型；

S5.对训练数据集中的图像数据进行特征提取，并采用针对多细胞核彩色图像的细胞核区域提取模型预测图像中细胞核的包围盒位置信息；

S6.对步骤S5获取的细胞核位置信息，采用步骤S3得到的粗糙像素级分割信息进行监督优化；

S7.重复步骤S2～S6直至满足设定的条件，重复过程中采用步骤S5和步骤S6得到的包围盒位置信息和像素级分割结果更新训练数据集原始标签，加强监督信息，从而得到最终的细胞核区域提取模型；

S8.采用步骤S7得到的细胞核区域提取模型，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域。

2.根据权利要求1所述的针对多细胞核彩色图像的细胞核区域提取方法，其特征在于步骤S3所述的将步骤S2得到的单细胞核裁剪图像进行处理，从而将细胞核区域和背景区域分离，从而得到初步的粗糙像素级细胞核分割信息，具体为将步骤S2得到的单细胞核裁剪图像进行处理，具体是将裁剪图像中的像素分类为背景像素或细胞核像素，达到细胞核区域和背景区域分离的目的，从而得到初步的粗糙像素级细胞核分割信息；采用颜色去卷积算法获取分割信息，详细算法步骤如下：

计算原理如下：

O_i＝-ln(x_i/I_max)

S_i＝D·O_i

其中x_i表示RGB颜色空间的第i个像素值；O_i表示RGB通道的光密度；D则是颜色去卷积中的参数矩阵；I_max表示背景的像素强度；S_i是颜色去卷积的结果，其拥有多个通道，分别表示不同染色剂成分的染色区域，又因为区域间对不同染色剂的不同吸附性，细胞核能够在S_i的第一个通道中显示出来，之后通过大津法自适应阈值将S_i提取的图像二值化来做分割标签。

3.根据权利要求2所述的针对多细胞核彩色图像的细胞核区域提取方法，其特征在于步骤S4所述的构建针对多细胞核彩色图像的细胞核区域提取模型，具体为采用如下步骤构建模型：

网络结构模型采用Mask RCNN分割网络，包括主干网络、特征金字塔结构和头部；其中主干网络用于提取特征，特征金字塔结构用于将主干网络的特征进行融合和增强，并输入到头部；头部包括预测分支和分割分支，用于进行最后的预测分割；

主干网络采用ResNet-50网络，包括C1、C2、C3、C4和C5共五个输出阶段，在C1～C4阶段，每个阶段的特征长宽尺度均为前一个阶段的特征长宽尺度的一半，C5阶段的特征长宽尺度与C4阶段的特征长宽尺度相同；主干网络C4至C5阶段的卷积均为空洞卷积；

特征金字塔结构包括P2层、P3层、P4层和P5层；P5层的候选框与P4层的候选框保持一致；

在训练时，采用如下算式作为损失函数：

L＝L_rpn+L_head

式中L_rpn为第一阶段RPN网络的损失函数；L_head为第二阶段头部网络的损失函数；L_rpn采用现有的RPN网络的损失函数；

针对L_head部分，包括分类损失和位置回归损失；并对分类损失进行如下修改：

式中L_cls为L_head中的分类损失；N为样本数量；α为设定的权重；y为真实目标的类别指定值；p_i为预测为目标的概率。

4.根据权利要求3所述的针对多细胞核彩色图像的细胞核区域提取方法，其特征在于所述的设定的权重，具体为α＝1.25。

5.根据权利要求4所述的针对多细胞核彩色图像的细胞核区域提取方法，其特征在于步骤S6所述的对步骤S5获取的细胞核位置信息，采用步骤S3得到的无监督像素级分割信息进行监督优化，具体为O_i＝SEG(DET(f_i),f_i)，其中O_i为分割结果，SEG()为分割分支SEG的输出结果；f_i为根据预选框选出的可能存在目标区域的特征图，且f_i∈f，f为整幅图像的特征图；DET()为检测分支的输出结果；L_seg＝L(O_i,I_b)，L_seg为分割损失，I_b为二值图，L()为二值交叉熵损失函数。

6.根据权利要求5所述的针对多细胞核彩色图像的细胞核区域提取方法，其特征在于步骤S7所述的重复步骤S2～S6直至满足设定的条件，重复过程中采用步骤S5和步骤S6得到的包围盒位置信息和像素级分割结果更新训练数据集原始标签，具体为采用如下步骤进行更新：预测的结果有细胞核包围盒位置信息、此区域为真实细胞核的置信度以及分割信息；一个预测结果可以补充到训练集作为标签的条件是：1)置信度大于设定值；2)预测的细胞核包围盒与原始标签的所有包围盒都没有任何的交叉区域；满足上述两个条件，从而保证选出的伪标签同时满足未标注的合格细胞核的概率大于设定值，且不会与原始标注有冲突；符合上述条件的合格预测，其预测的包围盒位置信息和分割信息将会被作为伪标签，并更新训练集标注。

7.一种包括了权利要求1～6之一所述的针对多细胞核彩色图像的细胞核区域提取方法的成像方法，其特征在于具体包括如下步骤：

A.采用所述的针对多细胞核彩色图像的细胞核区域提取方法，对实际的多细胞核彩色图像进行处理，从而提取到最终的细胞核区域；

B.在实际的多细胞核彩色图像上，对步骤A提取到的细胞核区域进行再次标注，从而得到标注后的多细胞核彩色图像。

Images