CN111666850A - 一种基于聚类生成候选锚框的细胞图像检测与分割方法 - Google Patents

Abstract

一种基于聚类生成候选锚框的细胞图像检测与分割方法，包括以下步骤：步骤1，制作数据集；步骤2，数据集样本维度特征统计，设置ISODATA聚类算法初始参数，通过聚类算法统计样本维度信息，生成样本维度比例；步骤3，细胞的特征提取与融合，包括以下步骤：3.1、特征提取网络的搭建；3.2、特征多尺度融合；步骤4，癌细胞目标区域候选框的生成，将融合后的特征与目标样本维度比例送入RPN网络中进行目标区域生成；步骤5，癌细胞图像的检测目标结果精炼；步骤6，癌细胞图像的分割Mask生成。本发明使生成的候选锚框更加贴合真实样本维度规律，降低了候选框回归的难度，提升了算法回归速度，提升了检测和分割的性能。

Description

一种基于聚类生成候选锚框的细胞图像检测与分割方法

技术领域

本发明属于计算机视觉领域，本发明公开了一种基于聚类生成候选锚框的细胞图像检测与分割方法。具体通过聚类算法对数据集中样本的维度进行统计并将维度转换比例作为RPN网络中候选锚框的宽高比送入深度学习Mask R-CNN算法实现癌细胞图像的检测和分割，即首先利用ISODATA聚类算法对样本维度进行统计，然后将统计结果换算成维度比例作为RPN网络中候选锚框的宽高比的参数设置，最后通过Mask R-CNN算法实现癌细胞图像的检测和分割。

背景技术

分子细胞水平研究是新药研制的重要组成步骤，特别近些年来，癌症等细胞疾病的发病率呈逐年上升的趋势。在我国，每年有过百万人被检测出患有癌症，并有大量患者因癌症而死亡，因此，抗癌药物的研发对于癌症的治疗和预防起着至关重要的作用，医学病理细胞图像分析是抗癌药物研发过程中的一个重要步骤。在医学细胞图像分析中，细胞图像的检测与分割是最为重要的环节之一，同时也是对细胞图像进行识别等研究的基本前提。在病理细胞图像的分割任务中，最常遇到的问题是由细胞图像切片制作不理想所带来的。在切片制作过程中，显微镜下的细胞图像呈现出随机分布的状态，由于人为或自然因素而导致细胞图像中出现细胞重叠或粘连的情况。真实细胞图像具有多样性和复杂性。例如，单个细胞的大小和形状不一，团簇细胞之间发生重叠甚至相互挤压变形，细胞质及细胞核区域不均匀等。细胞图像的这些缺陷会对细胞图像的检测和分割过程造成不良影响，导致检测与分割结果出现误差。

目标检测即在识别出图像中目标对象类别的基础上，确定目标对象的绝对位置，并用适合目标对象大小的矩形框标记。在细胞检测领域，根据检测思路的不同，可以将目标检测算法大致分成两类：基于候选窗口的目标检测算法(Two Stage)和基于回归的目标检测算法(One Stage)。基于候选窗口的目标检测算法在预测阶段首先选出包含目标概率较大的区域，之后对所选区域进行预测。这类算法检测的精度比较高，但检测速度比较慢，常见的算法有Fast R-CNN、Faster R-CNN、Mask R-CNN等。基于回归的目标检测算法将检测问题看成回归问题。不需要选取候选框，预测一步完成。这类算法检测速度比较快，但在精度方面一般弱于基于候选窗口的目标检测算法，常见的算法有SSD、YOLO、YOLO v2、 YOLO v3等。

图像分割是指根据图像的纹理、灰度、色彩、几何信息等不同特征进行区域划分，把图像分割成若干区域，将感兴趣区域提取出来的过程。随着深度学习的发展，因其优越性被广泛用于解决图像分割问题。面向CNN区域分类的图像分割算法是将传统图像处理算法与深度学习中的卷积神经网络相融合，先将输入的图片按不同的目标进行候选区域的划分，得到候选区域后再通过网络对区域内每个像素进行语义分类，然后使用分类器分类的结果对输入图像进行标注，最终得到分割的Mask结果。其中，候选区域的质量决定了图像分割的精度，故面向CNN 区域分类的图像分割算法的关键在于如何从输入图像中产生不同的目标的候选区域。根据区域生成算法以及候选区域划分标准的不同，可以将面向CNN区域分类的图像分割算法分成两类：基于候选区域的方法和基于分割掩膜的方法。在基于候选区域的分割方法中常见的算法有SDS、MCG、Mask R-CNN、Mask Scoring R-CNN等，在基于掩膜的分割方法中常见的算法有DeepMask、 SharpMask等。

发明内容

为了解决现有深度学习两阶段算法中候选锚框的宽高比不能更好的贴合数据集中样本维度分布规律、满足癌细胞尺寸相差较大的特点，本发明提供一种利用聚类算法生成更加符合真实样本维度分布规律的候选锚框宽高比的细胞图像检测和分割方法。

本发明解决其技术问题所采用的技术方案如下：

一种基于聚类生成候选锚框的细胞图像检测与分割方法，包括以下步骤：

步骤1：制作数据集，使用MS COCO数据集格式，人工对数据集进行Ground Truth(GT)的制作作为网络的训练集；

步骤2：数据集样本维度特征统计，利用ISODATA聚类算法统计数据集中真实样本的维度信息，得到统计的维度信息后将其转换成目标框的宽高比例，该宽高比例将作为RPN网络中候选锚框的宽高比参数；

步骤3：细胞的特征提取与融合，特征提取网络选用深度残差网络RseNet，其中RseNet采用50层卷积结构进行搭建，同时，在特征提取网络后加入FPN 网络，对提取出的特征进行多尺度的融合；

步骤4：癌细胞目标区域候选框的生成，将融合后的特征送入RPN网络中，同时将聚类得到的样本维度比例作为候选锚框的宽高比进行目标区域生成，并将其分数值最高的设定数量个候选区域输入Mask R-CNN网络利用边框回归操作实现候选框位置精修，得到最终的目标框；

步骤5：癌细胞图像的检测目标结果精炼，获取每个目标推荐区域得分最高的class得分和推荐区域的坐标，删除掉得分最高为背景的推荐区域，剔除掉其中最高得分达不到阈值的推荐区域，对同一类别的候选框进行非极大值抑制 NMS，对NMS后的框索引剔除-1占位符，获取前n，最后返回每个框(y1，x1， y2，x2，Class_ID，Score)信息；

步骤6：癌细胞图像的分割Mask生成，获取到目标推荐区域作为输入送入 FCN网络输出一个2层的Mask，每层代表不同的类，以log输出并用阈值进行二值化，产生背景和前景的分割Mask。

进一步，所述步骤2中，数据集样本维度特征统计的步骤如下：

2.1、设置ISODATA聚类算法初始参数，将数据集中目标Ground Truth的检测框的宽和高width，height设定为一组数据，记为(w,h)作为ISODATA聚类算法的单个聚类元素，并设置初始类簇中心K₀值，同类样本方差的阈值thetaS值，单类别最小样本数thetaN，小于此数目的样本就不会作为独立类簇，聚类中心之间距离的阈值thetaC，小于此数的两个类簇将进行合并，最大迭代次数maxIts；

2.2、通过聚类算法统计样本维度信息，将初始参数设置完成后，修改 ISODATA聚类算法中元素到类簇中心的聚类公式为两个目标边框的IoU的值，其表达为：

dist_box,centriod＝1-IoU_box,centriod

运行ISODATA聚类算法得到的聚类中心的(w,h)的坐标就宽和高，然后将每个中心的w和h进行比值计算，得到候选锚框的宽高比参数；

再进一步，所述步骤3中，特征提取网络构建的步骤如下：

3.1、ResNet-50作为特征提取网络，将其定义为5个阶段C1-C5，分别是： conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中第1个阶段conv1是由1 个卷积核为7×7的卷积层构成，输出通道数为64，步长为2的卷积层，在卷积层后加入一个ReLu的激活函数，同时在C1和C2层之间加入一个步长为2的最大池化层，C2是由3个连续的残差结构组成，其中每个残差结构都由2个卷积核大小为1×1，步长为1，输出通道数分别为64和256的卷积层加上1个卷积核大小为3×3，步长为1，输出通道数为64的卷积层构成，其C2层最后卷积输出通道数为256；C3-C5阶段都是由与C2阶段中相同的残差结构组成，其残差数量和最后卷积输出通道数分别为(4，6，3)和(512，1024，2048)，同时在卷积和激活函数操作中均加入批量归一化操作；

3.2、FPN对提取的特征进行多尺度的融合，在ResNet-50的5个阶段中除去第一阶段的其他4个阶段提取到的特征进行自上而下连接和横向连接，分别定义为P2、P3、P4、P5。

本发明的有益效果为：基于ISODATA聚类算法对数据集样本中的维度进行统计，生成候选锚框的宽高比，将其作为RPN网络中的参数送入Mask R-CNN 算法对癌细胞图像中的细胞进行检测和分割。

附图说明

图1为本发明中细胞图像分割算法的流程图；

图2为本发明中ISODATA聚类算法流程图；

图3为本发明中特征提取网络结构示意图；

图4为本发明中提取特征多尺度融合示意图；

具体实施方式

下面参照附图，对本发明作进一步的描述。应当理解，进一步的描述仅为了说明本发明，而不是为了限制本发明的保护范围。

参照图1～图4，一种基于聚类生成候选锚框的细胞图像检测与分割方法，所述方法包括以下步骤：

步骤1：制作数据集，使用MS COCO数据集格式，人工对数据集进行Ground Truth(GT)的制作作为网络的训练集；

步骤2：数据集样本维度特征统计，利用ISODATA聚类算法统计数据集中真实样本的维度信息，得到统计的维度信息后将其转换成目标框的宽高比例，该宽高比例将作为RPN网络中候选锚框的宽高比参数；

所述步骤2中，数据集样本维度特征统计的步骤如下：

2.1、设置ISODATA聚类算法初始参数，将数据集中目标Ground Truth的检测框的宽和高width，height设定为一组数据，记为(w,h)作为ISODATA聚类算法的单个聚类元素，并设置初始类簇中心K₀值，同类样本方差的阈值thetaS值，单类别最小样本数thetaN，小于此数目的样本就不会作为独立类簇，聚类中心之间距离的阈值thetaC，小于此数的两个类簇将进行合并，最大迭代次数maxIts；

2.2、通过聚类算法统计样本维度信息，将初始参数设置完成后，修改 ISODATA聚类算法中元素到类簇中心的聚类公式为两个目标边框的IoU的值，其表达为：

dist_box,centriod＝1-IoU_box,centriod

运行ISODATA聚类算法得到的聚类中心的(w,h)的坐标就宽和高，然后将每个中心的w和h进行比值计算，得到候选锚框的宽高比参数；

步骤3：细胞的特征提取与融合，特征提取网络选用深度残差网络RseNet，其中RseNet采用50层卷积结构进行搭建，同时，在特征提取网络后加入FPN 网络，对提取出的特征进行多尺度的融合；

所述步骤3中，特征提取网络构建步骤如下：

3.1、ResNet-50作为特征提取网络，将其定义为5个阶段C1-C5，分别是： conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中第1个阶段conv1是由1 个卷积核为7×7的卷积层构成，输出通道数为64，步长为2的卷积层，在卷积层后加入一个ReLu的激活函数，同时在C1和C2层之间加入一个步长为2的最大池化层，C2是由3个连续的残差结构组成，其中每个残差结构都由2个卷积核大小为1×1，步长为1，输出通道数分别为64和256的卷积层加上1个卷积核大小为3×3，步长为1，输出通道数为64的卷积层构成，其C2层最后卷积输出通道数为256；C3-C5阶段都是由与C2阶段中相同的残差结构组成，其残差数量和最后卷积输出通道数分别为(4，6，3)和(512，1024，2048)，同时在卷积和激活函数操作中均加入批量归一化操作；

3.2、FPN对提取的特征进行多尺度的融合，在ResNet-50的5个阶段中除去第一阶段的其他4个阶段提取到的特征进行自上而下连接和横向连接，分别定义为P2、P3、P4、P5。

步骤4：癌细胞目标区域候选框的生成，将融合后的特征送入RPN网络中，同时将聚类得到的样本维度比例作为候选锚框的宽高比进行目标区域生成，并将其分数值最高的设定数量(例如2000)个候选区域输入Mask R-CNN网络利用边框回归操作实现候选框位置精修，得到最终的目标框；

步骤5：癌细胞图像的检测目标结果精炼，获取每个目标推荐区域得分最高的class得分和推荐区域的坐标，删除掉得分最高为背景的推荐区域，剔除掉其中最高得分达不到阈值的推荐区域，对同一类别的候选框进行非极大值抑制 NMS，对NMS后的框索引剔除-1占位符，获取前n(n取100)，最后返回每个框(y1，x1，y2，x2，Class_ID，Score)信息；

步骤6：癌细胞图像的分割Mask生成，获取到目标推荐区域作为输入送入 FCN网络输出一个2层的Mask，每层代表不同的类，以log输出并用阈值(阈值取0.5)进行二值化，产生背景和前景的分割Mask。

本发明基于剑桥大学肿瘤研究所提供的一组膀胱癌T24相称显微镜图片序列，利用卷积神经网络对图像的特征进行提取并生成目标的Mask轮廓，然后对 Mask轮廓精修实现细胞的分割，为医疗人员实现细胞的分割从而进行抗癌药物的试验做基础。

如图2所示，ISODATA聚类算法的的流程分为六步，(1)从样本中随机选取 K₀个样本作为初始化聚类中心；(2)对于数据集中的每一个样本，都要通过计算它到K₀个聚类中心的欧式距离来进行分类，判定距离越小相似度越大，则将其划分到相应的类中；(3)判断每个已经划分的类簇中元素的数目是否小于N_min，如果小于N_min则将该类丢弃，同时将类簇数K值减1，并将该类中的所有元素重新分配；(4)重新计算聚类中心：对每个已经划分为类簇中的对象，累加计算均值，等到的结果作为新的聚类中心；(5)判断当前类簇K的大小，若K≥2K₀，说明当前类别数太多，则进行合并操作，若

说明当前类别数太少，则进行分裂操作；(6)判断当前迭代次数是否达到最大迭代次数，如果是则输出结果，否则重复进行步骤(2)之后的流程。

如图3所示，特征提取网络中conv1部分有1个卷积层+BatchNorm层+Relu 激活层+最大池化层。conv2_x部分有3个残差区块，每个残差区块包括2个1 ×1的卷积层+3×3的卷积层+3个BatchNorm层+3个Relu激活层。conv3_x部分有4个残差区块。conv4_x部分有6个残差区块。conv5_x部分有3个残差区块。其中残差区块conv_block和identity_block的区别是identity_block区块的旁路上多了一个卷积层，是为了保证提取出来的特征地图尺寸一致，可以相加。

如图4表所示，多尺度的特征进行融合，然后作为输入送入多任务分支网络。其中特征融合是自上而下和横向连接的，自上而下是从最高层开始进行上采样，这里的上采样直接使用的是最近邻上采样，而不是使用反卷积操作，一方面简单，另外一方面可以减少训练参数。横向连接则是将上采样的结果和自底向上生成的相同大小的特征地图进行融合。具体就是对中的每一层经过一个conv 1x1操作，无激活函数操作，输出通道全部设置为相同的256通道，然后和上采样的特征图进行加和操作。在融合之后还会再采用3*3的卷积核对已经融合的特征进行处理来消除上采样的混叠效应。

Claims (3)

1.一种基于聚类生成候选锚框的细胞图像检测与分割方法，其特征在于，所述方法包括以下步骤：

步骤1：制作数据集，使用MS COCO数据集格式，人工对数据集进行Ground Truth的制作作为网络的训练集；

步骤2：数据集样本维度特征统计，利用ISODATA聚类算法统计数据集中真实样本的维度信息，得到统计的维度信息后将其转换成目标框的宽高比例，该宽高比例将作为RPN网络中候选锚框的宽高比参数；

步骤3：细胞的特征提取与融合，特征提取网络选用深度残差网络RseNet，其中RseNet采用50层卷积结构进行搭建，同时，在特征提取网络后加入FPN网络，对提取出的特征进行多尺度的融合；

步骤4：癌细胞目标区域候选框的生成，将融合后的特征送入RPN网络中，同时将聚类得到的样本维度比例作为候选锚框的宽高比进行目标区域生成，并将其分数值最高的设定数量个候选区域输入Mask R-CNN网络利用边框回归操作实现候选框位置精修，得到最终的目标框；

步骤5：癌细胞图像的检测目标结果精炼，获取每个目标推荐区域得分最高的class得分和推荐区域的坐标，删除掉得分最高为背景的推荐区域，剔除掉其中最高得分达不到阈值的推荐区域，对同一类别的候选框进行非极大值抑制NMS，对NMS后的框索引剔除-1占位符，获取前n，最后返回每个框(y1，x1，y2，x2，Class_ID，Score)信息；

步骤6：癌细胞图像的分割Mask生成，获取到目标推荐区域作为输入送入FCN网络输出一个2层的Mask，每层代表不同的类，以log输出并用阈值进行二值化，产生背景和前景的分割Mask。

2.如权利要求1所述的一种基于聚类生成候选锚框的细胞图像检测与分割方法，其特征在于，所述步骤2中，数据集样本维度特征统计的步骤如下：

2.1、设置ISODATA聚类算法初始参数，将数据集中目标Ground Truth的检测框的宽和高width，height设定为一组数据，记为(w,h)作为ISODATA聚类算法的单个聚类元素，并设置初始类簇中心K₀值，同类样本方差的阈值thetaS值，单类别最小样本数thetaN，小于此数目的样本就不会作为独立类簇，聚类中心之间距离的阈值thetaC，小于此数的两个类簇将进行合并，最大迭代次数maxIts；

2.2、通过聚类算法统计样本维度信息，将初始参数设置完成后，修改ISODATA聚类算法中元素到类簇中心的聚类公式为两个目标边框的IoU的值，其表达为：

dist_box,centriod＝1-IoU_box,centriod

运行ISODATA聚类算法得到的聚类中心的(w,h)的坐标就宽和高，然后将每个中心的w和h进行比值计算，得到候选锚框的宽高比参数。

3.如权利要求1或2所述的一种基于聚类生成候选锚框的细胞图像检测与分割方法，其特征在于，所述步骤3中，特征提取网络构建的步骤如下：

3.1、ResNet-50作为特征提取网络，将其定义为5个阶段C1-C5，分别是：conv1、conv2_x、conv3_x、conv4_x、conv5_x，其中第1个阶段conv1是由1个卷积核为7×7的卷积层构成，输出通道数为64，步长为2的卷积层，在卷积层后加入一个ReLu的激活函数，同时在C1和C2层之间加入一个步长为2的最大池化层，C2是由3个连续的残差结构组成，其中每个残差结构都由2个卷积核大小为1×1，步长为1，输出通道数分别为64和256的卷积层加上1个卷积核大小为3×3，步长为1，输出通道数为64的卷积层构成，其C2层最后卷积输出通道数为256；C3-C5阶段都是由与C2阶段中相同的残差结构组成，其残差数量和最后卷积输出通道数分别为(4，6，3)和(512，1024，2048)，同时在卷积和激活函数操作中均加入批量归一化操作；

3.2、FPN对提取的特征进行多尺度的融合，在ResNet-50的5个阶段中除去第一阶段的其他4个阶段提取到的特征进行自上而下连接和横向连接，分别定义为P2、P3、P4、P5。

Images