CN110021425B - 一种比较检测器及其构建方法与宫颈癌细胞检测方法 - Google Patents

Abstract

本发明提供一种比较检测器及其构建方法与宫颈癌细胞检测方法。应用该比较检测器进行宫颈癌细胞检测的方法如下：首先运用t‑SNE可视化方法选择类别的参考样本，然后运用比较检测器中由基础卷积网络和金字塔卷积网络构成的特征提取网络提取类别参考样本和目标检测图像的特征；接着运用参考样本处理模块对参考样本的提取特征进行处理得到每个类别的原型表达；同时运用区域推荐模块得到推荐区域并从相应的特征金字塔中得到特征。最后，通过将推荐区域的金字塔特征与类别的原型表达比较得到推荐区域的类别同时利用候选区域的特征对矩形框进行微调。该方法构建的是目标检测在小数据集上的目标检测网络，能减缓目标检测网络在小数据集上的过拟合问题。

Description

一种比较检测器及其构建方法与宫颈癌细胞检测方法

技术领域

本发明属于医学图像处理技术领域，具体涉及一种比较检测器及其构建方法与其在宫颈癌细胞检测中的应用，特别涉及一种适用于宫颈细胞显微图像处理的比较检测器及其构建方法与宫颈癌细胞检测方法。

技术背景

显微图像的宫颈细胞检测是医学实验室中最常见的筛查诊断实验之一。它能够辅助医师诊断宫颈是否发生癌变或者癌变程度的疾病，也是监测身体健康状况的重要指标。传统方法上采用人工阅片，由经验丰富的病理医生从每张液基涂片上数十万细胞中查找出若干病变细胞，不仅工作强度大，且诊断结果的准确性和可靠性容易受医生的主观因素等影响，不适合大规模推广使用。

人工宫颈癌筛选中存在的问题激发了大量宫颈癌筛选的显微图像自动化分析方法的产生。伴随计算机视觉和图像处理领域相关技术的发展，已有的自动化方法几乎都采用了多阶段的识别流程，即首先基于精确的目标分割生成多个候选区域，然后基于开发人员的工作经验和对问题的分析为候选区域全面提取多种有效的手工特征，最后还需选择并训练合适的分类器以完成最终的分类。因此，这些方法的表现很大程度上取决于各个阶段的有效实现和紧密配合，尤其是目标区域分割的精确性和手工特征设计的有效性。然而，宫颈显微图像的复杂特点使得精确的区域分割相当困难，同时这又进一步导致了提取的手工特征不具鉴别性，影响最终分类的性能。因此，近年来开发人员对于更好的宫颈癌自动筛选方案的需求也愈加迫切。例如：

对比文件1：CN108982500A公开一种用于液基细胞病理学的智能辅助阅片方法及系统。方法为：进行全玻片扫描，获得单张全玻片数字化显微图像；对全玻片数字化图像进行识别和分类，标记病变细胞区和重叠细胞区作为可疑标记区，以可疑标记区为中心生成探查区；移动玻片将探查区逐一送入成像视场内，进行多层面三维成像。系统包括电控二维载物台、Z 轴移动单元、玻片读码单元、显微镜、成像单元、三维成像，并将成像结果传送给图像处理控制台。该对比文件的方案通过只对预选的探查区进行多层面成像，能提供完整的三维信息，同时还能减小每张玻片的总成像时间。属于传统类型的多阶段宫颈癌筛方法。

对比文件2：CN107578411A公开一种基于计算机图像分析测试宫颈鳞状上皮细胞参数的方法，所述基于计算机图像分析测试宫颈鳞状上皮细胞参数的方法包括以下步骤：测试宫颈鳞状上皮细胞的色度学和几何学参数，计算纹理学参数；对测试结果进行比较分析，筛选有诊断价值的参数；对有诊断价值的参数进行逐步判别分析，建立判别函数，评价函数的判别效果。该对比文件提供的方案通过计算机医学图像分析系统客观、定量的描述细胞的形态结构变化，虽然这种方法可克服传统定性观察中的主观性，但是毕竟宫颈癌的病理特征是复杂的，仅仅只通过宫颈鳞状上皮细胞的色度学和几何学特征参数还是有一定的片面性和不准确性。

对比文件3：CN108693342A公开一种宫颈癌、子宫癌的检测方法及系统，其方法包括：获取阴道分泌物的显微图像；进行边缘检测，并填充边缘内部空隙，以形成完整的脱落细胞形状；再获得脱落细胞内的显微图像并进行边缘检测，得到细胞核；计算出脱落细胞的面积和弯曲度，则可判定为宫颈癌、子宫癌；计算出脱落细胞的椭圆度，当脱落细胞的椭圆度低于第一设定值时，则可判定为宫颈癌、子宫癌前病变；计算出脱落细胞核面积与脱落细胞面积之比，当脱落细胞核面积与脱落细胞面积之比高于第二设定值时，则可判定为宫颈癌、子宫癌前病变前期。该对比文件提供的方案是一种通过检测脱落细胞核与细胞面积之比来判断细胞是否有宫颈癌变或者子宫癌变的方法，但是通过单一检测脱落细胞核与细胞面积之比来判断细胞癌变也同样具有一定的片面性和不准确性。

与此同时，具备卓越表现的深度卷积神经网络(Convolutional NeuralNetworks，CNN)自复兴以来就受到了广泛的关注。当前，计算机视觉领域的很多最先进算法都采用了神经网络相关的深度学习技术。尤其在自然对象检测领域，以卷积神经网络为基础的检测框架不断改进，在速度和精度上已经能够满足很多的应用需求。但是，目前还没有看到其在宫颈癌自动筛选领域的研究和尝试。

基于以上，本发明拟提供一种适用于宫颈细胞显微图像处理的基于卷积神经网络建立的比较检测器及基于该比较检测器的宫颈癌细胞的检测方法。

发明内容

本发明要解决的技术问题是提供一种比较检测器及其构建方法与宫颈癌细胞检测方法。该比较检测器基于卷积神经网络构建，基于该比较检测器的检测方法将宫颈癌细胞的筛选/检测问题转换为物体的检测问题，通过构建全卷积的比较检测模型(比较检测器，或者称其为 Comparison detector，避免精确的区域分割阶段和手工特征提取过程，能针对宫颈癌筛选任务以一种端到端的有监督方式自主地进行特征提取、分类和定位的学习，能较大地提高检测效率，从而提高宫颈癌的筛选检测率。

为了解决上述技术问题，本发明采用以下技术方案：

首先，本发明提供一种比较检测器，包括依次连接的基础卷积网络、特征金字塔网络、参考样本处理模块、区域推荐模块、头部模块和预测结果筛选模块；

所述基础卷积网络，由多层卷积模块构建，其具体由若干阶段构成，随着阶段的增加，特征图的分辨率缩小，通道数增加，每个阶段由一定数量的卷积层组成；

所述特征金字塔网络，也由多层卷积模块构建，包括使用基础卷积网络的从第二个阶段开始到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到的相应的特征图；

所述区域推荐模块，用于对利用基础卷积网络与特征金字塔网络提取的目标检测图像的特征进行区域推荐处理，得到区域推荐；

所述参考样本处理模块，用于对利用基础卷积网络与特征金字塔网络提取的类别的参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

所述头部模块，包含目标识别模块与矩形框微调模块两个子模块，用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；所述目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域所在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；所述矩形框微调模块，用于利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；

所述预测结果筛选模块，用于依据设置的置信度阈值对预测框进行筛选。

进一步地，

所述类别的参考样本的获取方法如下：首先从对关键成分进行标注操作后的目标检测图像构建的训练集中抽取一定数量的样本并对其进行特征提取，然后利用t-SNE可视化将其降维到三维空间；最后选取每个类别中具有代表性的样本作为类别的参考样本。

进一步地，

类别的参考样本中的类别包括：非典型低级别鳞状细胞、非典型高级别鳞状细胞、低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型腺细胞、腺癌、滴虫、念珠菌中的一种或几种。

本发明还提供一种上述比较检测器的构建方法，包括如下步骤：

S1、构建比较检测器的基础卷积网络与特征金字塔网络结构：

采用多层卷积模块构建基础卷积网络和特征金字塔网络；

首先构建的基础卷积网络由若干阶段构成，随着阶段的增加，特征图的分辨率缩小，通道数增加，每个阶段由一定数量的卷积层组成；然后采用构建的基础卷积网络的从第二个阶段开始到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到相应的特征图，即为特征金字塔网络；

S2、构建比较检测器的区域推荐模块：

构建的区域推荐模块能首先按照特征金字塔每层特征图的尺寸大小对原始图像进行均匀网格划分，接着依次在每个网格的位置上根据固定的尺度和不同的比例设置获得多个默认矩形框，再将特征金字塔的特征输入到多层卷积滤波中进行滤波处理，得到每个默认矩形框为目标的置信度和默认矩形框到预测框的调整值，最后根据置性度选择一定数量的推荐区域；

S3、构建比较检测器的参考样本处理模块

构建的参考样本处理模块能将利用基础卷积网络与特征金字塔网络得到类别的参考样本的多层特征，通过缩放成相同比例和然后采用求均值的方法得到每个类别固定大小的原型表达，同时利用前景类别的原型表达通过卷积滤波的方法得到背景类的原型表达；

S4、构建比较检测器的头部模块：

构建的头部模块用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；头部模块包括目标识别模块和矩形框微调模块；

构建的目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；

构建的矩形框微调模块，利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；

S5、构建比较检测器的预测结果筛选模块：构建的预测结果筛选模块用于依据设置的置信度阈值对预测框进行筛选。

进一步地，

步骤S1中构建的基础卷积网络分为五个阶段，每个阶段由一定数量的卷积层组成；随着阶段的增加，特征图的长和宽都变缩减为原来的二分之一，通道数增加为原来的二倍；所述特征金字塔网络是使用基础卷积网络的从第二个阶段开始，到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到相应的特征图，特征金字塔总共有四层。

进一步地，

步骤S1中，基础卷积网络采用截去头部的网络层，包括全局池化层、全连接层和Softmax 层的残差卷积网络。

进一步地，

所述残差卷积网络为ResNet-50，包含五组卷积模块，具体形式如下：

Residual_Block＝[1×1CONV->ReLU->3×3CONV->ReLU->1×1CONV->ReLU]

INPUT->[7×7CONV->ReLU->POOL]->Residual_Block*3->Residual_Block*4->Residual_Block*6->Residual_Block*3

其中，INPUT在训练时代表尿沉渣图像和标注信息，*代表重复次数，CONV代表步长为 1的卷积层,1×1与3×3代表的是卷积核的大小，ReLU为非线性激活函数层，POOL代表池化区域，大小为2×2，步长为2的最大值池化层。

进一步地，

步骤S1中，所述特征金字塔网络中每层的特征由基础卷积网络Stage最后一层的输出与上一层金字塔的特征联合组成最终的特征图，具体形式如下：

[[TOP_Layer->UP_Sampling]+[Lateral_Layer->1×1CONV]]->[3×3CONV]

其中，TOP_Layer代表在特征金字塔上一层的特征图，UP_Sampling表示的是两倍的双线性差值上采样；Lateral_Layer代表相应Stage的最后一层的输出；CONV代表步长为1的卷积层。

进一步地，

步骤S2中构建的区域推荐模块最终卷积层的输出数目均为K×(C+SL)，其中，K代表以每个网格单元的中心点设置的默认矩形框数量，C代表预测目标类别数，SL代表记录每个默认矩形框的位置信息所使用的数据位数；

其中，默认矩形框和预测框的位置信息包括中心点坐标及宽和高。

进一步地，

步骤S3中，每个前景类别的原型表达采用下面的公式得到:

F_i＝S({F_i ^l})

其中：F_i表示第i类的原型表达，F_i ^l表示第i类在第l层特征金字塔上的特征，S(.)代表的是处理函数，在这里指的是将不同层的特征缩放到固定尺寸，同时求均值。

进一步地，

步骤S4中，构建的目标识别模块的准确数学表达采用下面公式：

其中p_i表示第m个推荐区域属于第i类的概率，d(·)表示度量函数，具体形式为 d(x,y)＝w*(x-y)，w为权重系数，F_i表示第i类的原型表达,P_m表示的是第m个推荐区域的特征。

进一步地，

步骤S4中，构建的矩形框微调模块的准确数学表达采用下面的公式：

b_i＝B(P_m)

其中b_i表示的第m个推荐区域第i类矩形框微调值，B(·)的具体实现形式为采两层卷积层，输出通道数据为SL，SL代表记录每个默认矩形框的位置信息所使用的数据位数。

本发明还提供一种基于上述比较检测器的宫颈癌细胞检测方法，包括如下步骤：

步骤1、构建宫颈显微图像的训练集和测试集：

采集宫颈显微图像(可以为任意的用于宫颈癌筛选检测的显微图像)并对其中的关键成分进行标注操作，随机选取经过标注操作后的宫颈显微图像构建训练集和测试集；

步骤2、根据t-SNE可视化结果选取参考样本：

首先从步骤1的训练集中随机抽取一定数量的样本，运用构建的比较检测器的基础卷积网络对样本进行特征提取，再利用t-SNE可视化将其降维到三维空间；最后，选取每类分布中具有代表性的样本作为类别的参考样本；

步骤3、训练优化比较检测器的检测网络，具体包括如下步骤：

S301、初始化检测网络的卷积权重参数：

基础卷积网络中的卷积权重参数的初始化值采用ImageNet(ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库)数据集上用于分类任务的预训练的CNN(卷积神经网络，Convolutional Neural Networks)模型参数；

所述非基础卷积网络中其他模块内的卷积权重参数的初始化值采用xavier随机初始化获得；

S302、设置检测网络的训练参数；

例如：输入图像的尺寸为1024×1024，单个GPU(图形处理器，GraphicsProcessing Unit) 上的小批量尺寸为2，学习率策略采用多步学习率策略，其步长为[80000 10000 120000]，初始学习率为0.01，gamma值为0.1，最大迭代次数为120000；

在进行参数训练时，控制每个批次中类别的数量，保证每个批次中检测目标至少有两类；

S303、获取训练优化后的网络预测模型；

在TensorFlow深度学习平台上，利用步骤1得到的训练集，结合步骤S301、步骤S302 设置的卷积权重参数的初始化值、训练参数，训练比较检测器的检测网络，迭代至最大迭代次数后获得优化后的用于宫颈癌筛选的网络预测模型；

步骤4、将目标检测图像与各类别的参考样本输入步骤S303得到的训练优化后的网络预测模型；

步骤5、利用构建的基础卷积网络与特征金字塔网络分别对输入的目标检测图像与类别的参考样本进行特征提取；

步骤6、利用区域推荐模块对步骤4提取的目标检测图像的特征进行区域推荐处理，得到区域推荐，利用推荐区域处的特征，对默认矩形框进行优化；

步骤7、同时，利用参考样本处理模块对步骤4提取的类别的参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

步骤8、头部模块接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果，所述预测结果包括目标检测图像中包含的各类关键成分的类别以及所在的矩形框的位置，具体如下：

一方面，头部模块的目标识别模块，利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；

另一方面，头部模块的矩形框微调模块，利用推荐区域的特征对得到的相应矩形框进行优化，具体是通过卷积层来得到相应矩形框的微调结果；

步骤9、通过预测结果筛选模块采用非极大值阈值的方法，对预测结果进行处理，得到最终检测结果。

进一步地，

步骤9中，预测结果筛选模块的处理过程具体如下：

(1)将置信度低于0.7的所有预测框均删除，得到第一剩余预测框组；用于去除大部分无用的预测；

(2)依据设定的交并比IoU阈值0.3，采用非极大值抑制处理分类别去除预测框的重叠框，从第一剩余预测框组中筛选出置信度较高的第二剩余预测框组。

进一步地，

步骤1中，对宫颈显微图像中的关键成分进行标注操作是指由经过系统培训的专业人员对宫颈显微图像中的关键成分所在的区域进行矩形框标注，并记录各矩形框的中心坐标位置、宽和高，以及矩形框中目标的类别。

进一步地，

步骤1中，宫颈显微图像的关键成分的类别包括非典型低级别鳞状细胞，非典型高级别鳞状细胞，低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型腺细胞、腺癌、滴虫以及念珠菌九类。

优选地，

步骤5中，构建的基础卷积网络分为五个阶段，每个阶段由一定数量的卷积层组成；随着阶段的增加，特征图的长和宽都变缩减为原来的二分之一，通道数增加为原来的二倍；构建的特征金字塔网络是使用基础卷积网络的从第二个阶段开始，到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到相应的特征图，因此特征金字塔总共有四层。

进一步地，

步骤5中，构建的基础卷积网络采用截去头部的全局池化层、全连接层和Softmax层的残差卷积网络。

优选地，所述残差卷积网络为ResNet-50，包含五组卷积模块，具体形式如下：

Residual_Block＝[1×1CONV->ReLU->3×3CONV->ReLU->1×1CONV->ReLU]

INPUT->[7×7CONV->ReLU->POOL]->Residual_Block*3->Residual_Block*4->Residual_Block*6->Residual_Block*3

其中，INPUT在训练时代表尿沉渣图像和标注信息，*代表重复次数，CONV代表步长为 1的卷积层,1×1与3×3代表的是卷积核的大小，ReLU为非线性激活函数层，POOL代表池化区域，大小为2×2，步长为2的最大值池化层。

进一步地，

步骤5中，构建的特征金字塔网络中每层的特征由基础卷积网络Stage最后一层的输出与上一层金字塔的特征联合组成最终的特征图，具体形式如下：

[[TOP_Layer->UP_Sampling]+[Lateral_Layer->1×1CONV]]->[3×3CONV]

其中，TOP_Layer代表在特征金字塔上一层的特征图，UP_Sampling表示的是两倍的双线性差值上采样。Lateral_Layer代表相应Stage的最后一层的输出。CONV代表步长为1的卷积层。

进一步地，

步骤6中，区域推荐模块最终卷积层的输出数目均为K×(C+SL)，其中，K代表以每个网格单元的中心点设置的默认矩形框数量，C代表预测目标类别数，SL代表记录每个默认矩形框的位置信息所使用的数据位数；

其中，默认矩形框和预测框的位置信息包括中心点坐标及宽和高。

进一步地，

步骤7中，每个前景类别的原型表达采用下面的公式得到:

F_i＝S({F_i ^l})

其中：F_i表示第i类的原型表达，F_i ^l表示第i类在第l层特征金字塔上的特征，S(.)代表的是处理函数，在这里指的是将不同层的特征缩放到固定尺寸，同时求均值。

进一步地，

步骤8中，目标识别模块的准确数学表达采用下面公式：

其中p_i表示第m个推荐区域属于第i类的概率，d(·)表示度量函数，具体形式为 d(x,y)＝w*(x-y)，w为权重系数，F_i表示第i类的原型表达,P_m表示的是第m个推荐区域的特征。

进一步地，

步骤8中，矩形框微调模块的准确数学表达采用下面的公式：

b_i＝B(P_m)

其中b_i表示的第m个推荐区域第i类矩形框微调值，B(·)的具体实现形式为采两层卷积层，输出通道数据为SL，SL代表记录每个默认矩形框的位置信息所使用的数据位数。

进一步地，

步骤S301中，随机初始化参数满足如下均匀分布：

其中m、n分别代表所在卷积层的输入、输出维度。

进一步地，

步骤3中，

步骤S303的训练过程中，计算每个默认矩形框调整到预测框和被分类到具体有形成分的过程对应的损失函数，以所有默认矩形框对应的损失函数和分类损失函数最小时，确定检测网络的卷积权重参数。

进一步地，

步骤8中，所述矩形框位置包括中心点坐标及宽和高。

本发明的上述方案中：

1、训练集与测试集：在机器学习和模式识别等领域中，一般需要将样本分成独立的三部分训练集(train set)，验证集(validation set)和测试集(test set)。其中训练集用来估计模型，验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选择最优的模型的性能如何。

2、t-SNE(t-distributedstochastic neighbor embedding)：是目前最为流行的一种高维数据降维的算法。在大数据的时代，数据不仅越来越大，而且也变得越来越复杂，数据维度的转化也在惊人的增加，例如，一组图像的维度就是该图像的像素个数，其范围从数千到数百万。对计算机而言，处理高维数据绝对没问题，但是人类能感知的确只有三个维度，因此很有必要将高维数据可视化的展现出来。

3、Softmax：在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。Softmax函数实际上是有限项离散概率分布的梯度对数归一化。

4、Residual_Block：残差块，残差网络通过加入shortcut connections，变得更加容易被优化。包含一个shortcut connection的几层网络被称为一个残差块(residualblock)。

5、TensorFlow：是一个基于数据流编程(dataflow programming)的符号数学系统，被广泛应用于各类机器学习(machine learning)算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU 和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。

6、置信度：也叫置信水平。它是指特定个体对待特定命题真实性相信的程度.也就是概率是对个人信念合理性的量度。置信水平是指总体参数值落在样本统计值某一区内的概率；而置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围，置信区间越大，置信水平越高。

7、卷积神经网络：Convolutional Neural Networks，简称CNN，是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。

8、ImageNet：是一个大型的视觉图片数据库，主要用于图像识别的研究。其中包括了超过1400万张人工图片。是图像识别研究中重要数据库之一。

9、Xavier随机初始化：一种用于初始化神经网络权重的方法。普遍应用于各种神经网络 权重的初始化。

10、目标检测特征金字塔模型：是目前二阶段目标检测模型中性能最优的模型之一。

有益效果

1、本发明提出一种运用目标检测方法对宫颈细胞显微图像进行检测，从而实现对宫颈癌筛选的方法，本发明其将宫颈癌筛选问题转换成关键成分物体的检测问题。本发明首先构建一种比较检测器(Comparison detector)，该比较检测器通过构建全卷积的识别框架，能避免精确的区域分割阶段和手工特征提取过程，针对宫颈癌关键成分的识别任务以一种端到端的有监督方式自主地进行特征提取、分类和定位的学习。最终，在构建的宫颈癌筛选小数据集上进行训练，然后在测试集上对非典型低级别鳞状细胞，非典型高级别鳞状细胞，低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型腺细胞、腺癌、滴虫以及念珠菌九类关键成分的预测结果进行评估，训练得到的模型能获得相较于目标检测特征金字塔模型更好的性能，其能提高10个mAP(mean average precision，简称mAP)点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是传统的多阶段宫颈癌筛选的流程图(现有技术)；

图2是本发明实施例基于比较检测器的端到端宫颈癌筛选的流程简图；

图3是本发明实施例比较检测器的结构直观图；

图4是本发明实施例比较检测器的结构细节图；

图5是本发明实施例应用比较检测器进行宫颈癌细胞检测的方法流程图；

图6是本发明实施例背景类原型表达生成细节图；

图7是本发明实施例比较检测器头部模块细节图；

图8是本发明实施例默认矩形框机制图；

图9是本发明实施例的一个测试样例示意图，其中，图9中的(a)为专家标注图，图9中的(b)为应用本发明所述方法的检测结果图。

具体实施方式

为了更好地阐述该发明的内容，下面通过具体实施例对本发明进一步的验证。特在此说明，实施例只是为更直接地描述本发明，它们只是本发明的一部分，不能对本发明构成任何限制。

如图1所示，现有的宫颈癌显微图像自动化筛选检测方法采用传统的多阶段识别流程，包括分割，手工特征提取和分类器训练三个主要阶段。尽管每个阶段都有大量的算法可供选择，但这些算法对于尿沉渣显微图像的表现很大程度上取决于各个阶段的适用性改良和紧密配合，其中目标区域分割的精确性和手工特征设计的有效性尤为关键。

如图2所示，本发明实施例将尿沉渣有形成分识别作为物体的检测问题，通过构建全卷积的比较检测器Comparison detector框架，将分割，特征提取和分类有效整合到一个网络中，同时网络还能减缓在小数据集上产生的过拟合问题。这种端到端的检测方法不仅能大大简化算法开发的复杂性，还可以针对宫颈癌关键成分进行检测的特定任务以一种有监督方式自主地进行特征提取、分类和定位的学习。

实施例1比较检测器(Comparison detector)实施例

如图2～图9所示，本实施例提供一种比较检测器，包括依次连接的基础卷积网络、特征金字塔网络、参考样本处理模块、区域推荐模块、头部模块和预测结果筛选模块；

所述基础卷积网络，由多层卷积模块构建，其具体由若干阶段构成，随着阶段的增加，特征图的分辨率缩小，通道数增加，每个阶段由一定数量的卷积层组成；

所述特征金字塔网络，也由多层卷积模块构建，包括使用基础卷积网络的从第二个阶段开始到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到的相应的特征图；

所述区域推荐模块，用于对利用基础卷积网络与特征金字塔网络提取的目标检测图像的特征进行区域推荐处理，得到区域推荐；

所述参考样本处理模块，用于对利用基础卷积网络与特征金字塔网络提取的类别参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

所述头部模块，包含目标识别模块与矩形框微调模块两个子模块，用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；所述目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域所在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；所述矩形框微调模块，用于利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；

所述预测结果筛选模块，用于依据设置的置信度阈值对预测框进行筛选。

实施例2实施例1的比较检测器的构建方法实施例

本实施例提供的比较检测器(Comparison detector)的构建方法包括如下步骤：

S1、构建比较检测器的基础卷积网络与特征金字塔网络结构：

采用多层卷积模块构建基础卷积网络和特征金字塔网络；

首先构建的基础卷积网络由5个阶段构成，每个阶段由一定数量的卷积层组成；随着阶段的增加，特征图的长和宽都变缩减为原来的二分之一，通道数增加为原来的二倍；在本实施例中，特征图的大小分别是512，256，128，64，32个像素的边长。

基础卷积网络采用截去头部的网络层，包括全局池化层、全连接层和Softmax层的残差卷积网络ResNet-50，其包含五组卷积模块，具体形式如下：

Residual_Block＝[1×1CONV->ReLU->3×3CONV->ReLU->1×1CONV->ReLU]

INPUT->[7×7CONV->ReLU->POOL]->Residual_Block*3->Residual_Block*4->Residual_Block*6->Residual_Block*3

其中，INPUT在训练时代表尿沉渣图像和标注信息，*代表重复次数，CONV代表步长为 1的卷积层,1×1与3×3代表的是卷积核的大小，ReLU为非线性激活函数层，POOL代表池化区域，大小为2×2，步长为2的最大值池化层。

本实施例中，所述特征金字塔网络中每层的特征由基础卷积网络Stage最后一层的输出与上一层金字塔的特征联合组成最终的特征图，特征金字塔总共有四层，分别是P2,P3,P4,P5；具体形式如下：

[[TOP_Layer->UP_Sampling]+[Lateral_Layer->1×1CONV]]->[3×3CONV]

其中，TOP_Layer代表在特征金字塔上一层的特征图，UP_Sampling表示的是两倍的双线性差值上采样；Lateral_Layer代表相应Stage的最后一层的输出；CONV代表步长为1的卷积层。

S2、构建比较检测器的区域推荐模块：

构建的区域推荐模块通过如下方法获得：首先按照特征金字塔每层特征图的尺寸大小对原始图像进行均匀网格划分，接着依次在每个网格的位置上根据固定的尺度和不同的比例设置获得多个默认矩形框，再将特征金字塔的特征输入到多层卷积滤波中进行滤波处理，得到每个默认矩形框为目标的置信度和默认矩形框到预测框的调整值，最后根据置性度选择一定数量的推荐区域；

本实施例中，默认矩形框的设置如图5所示，按照特征金字塔每层特征图的尺寸大小对原始图像进行均匀网格划分，接着依次在每个网格的位置上根据固定的尺度和三种不同的比例设置获得三个默认矩形框，比例分别为1:1，1:2，2:1；

区域推荐模块最终卷积层的输出数目均为K×(C+SL)，其中，K代表以每个网格单元的中心点设置的默认矩形框数量，C代表预测目标类别数，SL代表记录每个默认矩形框的位置信息所使用的数据位数；其中，默认矩形框和预测框的位置信息包括中心点坐标及宽和高。

具体细节如图4所示，特征金字塔网络不同层级的区域推荐模块相同且参数共享。

S3、构建比较检测器的参考样本处理模块

如图4所示，构建的参考样本处理模块能将利用基础卷积网络与特征金字塔网络得到类别的参考样本的多层特征，通过缩放成相同比例和然后采用求均值的方法得到每个类别固定大小的原型表达；

每个前景类别的原型表达采用下面的公式得到:

F_i＝S({F_i ^l})

其中：F_i表示第i类的原型表达，F_i ^l表示第i类在第l层特征金字塔上的特征，S(.)代表的是处理函数，在这里指的是将不同层的特征缩放到固定尺寸，同时求均值。

同时利用前景类别的原型表达通过卷积滤波的方法得到背景类的原型表达；具体细节如图6所示，将前景类别的原型表达通过转换，变形，然后利用卷积得到背景类的原型表达，再将前景与背景类的原型表达组合在一起，得到所有类别的原型表达；

其中K表示的类别数，包括背景类；H，W和C分别代表特征的高，宽和通道数。

S4、构建比较检测器的头部模块：

头部模块包括目标识别模块和矩形框微调模块；构建的头部模块用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；且不同层的头部模块结构相同模块共享；

构建的目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；目标识别模块的准确数学表达采用下面公式：

其中p_i表示第m个推荐区域属于第i类的概率，d(·)表示度量函数，具体形式为 d(x,y)＝w*(x-y)，w为权重系数，F_i表示第i类的原型表达,P_m表示的是第m个推荐区域的特征。

构建的矩形框微调模块，利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；矩形框微调模块的准确数学表达采用下面的公式：

b_i＝B(P_m)

其中b_i表示的第m个推荐区域第i类矩形框微调值，B(·)的具体实现形式为采两层卷积层，输出通道数据为SL，SL代表记录每个默认矩形框的位置信息所使用的数据位数。

本实施例的具体细节如图7所示，目标检测模块是类别将原型表达与推荐区域的特征相减，然后再使用7x7的卷积对其进行参数化的处理，得到最终推荐区域与每个类别的相似程度；矩形框微调模块则是直接利用三个神经元个数为1024，1024与K*SL的全连接层得出最后的结果。

S5、构建比较检测器的预测结果筛选模块：构建的预测结果筛选模块用于依据设置的置信度阈值对预测框进行筛选。

实施例3通过实施例2的方法构建的实施例1所述比较检测器在宫颈癌细胞检测中的应用实施例

如图2～图9所示，本实施例提供一种基于上述比较检测器的宫颈癌细胞检测方法，包括如下步骤：

步骤1、构建宫颈显微图像的训练集和测试集：

采集宫颈显微图像并对宫颈显微图像中的关键成分进行标注操作，随机选取经过标注操作后的宫颈显微图像构建训练集和测试集；

对宫颈显微图像中的关键成分进行标注操作是指由经过系统培训的专业人员对宫颈显微图像中的关键成分所在的区域进行矩形框标注(如图9中的(a)所示)，并记录各矩形框的中心坐标位置、宽和高，以及矩形框中目标的类别；

宫颈显微图像的关键成分包括非典型低级别鳞状细胞，非典型高级别鳞状细胞，低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型腺细胞、腺癌、滴虫以及念珠菌九类；

步骤2、根据t-SNE可视化结果选取参考样本：

首先从步骤1的训练集中随机抽取一定数量的样本，运用构建的比较检测器的基础卷积网络对样本进行特征提取，再利用t-SNE可视化将其降维到三维空间；最后，选取每类分布中具有代表性的样本作为类别的参考样本；

步骤3、训练优化比较检测器的检测网络(在具体应用前，需要对比较检测器模型进行训练优化)，具体包括如下步骤：

S301、初始化检测网络的卷积权重参数：

基础卷积网络中的卷积权重参数的初始化值采用ImageNet数据集上用于分类任务的预训练的CNN模型参数；

所述非基础卷积网络中其他模块内的卷积权重参数的初始化值采用xavier随机初始化获得；

使得随机初始化参数满足如下均匀分布：

其中m和n分别代表所在卷积层的输入和输出维度；

S302、设置检测网络的训练参数；

例如：输入图像的尺寸为1024×1024，单个GPU上的小批量尺寸为2，学习率策略采用多步学习率策略，其步长为[80000 10000 120000]，初始学习率为0.01，gamma值为0.1，最大迭代次数为120000；

在进行参数训练时，控制每个批次中类别的数量，保证每个批次中检测目标至少有两类；

S303、获取训练优化后的网络预测模型；

在TensorFlow深度学习平台上，利用步骤1得到的训练集，结合步骤S301、步骤S302 设置的卷积权重参数的初始化值、训练参数，训练比较检测器的检测网络，迭代至最大迭代次数后获得优化后的用于宫颈癌筛选的网络预测模型；

步骤4、将目标检测图像与各类别的参考样本输入步骤S303得到的训练优化后的网络预测模型；

步骤5、利用构建的基础卷积网络与特征金字塔网络分别对输入的目标检测图像与类别的参考样本进行特征提取；

步骤6、利用区域推荐模块对步骤4提取的目标检测图像的特征进行区域推荐处理，得到区域推荐，利用推荐区域处的特征，对默认矩形框进行优化；

步骤7、同时，利用参考样本处理模块对步骤4提取的类别的参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

步骤8、头部模块接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果，所述预测结果包括目标检测图像中包含的各类关键成分的类别以及所在的矩形框的位置，具体如下：

一方面，头部模块的目标识别模块，利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；

另一方面，头部模块的矩形框微调模块，利用推荐区域的特征对得到的相应矩形框进行优化，具体是通过卷积层来得到相应矩形框的微调结果；

步骤9、通过预测结果筛选模块采用非极大值阈值的方法，对预测结果进行处理，得到最终检测结果；

预测结果筛选模块的处理过程具体如下：

(1)将置信度低于0.7的所有预测框均删除，得到第一剩余预测框组；用于去除大部分无用的预测；

(2)依据设定的交并比IoU阈值0.3，采用非极大值抑制处理分类别去除预测框的重叠框，从第一剩余预测框组中筛选出置信度较高的第二剩余预测框组。

如图9中的(a)所示，其是一张测试图片的专家标注结果，图9中的(b)是图9中的(a)所用的原始显微图像经训练好的比较检测器模型的预测结果，其置信度阈值设定为0.7，即仅显示置信度大于0.7的预测结果。两张图片对比可知，在置信度设置很高的情况下本发明方法基本可以正确检测图片中的所有目标。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种比较检测器，其特征在于，包括依次连接的基础卷积网络、特征金字塔网络、参考样本处理模块、区域推荐模块、头部模块和预测结果筛选模块；

所述基础卷积网络，由多层卷积模块构建，其具体由若干阶段构成，随着阶段的增加，特征图的分辨率缩小，通道数增加，每个阶段由多层卷积层组成；

所述特征金字塔网络，也由多层卷积模块构建，包括使用基础卷积网络的从第二个阶段开始到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到的相应的特征图；

所述区域推荐模块，用于对利用基础卷积网络与特征金字塔网络提取的目标检测图像的特征进行区域推荐处理，得到区域推荐；

所述参考样本处理模块，用于对利用基础卷积网络与特征金字塔网络提取的类别的参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

所述头部模块，包含目标识别模块与矩形框微调模块两个子模块，用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；所述目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域所在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；所述矩形框微调模块，用于利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；

所述预测结果筛选模块，用于依据设置的置信度阈值对预测框进行筛选。

2.根据权利要求1所述的比较检测器，其特征在于，所述类别的参考样本的获取方法如下：首先从对关键成分进行标注操作后的目标检测图像构建的训练集中抽取预设数量的样本并对其进行特征提取，然后利用t-SNE可视化将其降维到三维空间；最后选取每个类别中具有代表性的样本作为类别的参考样本。

3.根据权利要求2所述的比较检测器，其特征在于，类别的参考样本中的类别包括：非典型低级别鳞状细胞、非典型高级别鳞状细胞、低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型腺细胞、腺癌、滴虫、念珠菌中的一种或几种。

4.权利要求1-3任意一项所述比较检测器的构建方法，其特征在于，包括如下步骤：

S1、构建比较检测器的基础卷积网络与特征金字塔网络结构：

采用多层卷积模块构建基础卷积网络和特征金字塔网络；

首先构建的基础卷积网络由若干阶段构成，随着阶段的增加，特征图的分辨率缩小，通道数增加，每个阶段由多层卷积层组成；然后采用构建的基础卷积网络的从第二个阶段开始到最后一个阶段的，每个阶段的最后一层特征和其上方的特征联合得到相应的特征图，即为特征金字塔网络；

S2、构建比较检测器的区域推荐模块：

构建的区域推荐模块能首先按照特征金字塔每层特征图的尺寸大小对原始图像进行均匀网格划分，接着依次在每个网格的位置上根据固定的尺度和不同的比例设置获得多个默认矩形框，再将特征金字塔的特征输入到多层卷积滤波中进行滤波处理，得到每个默认矩形框为目标的置信度和默认矩形框到预测框的调整值，最后根据置性度选择相当数量的推荐区域；

S3、构建比较检测器的参考样本处理模块

构建的参考样本处理模块能将利用基础卷积网络与特征金字塔网络得到类别的参考样本的多层特征，通过缩放成相同比例和然后采用求均值的方法得到每个类别固定大小的原型表达，同时利用前景类别的原型表达通过卷积滤波的方法得到背景类的原型表达；

S4、构建比较检测器的头部模块：

构建的头部模块用于接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果；头部模块包括目标识别模块和矩形框微调模块；

构建的目标识别模块，用于利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；

构建的矩形框微调模块，利用推荐区域的特征通过卷积层来得到相应矩形框的微调结果；

S5、构建比较检测器的预测结果筛选模块：构建的预测结果筛选模块用于依据设置的置信度阈值对预测框进行筛选。

5.根据权利要求4所述的比较检测器的构建方法，其特征在于，

步骤S1中，基础卷积网络采用截去头部的网络层，包括全局池化层、全连接层和Softmax层的残差卷积网络。

6.根据权利要求4所述的比较检测器的构建方法，其特征在于，

步骤S3中，每个前景类别的原型表达采用下面的公式得到:

F_i＝S({F_i ^l})

其中：F_i表示第i类的原型表达，F_i ^l表示第i类在第l层特征金字塔上的特征，S(.)代表的是处理函数，在这里指的是将不同层的特征缩放到固定尺寸，同时求均值。

7.根据权利要求4所述的比较检测器的构建 方法，其特征在于，

步骤S4中，目标识别模块的准确数学表达采用下面公式：

其中p_i表示第m个推荐区域属于第i类的概率，d(·)表示度量函数，具体形式为d(x,y)＝w*(x-y)，w为权重系数，F_i表示第i类的原型表达,P_m表示的是第m个推荐区域的特征；

步骤S4中，矩形框微调模块的准确数学表达采用下面的公式：

b_i＝B(P_m)

其中b_i表示的第m个推荐区域第i类矩形框微调值，B(·)的具体实现形式为采两层卷积层，输出通道数据为SL，SL代表记录每个默认矩形框的位置信息所使用的数据位数。

8.一种基于权利要求1-3任意一项所述比较检测器的宫颈癌细胞检测方法，其特征在于，包括如下步骤：

步骤1、构建宫颈显微图像的训练集和测试集：

采集宫颈显微图像并对宫颈显微图像中的关键成分进行标注操作，随机选取经过标注操作后的宫颈显微图像构建训练集和测试集；

步骤2、根据t-SNE可视化结果选取参考样本：

首先从步骤1的训练集中随机抽取预设数量的样本，运用构建的比较检测器的基础卷积网络对样本进行特征提取，再利用t-SNE可视化将其降维到三维空间；最后，选取每类分布中具有代表性的样本作为类别的参考样本；

步骤3、训练优化所述比较检测器的检测网络，具体包括如下步骤：

S301、初始化检测网络的卷积权重参数：

基础卷积网络中的卷积权重参数的初始化值采用ImageNet数据集上用于分类任务的预训练的CNN模型参数；

非基础卷积网络中其他模块内的卷积权重参数的初始化值采用xavier随机初始化获得；

S302、设置检测网络的训练参数：在进行参数训练时，控制每个批次中类别的数量，保证每个批次中检测目标至少有两类；

S303、获取训练优化后的网络预测模型；

在TensorFlow深度学习平台上，利用步骤1得到的训练集，结合步骤S301、步骤S302设置的卷积权重参数的初始化值、训练参数，训练比较检测器的检测网络，迭代至最大迭代次数后获得优化后的用于宫颈癌筛选的网络预测模型；

步骤4、将目标检测图像与各类别的参考样本输入步骤S303得到的训练优化后的网络预测模型；

步骤5、利用构建的基础卷积网络与特征金字塔网络分别对输入的目标检测图像与类别的参考样本进行特征提取；

步骤6、利用区域推荐模块对步骤4提取的目标检测图像的特征进行区域推荐处理，得到区域推荐，利用推荐区域处的特征，对默认矩形框进行优化；

步骤7、同时，利用参考样本处理模块对步骤4提取的类别的参考样本的特征进行处理，得到类别的原型表达，同时生成背景类的原型表达；

步骤8、头部模块接收区域推荐模块与参考样本处理模块的结果，得出相应的预测结果，所述预测结果包括目标检测图像中包含的各类关键成分的类别以及所在的矩形框的位置，具体如下：

一方面，头部模块的目标识别模块，利用度量函数将所有类别的原型表达与推荐区域在特征金字塔处的特征进行度量，然后根据度量结果判定推荐区域的类别；

另一方面，头部模块的矩形框微调模块，利用推荐区域的特征对得到的相应矩形框进行优化，具体是通过卷积层来得到相应矩形框的微调结果；

步骤9、通过预测结果筛选模块采用非极大值阈值的方法，对预测结果进行处理，得到最终检测结果。

9.根据权利要求8所述的宫颈癌细胞检测方法，其特征在于，

步骤9中，预测结果筛选模块的处理过程具体如下：

(1)将置信度低于0.7的所有预测框均删除，得到第一剩余预测框组；

(2)依据设定的交并比IoU阈值0.3，采用非极大值抑制处理分类别去除预测框的重叠框，进一步从第一剩余预测框组中筛选出第二剩余预测框组，第二剩余预测框组具有比第一剩余预测框组具有更高的置信度。

10.根据权利要求8所述的宫颈癌细胞检测方法，其特征在于，

步骤S303的训练过程中，计算每个默认矩形框调整到预测框和被分类到具体有形成分的过程对应的损失函数，以所有默认矩形框对应的损失函数和分类损失函数最小时，确定检测网络的卷积权重参数。

Images