CN116402796A - 一种融合全局和局部对比信息的宫颈细胞识别方法 - Google Patents

Abstract

一种融合全局和局部对比信息的宫颈细胞识别方法，本发明涉及宫颈细胞识别。为了解决病人个体差异影响宫颈细胞的类别判断，难以利用单一图像特征实现宫颈细胞的精准细粒度分类的问题。宫颈细胞病变是一个渐进的过程，各个类别间没有明确得边界，类别间相似度大，且容易受到个体差异的影响，单一图像特征难以实现宫颈细胞的精准细粒度分类。为改善这一问题，本发明提出一种融合全局和局部对比信息的宫颈细胞识别方法，将病理医生通过对比正常中层鳞状上皮宫颈细胞，观察判断异常宫颈细胞的过程转化为计算机模型推理过程。实验表明，该方法有效降低了异常宫颈细胞识别的假阳性率，提高了宫颈细胞检测准确率、敏感度和特异度，为自动阅片系统提供关键技术支撑，帮助医生更早地发现癌细胞并准确评估病变级别。本发明主要应用于宫颈细胞病理检测中异常宫颈细胞识别。

Description

一种融合全局和局部对比信息的宫颈细胞识别方法

技术领域

本发明涉及宫颈细胞识别。

背景技术

宫颈癌是全球女性健康的最大杀手之一，每两分钟就有一名女性死于宫颈癌。由于我国人口基数大、诊疗资源不足，已成为宫颈癌的高发区和重灾区。宫颈癌的潜伏期长、早期无症状，常常因发现不及时错过了最佳治疗时间，这是宫颈癌死亡率居高不下的根本原因。因此，早发现早治疗是目前应对宫颈癌的有效手段。传统的细胞病理诊断完全依赖于医生“手动操作、肉眼观察”，存在两大痛点：病理医生诊断准确率低，存在大量的误诊和漏诊。病理诊断的工作量大，癌症筛查无法大面积推广。这使得宫颈癌的早发现早治疗难以实现。病理学检查是目前具有确诊意义的检查手段，细胞病理诊断通过采集人体脱落细胞制片染色，然后由病理医生在镜下观察寻找异常细胞后做出诊断。细胞病理诊断取材简单，应用广泛，特别适合宫颈癌早期诊断和筛查，值得大面积推广。

近年来，随着图像处理和人工智能技术的发展，病理自动阅片技术应运而生。该技术采集宫颈细胞病理玻片的全景图像，然后采用图像处理和识别技术进行分析测量，最后找出异常细胞并给出分类结果，供医生复核。与传统方法相比，该技术只需要医生复核系统挑选出来的少数异常细胞，能有效降低医生的工作量，提高癌症诊断的准确率。但是，宫颈细胞病变是一个渐进的过程，各个类别间没有明确得边界，类别间相似度大，且容易受到个体差异的影响，这使得目前方法难以满足现实应用的需求。因此，本发明提出一种融合全局和局部对比信息的宫颈细胞识别方法，通过基于对比学习的预训练模型提取宫颈细胞图像的局部特征，基于Transformer的编解码结构实现同一个样本下的异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像的互相关操作，在端到端的模型中实现了两者在全局和丰富的上下文信息中的对比，提高了宫颈细胞分类的准确性和鲁棒性。

发明内容

本发明的目的是为了解决病人个体差异影响宫颈细胞的类别判断，难以利用单一图像特征实现宫颈细胞的精准细粒度分类的问题，从而提出一种融合全局和局部对比信息的宫颈细胞识别方法。

上述发明目的主要是通过以下技术方案实现的：

S1、准备异常宫颈细胞检测训练数据、正常中层鳞状上皮宫颈细胞检测训练数据和正常宫颈细胞核与细胞质分割训练数据；

首先，收集大量的宫颈细胞病理涂片，并使用扫描仪对涂片扫描，获得宫颈细胞病理涂片的全景图像。然后，邀请病理医生使用ASAP软件进行检测数据标注，对诊断为阳性的全景图像标注异常宫颈细胞，对诊断为阴性的全景图像标注正常中层鳞状上皮宫颈细胞；接着，根据病理医生的标注信息，从全景图像中随机位置裁剪一定大小的图像，并保证每张图像中标注信息完整，阳性全景图像中裁剪的图像和对应的标注信息作为异常宫颈细胞检测训练数据，阴性全景图像中裁剪的图像和对应的标注信息作为正常中层鳞状上皮宫颈细胞检测训练数据；最后，从阴性全景图像中裁剪出医生标注的宫颈细胞图像，再人工使用LabelImg软件标注出宫颈细胞图像的细胞核和细胞质轮廓，标注完成后的数据作为正常宫颈细胞核和细胞质分割训练数据。

S2、训练异常宫颈细胞检测模型、正常中层鳞状上皮宫颈细胞检测模型、正常宫颈细胞核和细胞质分割模型；

使用YOLO v5原始网络结构作为检测模型网络结构，分别将异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测训练数据输入检测模型网络结构中训练，得到异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测模型；使用solo v2原始网络结构作为分割模型网络结构，将正常宫颈细胞核和细胞质分割训练数据输入分割模型网络结构中训练，得到正常宫颈细胞核和细胞质分割模型。

S3、提取正常中层鳞状上皮宫颈细胞图像手工特征；

首先，将全景图像依次不重叠的裁剪为一定大小的图像，并利用正常中层鳞状上皮宫颈细胞检测模型预测已裁剪的图像，根据预测结果信息可获得该全景图像中正常中层鳞状上皮宫颈细胞图像；然后，利用分割模型预测正常中层鳞状上皮宫颈细胞图像中细胞核与细胞质轮廓信息；接着，通过轮廓信息计算正常中层鳞状上皮宫颈细胞图像手工特征，包括细胞核面积、细胞核圆度、核质比和图像清晰度，计算公式如下：

式中，A_nu为细胞核面积，S_nu为细胞核区域，p_i为细胞核区域的某个像素点，细胞核面积则为细胞核区域内像素点数之和；

式中，R_nu为细胞核圆度，L_nu为细胞核周长，即细胞核轮廓长度；

式中，N_c-ratio为细胞核质比，A_cy为细胞质面积，即细胞质区域内像素点数之和；

式中，d_i为图像F_i的清晰度，t为控制检测计算灵敏度的阈值，G(x,y)为图像F_i在(x,y)处的梯度值，定义如下：

G_x(x,y)与G_y(x,y)为图像F_i在(x,y)处的水平和垂直方向的梯度值，其计算公式如下：

S4、利用手工特征筛选正常中层鳞状上皮宫颈细胞；

根据《宫颈细胞学Bethesda报告系统》中明确定义的正常中层鳞状上皮宫颈细胞判读标准，设计正常中层鳞状上皮宫颈细胞筛选模块；首先，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，获得单张全景图像中检测出的所有正常鳞状上皮宫颈细胞图像集合和对应的手工特征；然后，由于正常中层鳞状上皮宫颈细胞核相比正常表层鳞状上皮宫颈细胞核更加圆润、染色质细腻和面积大，利用细胞核面积、细胞核圆度和核质比可筛除与中层鳞状上皮宫颈细胞相似的表层鳞状上皮宫颈细胞，通过细胞核面积由小至大将单张全景图像中的正常中层鳞状上皮宫颈细胞图像重新排列，将排列划分为N份，筛除图像集合中细胞核面积较小的n(0＜n＜N)份正常中层鳞状上皮宫颈细胞图像，通过细胞核圆度大于细胞核圆度阈值和核质比小于核质比阈值再次筛选剩下的正常中层鳞状上皮宫颈细胞图像；最后，使用图像清晰度由小至大将筛选后的正常中层鳞状上皮宫颈细胞图像再次重新排列，将排列划分为M份，筛除图像集合中图像清晰度较小的m(0＜m＜M)份正常中层鳞状上皮宫颈细胞图像，最终剩余的正常中层鳞状上皮宫颈细胞图像则成为该张全景图像中异常宫颈细胞图像的对比图像。

S5、构建并训练融合全局和局部对比信息的宫颈细胞分类模型。

首先，使用改进的SimSiam网络结构预训练宫颈细胞图像特征提取编码器，将原始的单输入方式改为多输入方式，即将同一张全景图像中同一类的两张宫颈细胞图像作为输入，使输入的两张图像作为相似实例，该批次训练数据中的其余图像作为不相似实例，再经过ResNet50作为图像特征提取编码器，两个全连接层作为映射头，将编码器输出的向量投影到单位超球面表示空间，最后利用对比损失函数训练编码器，使得相似实例在投影空间中距离较近，不相似实例在投影空间中距离较远；然后，利用已训练的改进的SimSiam模型中的图像特征提取编码器对同一张全景图像中的正常中层鳞状上皮宫颈细胞和异常宫颈细胞图像进行图像特征提取，将正常中层鳞状上皮宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块和前馈神经网络模块组成的编码器中，多头自注意力模块可以捕捉输入或输出序列中不同位置之间的关系，前馈神经网络可以对每个位置的特征进行非线性变换，在解码器部分，将异常宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块，提取异常宫颈细胞图像的自注意力特征；接着，将编码器的输出特征和异常宫颈细胞图像的自注意力特征输入到交叉注意力模块中，交叉注意力模块主要由多头自注意力模块和前馈神经网络模块组成，编码器-解码器注意机制实现了异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像的互相关操作，加强了两者在全局和丰富的上下文信息中的对比，从而提高分类的准确性；最后，解码器的输出后添加两个全连接层作为分类头，获得宫颈异常细胞分类结果，再通过每张全景图像中的正常中层鳞状上皮宫颈细胞图像和异常宫颈细胞图像数据训练得到融合全局和局部对比信息的宫颈细胞分类模型。

S6、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图像下异常宫颈细胞。

首先，将待识别的宫颈细胞病理全景图像裁剪为一定大小的小图像；然后，利用异常宫颈细胞检测模型和正常中层鳞状上皮宫颈细胞检测模型分别预测已裁剪的小图像，获得该全景图像的正常中层鳞状上皮宫颈细胞图像集合和异常宫颈细胞图像集合；接着，利用正常宫颈细胞核和细胞质分割模型对正常中层鳞状上皮宫颈细胞图像集合中的每张细胞图像进行分割，获得每张细胞图像的细胞核和细胞质轮廓信息；然后，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，根据S4中所述利用手工特征筛选正常中层鳞状上皮宫颈细胞；最后，将异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像输入融合全局和局部对比信息的宫颈细胞分类模型中，预测出异常宫颈细胞图像的类别信息。

发明效果

本发明提出了一种融合全局和局部对比信息的宫颈细胞识别方法。病理医生在镜下阅片时，发现疑似的宫颈病变细胞时会调节显微镜的焦距，放大观察可疑细胞的特征，再将显微镜切回原倍数，寻找附近视野中的正常中层鳞状上皮宫颈细胞，对两者的形态细节进行对比，得出最终的诊断结果。本发明将病理医生肉眼观察判断异常细胞的过程，转化为计算机模型推理过程，首先利用目标检测模型识别与定位全景图像中正常中层鳞状上皮宫颈细胞和异常宫颈细胞，然后利用分割模型预测出正常中层鳞状上皮宫颈细胞的细胞核与细胞质轮廓信息，并利用轮廓信息提取的手工特征筛选已检测出的正常中层鳞状上皮宫颈细胞，获得该样本下的高质量正常中层鳞状上皮宫颈细胞作为基准参照细胞，最后将该样本下异常宫颈细胞和高质量正常中层鳞状上皮宫颈细胞输入分类模型，通过融合全局和局部对比信息的宫颈细胞分类模型预测出异常宫颈细胞的细粒度类别。实验表明，该方法有效降低了异常宫颈细胞识别的假阳性率，提高了宫颈细胞检测准确率、敏感度和特异度，为自动阅片系统提供关键技术支撑，帮助医生更早地发现癌细胞并准确评估病变级别。

附图说明

图1算法主要流程示意图；

图2正常中层鳞状上皮宫颈细胞核与细胞质分割效果图；

图3融合全局和局部对比信息的宫颈细胞分类模型结构图；

具体实施方法

具体实施方式一：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明附图说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明提供的一种融合全局和局部对比信息的宫颈细胞识别方法，包含数据准备、模型训练和全景图像下异常宫颈细胞识别。

所述数据准备与模型训练包含如下步骤：

S1、准备异常宫颈细胞检测训练数据、正常中层鳞状上皮宫颈细胞检测训练数据和正常宫颈细胞核与细胞质分割训练数据；

S2、训练异常宫颈细胞检测模型、正常中层鳞状上皮宫颈细胞检测模型、正常宫颈细胞核和细胞质分割模型；

S3、提取正常中层鳞状上皮宫颈细胞图像手工特征；

S4、利用手工特征筛选正常中层鳞状上皮宫颈细胞；

S5、构建并训练融合全局和局部对比信息的宫颈细胞分类模型；

所述全景图像下异常宫颈细胞识别包含如下步骤：

S6、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图像下宫颈异常细胞。

本发明实施例首先准备异常宫颈细胞检测、正常中层鳞状上皮宫颈细胞检测和正常宫颈细胞核与细胞质分割训练数据，构建并训练检测、分割与分类模型；然后利用检测模型识别与定位全景图像中正常中层鳞状上皮宫颈细胞和异常宫颈细胞，利用分割模型预测出正常中层鳞状上皮宫颈细胞核与细胞质的轮廓信息，并通过轮廓信息提取的手工特征筛选已检测出的正常中层鳞状上皮宫颈细胞，获得该全景图像下高质量正常中层鳞状上皮宫颈细胞作为基准参照细胞，最后将该全景图像下异常宫颈细胞和高质量正常中层鳞状上皮宫颈细胞输入分类模型，预测出异常宫颈细胞的细粒度类别。

下面对本发明实施例进行详细的说明：

数据准备与模型训练包含步骤：

S1、准备异常宫颈细胞检测训练数据、正常中层鳞状上皮宫颈细胞检测训练数据和正常宫颈细胞核与细胞质分割训练数据；

首先，收集大量的宫颈细胞病理涂片，并使用扫描仪对涂片扫描，获得宫颈细胞病理涂片的全景图像。然后，邀请病理医生使用ASAP软件进行检测数据标注，对诊断为阳性的全景图像标注异常宫颈细胞，对诊断为阴性的全景图像标注正常中层鳞状上皮宫颈细胞；接着，根据病理医生的标注信息，从全景图像中随机位置裁剪为1024×1024大小的图像，并保证每张图像中标注信息完整，阳性全景图像中裁剪的图像和对应的标注信息作为异常宫颈细胞检测训练数据，阴性全景图像中裁剪的图像和对应的标注信息作为正常中层鳞状上皮宫颈细胞检测训练数据；最后，从阴性全景图像中裁剪出医生标注的宫颈细胞图像，再人工使用LabelImg软件标注出宫颈细胞图像的细胞核和细胞质轮廓，标注完成后的数据作为正常宫颈细胞核和细胞质分割训练数据。

S2、训练异常宫颈细胞检测模型、正常中层鳞状上皮宫颈细胞检测模型、正常宫颈细胞核和细胞质分割模型；

使用YOLO v5原始网络结构作为检测模型网络结构，分别将异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测训练数据输入检测模型网络结构中训练200轮，得到异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测模型；使用solo v2原始网络结构作为分割模型网络结构，将正常宫颈细胞核和细胞质分割训练数据输入分割模型网络结构中训练200轮，得到正常宫颈细胞核和细胞质分割模型。

S3、提取正常中层鳞状上皮宫颈细胞图像手工特征；

首先，将全景图像依次不重叠的裁剪为1024×1024大小的图像，并利用正常中层鳞状上皮宫颈细胞检测模型预测已裁剪的图像，根据预测结果信息可获得该全景图像中正常中层鳞状上皮宫颈细胞图像；然后，利用分割模型预测正常中层鳞状上皮宫颈细胞图像中细胞核与细胞质轮廓信息，分割效果如图2所示；接着，通过轮廓信息计算正常中层鳞状上皮宫颈细胞图像手工特征，包括细胞核面积、细胞核圆度、核质比和图像清晰度，计算公式如下：

式中，A_nu为细胞核面积，S_nu为细胞核区域，p_i为细胞核区域的某个像素点，细胞核面积则为细胞核区域内像素点数之和；

式中，R_nu为细胞核圆度，L_nu为细胞核周长，即细胞核轮廓长度；

式中，N_c-ratio为细胞核质比，A_cy为细胞质面积，即细胞质区域内像素点数之和；

式中，d_i为图像F_i的清晰度，t为控制检测计算灵敏度的阈值，本实例中t＝0.6，G(x,y)为图像F_i在(x,y)处的梯度值，定义如下：

G_x(x,y)与G_y(x,y)为图像F_i在(x,y)处的水平和垂直方向的梯度值，其计算公式如下：

S4、利用手工特征筛选正常中层鳞状上皮宫颈细胞；

根据《宫颈细胞学Bethesda报告系统》中明确定义的正常中层鳞状上皮宫颈细胞判读标准，设计正常中层鳞状上皮宫颈细胞筛选模块；首先，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，获得单张全景图像中检测出的所有正常鳞状上皮宫颈细胞图像集合和对应的手工特征；然后，由于正常中层鳞状上皮宫颈细胞核相比正常表层鳞状上皮宫颈细胞核更加圆润、染色质细腻和面积大，利用细胞核面积、细胞核圆度和核质比可筛除与中层鳞状上皮宫颈细胞相似的表层鳞状上皮宫颈细胞，通过细胞核面积由小至大将单张全景图像中的正常中层鳞状上皮宫颈细胞图像重新排列，将排列划分为N份，本实例中N＝8，筛除图像集合中细胞核面积较小的n(0＜n＜N)份正常中层鳞状上皮宫颈细胞图像，本实例中n＝1，通过细胞核圆度大于细胞核圆度阈值和核质比小于核质比阈值再次筛选剩下的正常中层鳞状上皮宫颈细胞图像；最后，使用图像清晰度由小至大将筛选后的正常中层鳞状上皮宫颈细胞图像再次重新排列，将排列划分为M份，本实例中M＝5，筛除图像集合中图像清晰度较小的m(0＜m＜M)份正常中层鳞状上皮宫颈细胞图像，本实例中m＝1，最终剩余的正常中层鳞状上皮宫颈细胞图像则成为该张全景图像中异常宫颈细胞图像的对比图像。

S5、构建并训练融合全局和局部对比信息的宫颈细胞分类模型；

分类模型结构如图3所示；首先，使用改进的SimSiam网络结构预训练宫颈细胞图像特征提取编码器，将原始的单输入方式改为多输入方式，即将同一张全景图像中同一类的两张宫颈细胞图像作为输入，使输入的两张图像作为相似实例，该批次训练数据中的其余图像作为不相似实例，再经过ResNet50作为图像特征提取编码器，两个全连接层作为映射头，将编码器输出的向量投影到单位超球面表示空间，最后利用对比损失函数训练编码器，使得相似实例在投影空间中距离较近，不相似实例在投影空间中距离较远；然后，利用已训练的改进的SimSiam模型中的图像特征提取编码器对同一张全景图像中的正常中层鳞状上皮宫颈细胞和异常宫颈细胞图像进行图像特征提取，将正常中层鳞状上皮宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块和前馈神经网络模块组成的编码器中，多头自注意力模块可以捕捉输入或输出序列中不同位置之间的关系，前馈神经网络可以对每个位置的特征进行非线性变换，在解码器部分，将异常宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块，提取异常宫颈细胞图像的自注意力特征；接着，将编码器的输出特征和异常宫颈细胞图像的自注意力特征输入到交叉注意力模块中，交叉注意力模块主要由多头自注意力模块和前馈神经网络模块组成，编码器-解码器注意机制实现了异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像的互相关操作，加强了两者在全局和丰富的上下文信息中的对比，从而提高分类的准确性；最后，解码器的输出后添加两个全连接层作为分类头，获得宫颈异常细胞分类结果，再通过每张全景图像中的正常中层鳞状上皮宫颈细胞图像和异常宫颈细胞图像数据训练得到融合全局和局部对比信息的宫颈细胞分类模型。

全景图像下异常宫颈细胞识别包含如下步骤：

S6、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图像下宫颈异常细胞；

首先，将待识别的宫颈细胞病理全景图像裁剪为1024×1024大小的图像；然后，利用异常宫颈细胞检测模型和正常中层鳞状上皮宫颈细胞检测模型分别预测已裁剪的小图像，获得该全景图像的正常中层鳞状上皮宫颈细胞图像集合和异常宫颈细胞图像集合；接着，利用正常宫颈细胞核和细胞质分割模型对正常中层鳞状上皮宫颈细胞图像集合中的每张细胞图像进行分割，获得每张细胞图像的细胞核和细胞质轮廓信息；然后，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，根据S4中所述利用手工特征筛选正常中层鳞状上皮宫颈细胞；最后，将异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像输入融合全局和局部对比信息的宫颈细胞分类模型中，预测出异常宫颈细胞图像的类别信息。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。

Claims (7)

1.一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，包含如下步骤：

S1、准备异常宫颈细胞检测训练数据、正常中层鳞状上皮宫颈细胞检测训练数据和正常宫颈细胞核与细胞质分割训练数据；

S2、训练异常宫颈细胞检测模型、正常中层鳞状上皮宫颈细胞检测模型、正常宫颈细胞核和细胞质分割模型；

S3、提取正常中层鳞状上皮宫颈细胞图像手工特征；

S4、利用手工特征筛选正常中层鳞状上皮宫颈细胞；

S5、构建并训练融合全局和局部对比信息的宫颈细胞分类模型；

S6、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图像下宫颈异常细胞。

2.如权力要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S1中准备异常宫颈细胞检测训练数据、正常中层鳞状上皮宫颈细胞检测训练数据和正常宫颈细胞核与细胞质分割训练数据，具体步骤如下：

首先，收集大量的宫颈细胞病理涂片，并使用扫描仪对涂片扫描，获得宫颈细胞病理涂片的全景图像。然后，邀请病理医生使用ASAP软件进行检测数据标注，对诊断为阳性的全景图像标注异常宫颈细胞，对诊断为阴性的全景图像标注正常中层鳞状上皮宫颈细胞；接着，根据病理医生的标注信息，从全景图像中随机位置裁剪一定大小的图像，并保证每张图像中标注信息完整，阳性全景图像中裁剪的图像和对应的标注信息作为异常宫颈细胞检测训练数据，阴性全景图像中裁剪的图像和对应的标注信息作为正常中层鳞状上皮宫颈细胞检测训练数据；最后，从阴性全景图像中裁剪出医生标注的宫颈细胞图像，再人工使用LabelImg软件标注出宫颈细胞图像的细胞核和细胞质轮廓，标注完成后的数据作为正常宫颈细胞核和细胞质分割训练数据。

3.如权力要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S2中训练异常宫颈细胞检测模型、正常中层鳞状上皮宫颈细胞检测模型、正常宫颈细胞核和细胞质分割模型，具体步骤如下：

使用YOLO v5原始网络结构作为检测模型网络结构，分别将异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测训练数据输入检测模型网络结构中训练，得到异常宫颈细胞和正常中层鳞状上皮宫颈细胞检测模型；使用solo v2原始网络结构作为分割模型网络结构，将正常宫颈细胞核和细胞质分割训练数据输入分割模型网络结构中训练，得到正常宫颈细胞核和细胞质分割模型。

4.如权利要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S3中提取正常中层鳞状上皮宫颈细胞图像手工特征，具体步骤如下：

首先，将全景图像依次不重叠的裁剪为一定大小的图像，并利用正常中层鳞状上皮宫颈细胞检测模型预测已裁剪的图像，根据预测结果信息可获得该全景图像中正常中层鳞状上皮宫颈细胞图像；然后，利用分割模型预测正常中层鳞状上皮宫颈细胞图像中细胞核与细胞质轮廓信息；接着，通过轮廓信息计算正常中层鳞状上皮宫颈细胞图像手工特征，包括细胞核面积、细胞核圆度、核质比和图像清晰度，计算公式如下：

式中，A_nu为细胞核面积，S_nu为细胞核区域，p_i为细胞核区域的某个像素点，细胞核面积则为细胞核区域内像素点数之和；

式中，R_nu为细胞核圆度，L_nu为细胞核周长，即细胞核轮廓长度；

式中，N_c-ratio为细胞核质比，A_cy为细胞质面积，即细胞质区域内像素点数之和；

式中，d_i为图像F_i的清晰度，t为控制检测计算灵敏度的阈值，G(x,y)为图像F_i在(x,y)处的梯度值，定义如下：

G_x(x,y)与G_y(x,y)为图像F_i在(x,y)处的水平和垂直方向的梯度值，其计算公式如下：

5.如权利要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S4中利用手工特征筛选正常中层鳞状上皮宫颈细胞，具体步骤如下：

根据《宫颈细胞学Bethesda报告系统》中明确定义的正常中层鳞状上皮宫颈细胞判读标准，设计正常中层鳞状上皮宫颈细胞筛选模块；首先，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，获得单张全景图像中检测出的所有正常鳞状上皮宫颈细胞图像集合和对应的手工特征；然后，由于正常中层鳞状上皮宫颈细胞核相比正常表层鳞状上皮宫颈细胞核更加圆润、染色质细腻和面积大，利用细胞核面积、细胞核圆度和核质比可筛除与中层鳞状上皮宫颈细胞相似的表层鳞状上皮宫颈细胞，通过细胞核面积由小至大将单张全景图像中的正常中层鳞状上皮宫颈细胞图像重新排列，将排列划分为N份，筛除图像集合中细胞核面积较小的n(0＜n＜N)份正常中层鳞状上皮宫颈细胞图像，通过细胞核圆度大于细胞核圆度阈值和核质比小于核质比阈值再次筛选剩下的正常中层鳞状上皮宫颈细胞图像；最后，使用图像清晰度由小至大将筛选后的正常中层鳞状上皮宫颈细胞图像再次重新排列，将排列划分为M份，筛除图像集合中图像清晰度较小的m(0＜m＜M)份正常中层鳞状上皮宫颈细胞图像，最终剩余的正常中层鳞状上皮宫颈细胞图像则成为该张全景图像中异常宫颈细胞图像的对比图像。

6.如权利要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S5中构建并训练融合全局和局部对比信息的宫颈细胞分类模型，具体步骤如下：

首先，使用改进的SimSiam网络结构预训练宫颈细胞图像特征提取编码器，将原始的单输入方式改为多输入方式，即将同一张全景图像中同一类的两张宫颈细胞图像作为输入，使输入的两张图像作为相似实例，该批次训练数据中的其余图像作为不相似实例，再经过ResNet50作为图像特征提取编码器，两个全连接层作为映射头，将编码器输出的向量投影到单位超球面表示空间，最后利用对比损失函数训练编码器，使得相似实例在投影空间中距离较近，不相似实例在投影空间中距离较远；然后，利用已训练的改进的SimSiam模型中的图像特征提取编码器对同一张全景图像中的正常中层鳞状上皮宫颈细胞和异常宫颈细胞图像进行图像特征提取，将正常中层鳞状上皮宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块和前馈神经网络模块组成的编码器中，多头自注意力模块可以捕捉输入或输出序列中不同位置之间的关系，前馈神经网络可以对每个位置的特征进行非线性变换，在解码器部分，将异常宫颈细胞图像特征向量和随机初始化的位置编码输入到多头自注意力模块，提取异常宫颈细胞图像的自注意力特征；接着，将编码器的输出特征和异常宫颈细胞图像的自注意力特征输入到交叉注意力模块中，交叉注意力模块主要由多头自注意力模块和前馈神经网络模块组成，编码器-解码器注意机制实现了异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像的互相关操作，加强了两者在全局和丰富的上下文信息中的对比，从而提高分类的准确性；最后，解码器的输出后添加两个全连接层作为分类头，获得宫颈异常细胞分类结果，再通过每张全景图像中的正常中层鳞状上皮宫颈细胞图像和异常宫颈细胞图像数据训练得到融合全局和局部对比信息的宫颈细胞分类模型。

7.如权利要求1所述一种融合全局和局部对比信息的宫颈细胞识别方法，其特征在于，步骤S6中利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图像下异常宫颈细胞，具体步骤如下：

首先，将待识别的宫颈细胞病理全景图像裁剪为一定大小的小图像；然后，利用异常宫颈细胞检测模型和正常中层鳞状上皮宫颈细胞检测模型分别预测已裁剪的小图像，获得该全景图像的正常中层鳞状上皮宫颈细胞图像集合和异常宫颈细胞图像集合；接着，利用正常宫颈细胞核和细胞质分割模型对正常中层鳞状上皮宫颈细胞图像集合中的每张细胞图像进行分割，获得每张细胞图像的细胞核和细胞质轮廓信息；然后，根据S3中所述提取正常中层鳞状上皮宫颈细胞图像手工特征，根据S4中所述利用手工特征筛选正常中层鳞状上皮宫颈细胞；最后，将异常宫颈细胞图像和正常中层鳞状上皮宫颈细胞图像输入融合全局和局部对比信息的宫颈细胞分类模型中，预测出异常宫颈细胞图像的类别信息。

Images