CN115100646A

CN115100646A - 细胞图像高清晰快速拼接识别标记方法

Info

Publication number: CN115100646A
Application number: CN202210736014.4A
Authority: CN
Inventors: 曹得华; 李�诚; 严姗; 刘赛; 龙莉; 李�荣; 庞宝川
Original assignee: Wuhan Lanting Intelligent Medicine Co ltd
Current assignee: Wuhan Lanting Intelligent Medicine Co ltd
Priority date: 2022-06-27
Filing date: 2022-06-27
Publication date: 2022-09-23
Anticipated expiration: 2042-06-27
Also published as: CN115100646B

Abstract

本发明提供一种细胞图像高清晰快速拼接识别标记方法，包括以下步骤：阵列扫描玻片获得多个原始图像；按最小分辨率裁剪原始图像；将最小分辨率图像拼接成全视野图；以目标检测模型获取可疑细胞位置；垃圾分类模型剔除垃圾细胞；阴阳分类模型识别阳性细胞；同步的，确定图像的最佳分辨率，按最佳分辨率裁剪各个原始图像，根据拼接坐标数据和缩放比将各个最佳分辨率图像进行拼接，获得最佳分辨率拼接图像；根据可疑细胞位置数据、垃圾细胞位置数据、阳性细胞位置数据将标记添加到最佳分辨率拼接图像；通过以上步骤实现细胞图像高清晰快速拼接识别标记。本发明大幅提高拼接识别标记效率。

Description

细胞图像高清晰快速拼接识别标记方法

技术领域

本发明涉及细胞图像处理方法，属于医学影像处理领域，特别是一种细胞图像高清晰快速拼接识别标记方法。

背景技术

现有技术中，采集细胞进行图像识别，是筛查的有效措施。例如中国专利文献CN110797097A人工智能云诊断平台中记载的方案，能够使细胞筛查服务普及到偏远地区和医疗资源不足地区。现有技术的措施是先以阵列式扫描显微镜将图像扫描，然后进行拼接和识别。本发明的申请人研发并且推出了能够利用手机进行细胞图像扫描采集的方案，进一步降低了阵列式扫描显微镜成本，例如专利文献CN110879999A记载的基于手机的微型显微图像采集装置及图像拼接、识别方法中记载的方案。但是由于手机采集的图像尺寸较大，通常每张图片有3~10MB大小，而通常一个玻片需要采集30*40张合计1200张图片进行拼接。因此一张拼合起来的图像，保存尺寸通常需要3.6GB，而在运行过程中占用的资源更多。例如CN110807732A用于显微图像全景拼接系统及方法中记载的拼接方法，需要扫描图像的重叠区域进行调节，这也需要占用大量的时间。为提高识别效率，技术人员采用了缩小图片尺寸的进行处理的方案，例如CN111651268A显微图像快速处理系统中记载的方案。但是将图片尺寸缩小后虽然能够提高速度，也导致最终图像中的冗余信息较少，医师在阅读时缺少可供进一步的分析的图像信息。即在现有技术中，图像识别的效率与准确度之间存在互相矛盾的情形。

发明内容

本发明所要解决的技术问题是提供一种细胞图像高清晰快速拼接识别标记方法，能够在提高识别效率的同时，在最终图像中提供高分辨率的图像，以具有足够的冗余信息供医师分析。

为解决上述技术问题，本发明所采用的技术方案是：一种细胞图像高清晰快速拼接识别标记方法，包括以下步骤：

S1、阵列扫描玻片获得多个原始图像；

S2、确定图像可供识别的最小分辨率，按最小分辨率裁剪原始图像；

S3、将最小分辨率图像拼接成全视野图，储存拼接坐标数据；

S4、以目标检测模型获取可疑细胞位置，储存可疑细胞位置数据；

S5、垃圾分类模型剔除垃圾细胞，储存垃圾细胞位置数据；

S6、阴阳分类模型识别阳性细胞，储存阳性细胞位置数据；

S01、与S1同步的，确定图像的最佳分辨率，按最佳分辨率裁剪各个原始图像，根据拼接坐标数据和缩放比将各个最佳分辨率图像进行拼接，获得最佳分辨率拼接图像；

S02、根据可疑细胞位置数据、垃圾细胞位置数据、阳性细胞位置数据将标记添加到最佳分辨率拼接图像；

通过以上步骤实现细胞图像高清晰快速拼接识别标记。

优选的方案中，在步骤S1中，阵列扫描玻片过程中，控制每次扫描的步进值相同，根据扫描路径获得各个图片的行列值，并储存。

优选的方案中，在步骤S3中，拼接的具体步骤为：

S31、读取1行1列和1行2列图像，扫描像素获得图像重叠视野，将图像重叠视野水平堆叠拼接；

同步的，读取1行1列和2行1列图像，扫描像素获得图像重叠视野，将图像重叠视野垂直堆叠拼接；

S32、获取图像x、y向相对重叠坐标；

S33、后继其他图像依据行列值和x、y向相对重叠坐标进行拼接。

优选的方案中，在步骤S4中，目标检测模型包括YoloV4、YoloV3、YoloV5、SSD、RetineDet、RefinaDet或EfficientDet模型中的一种，目标检测模型用于将正常细胞之外的细胞标注出来，形成可疑细胞数据集。

优选的方案中，在步骤S5中，垃圾分类模型包括YoloV4、YoloV3、YoloV5、SSD、RetineDet、RefinaDet或EfficientDet模型中的一种，用于将垃圾剔除，并形成非垃圾细胞数据集；

垃圾分类模型以可疑细胞数据集为剔除范围。

优选的方案中，步骤S6中，阴阳分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阴性细胞和阳性细胞分类，形成阳性细胞数据集；

阴阳分类模型以非垃圾细胞数据集为分类范围。

优选的方案中，步骤S2中，最小分辨率裁剪原始图像时，获得最小缩放比例；

步骤S01中，以最佳分辨率裁剪原始图像时，获得最佳缩放比例；

根据步骤32中适于最小分辨率图像的相对重叠坐标、最小缩放比例和最佳缩放比例，将相对重叠坐标转换成适于最佳分辨率图像的相对重叠坐标；

将各个最佳分辨率图像按照适于最佳分辨率图像的相对重叠坐标进行拼接。

优选的方案中，将可疑细胞位置数据、垃圾细胞位置数据和阳性细胞位置数据根据缩放比、各个图片的行列值和适于最佳分辨率图像的相对重叠坐标转换成适于最佳分辨率图像的位置数据，并根据所述的位置数据在拼接后的全视野最佳分辨率图像上进行标注。

优选的方案中，还包括多分类模型，多分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阳性细胞分级并统计，多分类模型以阳性细胞数据集为工作范围。

优选的方案中，还包括多分类模型，多分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阳性细胞分级并统计，多分类模型以全视野最佳分辨率图像上获取的阳性细胞数据集为工作范围。

本发明提供了一种细胞图像高清晰快速拼接识别标记方法，与现有技术相比，具有以下的有益效果：

1、本发明以快速拼接的方式，获得拼接坐标数据，并以拼接坐标数据完成高分辨率图像的拼接，避免对图像，尤其是对高分辨率图像的反复扫描和计算，大幅提高拼接识别标记效率。

2、本发明以低分辨率图像拼接的速度，实现高分辨率图像的结果，大幅提高医师后继分析的准确率。

3、本发明中的识别过程，采用了基于人工智能模型的流水线处理方式，降低了每个智能模型的复杂程度，由于在后的识别工位仅需从上一个流程中的结果进行标记或分类，从整体上提高了识别效率，提高了识别的准确率。

4、本发明的拼接过程，还采用了利用首行和首列拼接经验参数进行拼接的方案，大幅减少了扫描过程，进一步提高了拼接效率。即便在拼接过程中出现细微错误，但是该错误不会导致识别结果的差异。

由本发明的方案，能够有效应对由阵列式扫描显微镜成本下降，样本采集便利带来的客户爆发式增长，尤其是在宫颈癌筛查领域中，大幅提高图像处理的效率。使宫颈癌图像筛查更加普及和便利。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的流程示意图。

图2为本发明的快速拼接的流程示意图。

图3为本发明的利用最小分辨率参数进行最佳分辨率图像拼接的示意图。

图4为本发明的实例流通图。

图5为本发明中最小分辨率参数图像与最佳分辨率图像的对比示意图。

具体实施方式

实施例1：

如图1中，一种细胞图像高清晰快速拼接识别标记方法，包括以下步骤：

S1、阵列扫描玻片获得多个原始图像；

S2、确定图像可供识别的最小分辨率，例如1024×1024像素，按最小分辨率裁剪原始图像；

S4、以目标检测模型获取可疑细胞位置，储存可疑细胞位置数据；具体的读取图像后，做预处理，颜色归一化处理，送入YoloV4目标检测模型，做阳性细胞检测工作；标记位置采用416×416像素大小，以左上角和右下角坐标定义标记位置的坐标。

S5、垃圾分类模型剔除垃圾细胞，储存垃圾细胞位置数据，截取非垃圾细胞位置图像，单个标记位置采用256×256像素大小，以左上角和右下角坐标定义标记位置的坐标。

S6、阴阳分类模型识别阳性细胞，阴阳分类模型采用二分类模型，储存阳性细胞位置数据，截取阳性细胞所在位置图像，单个标记位置采用256×256像素大小，以左上角和右下角坐标定义标记位置的坐标；样图的处理流程示例如图4中所示。

本发明采用多个人工智能模型，例如目标检测模型、垃圾分类模型和阴阳分类模型以流水线的方式进行识别，大幅降低了单个人工智能模型的复杂程度，提高了识别准确率。

实施例2：

如图1中，在实施例1的基础上，S01、与S1同步的，确定图像的最佳分辨率，按最佳分辨率裁剪各个原始图像，根据拼接坐标数据和缩放比将各个最佳分辨率图像进行拼接，获得最佳分辨率拼接图像；

S02、根据可疑细胞位置数据、垃圾细胞位置数据、阳性细胞位置数据将标记添加到最佳分辨率拼接图像；在添加过程中，通过缩放比例计算坐标数据实现同步。

通过以上步骤实现细胞图像高清晰快速拼接识别标记。

实施例3：

在实施例1、2的基础上，或者独立的实施，优选的方案如图2中，在步骤S1中，阵列扫描玻片过程中，控制每次扫描的步进值相同，即在扫描过程中，控制阵列式扫描显微镜的步进电机每次扫描转过相同的转角，根据扫描路径获得各个图片的行列值，通常扫描路径获为S形，例如先从头到尾扫描一行，然后换行，再从尾到头扫描下一行，并储存，存储过程中以表格行列结构命名，例如第一行001001、001002、……，第二行002001。

优选的方案如图2中，在步骤S3中，拼接的具体步骤为：

S31、读取1行1列和1行2列图像，扫描像素获得图像重叠视野，将图像重叠视野水平堆叠拼接；扫描并识别重叠视野属于现有技术，例如本公司申请的CN110807732A中记载的方案。

同步的，读取1行1列和2行1列图像，扫描像素获得图像重叠视野，将图像重叠视野垂直堆叠拼接；本例中采用同步拼接的方案，由此方案，两个步骤的结果能够同时得出，而无需在一个步骤之后还需等待另一个步骤的结果。由本例中，能够节省3~5秒的时间。

S32、获取图像x、y向相对重叠坐标；重叠坐标在本例中，是指除位于首位的图片外，其他图片的原点坐标以左上接缝位置的点作为原点，拼接时，以原点和上一图片的边缘对齐，如图3中所示。

S33、后继其他图像依据行列值和x、y向相对重叠坐标进行拼接。本例中的方案也可以单独的实施。如图3中所示。

实施例4：

在实施例1的基础上，优选的方案如图1、4中，在步骤S4中，目标检测模型包括YoloV4、YoloV3、YoloV5、SSD、RetineDet、RefinaDet或EfficientDet模型中的一种，目标检测模型用于将正常细胞之外的细胞标注出来，形成可疑细胞数据集。

垃圾分类模型以可疑细胞数据集为剔除范围。

阴阳分类模型以非垃圾细胞数据集为分类范围。通过流水线的人工智能处理方式，能够从整体上提升效率。

根据步骤32中适于最小分辨率图像的相对重叠坐标、最小缩放比例和最佳缩放比例，将相对重叠坐标转换成适于最佳分辨率图像的相对重叠坐标；即计算得到最小分辨率图像与最佳分辨率图像之间的缩放比例，在后继步骤中，以该缩放比例对相对重叠坐标和位置数据进行计算。

优选的方案如图5中，将可疑细胞位置数据、垃圾细胞位置数据和阳性细胞位置数据根据缩放比、各个图片的行列值和适于最佳分辨率图像的相对重叠坐标转换成适于最佳分辨率图像的位置数据，并根据所述的位置数据在拼接后的全视野最佳分辨率图像上进行标注。

实施例5：

在实施例1~4的基础上，优选的方案如图4中，还包括多分类模型，多分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阳性细胞分级并统计，多分类模型以阳性细胞数据集为工作范围。由此方案实现对不同阳性细胞的分级和统计，由此结果数据，便于医师快速得出诊断结果。

由本发明的方案，医师在诊断过程中，能够方便的参考最佳分辨率拼接的图像，从而能够根据足够的冗余信息做进一步的分析，进一步提高了准确率。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims

1.一种细胞图像高清晰快速拼接识别标记方法，其特征是包括以下步骤：

S1、阵列扫描玻片获得多个原始图像；

S5、垃圾分类模型剔除垃圾细胞，储存垃圾细胞位置数据；

S6、阴阳分类模型识别阳性细胞，储存阳性细胞位置数据；

通过以上步骤实现细胞图像高清晰快速拼接识别标记。

2.根据权利要求1所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：在步骤S1中，阵列扫描玻片过程中，控制每次扫描的步进值相同，根据扫描路径获得各个图片的行列值，并储存。

3.根据权利要求2所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：在步骤S3中，拼接的具体步骤为：

S32、获取图像x、y向相对重叠坐标；

4.根据权利要求1所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：在步骤S4中，目标检测模型包括YoloV4、YoloV3、YoloV5、SSD、RetineDet、RefinaDet或EfficientDet模型中的一种，目标检测模型用于将正常细胞之外的细胞标注出来，形成可疑细胞数据集。

5.根据权利要求4所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：在步骤S5中，垃圾分类模型包括YoloV4、YoloV3、YoloV5、SSD、RetineDet、RefinaDet或EfficientDet模型中的一种，用于将垃圾剔除，并形成非垃圾细胞数据集；

垃圾分类模型以可疑细胞数据集为剔除范围。

6.根据权利要求5所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：步骤S6中，阴阳分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阴性细胞和阳性细胞分类，形成阳性细胞数据集；

阴阳分类模型以非垃圾细胞数据集为分类范围。

7.根据权利要求3所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：步骤S2中，最小分辨率裁剪原始图像时，获得最小缩放比例；

8.根据权利要求7所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：将可疑细胞位置数据、垃圾细胞位置数据和阳性细胞位置数据根据缩放比、各个图片的行列值和适于最佳分辨率图像的相对重叠坐标转换成适于最佳分辨率图像的位置数据，并根据所述的位置数据在拼接后的全视野最佳分辨率图像上进行标注。

9.根据权利要求6所述的一种细胞图像高清晰快速拼接识别标记方法，其特征是：还包括多分类模型，多分类模型包括EfficientNet、ResNet50系列、Inception、Xception和ImageNet系列，用于将阳性细胞分级并统计，多分类模型以阳性细胞数据集为工作范围。

10.一种细胞图像高清晰快速拼接识别标记方法，其特征是包括以下步骤：

以目标检测模型获取可疑细胞位置；

垃圾分类模型在可疑细胞数据集范围内剔除垃圾细胞；

阴阳分类模型在非垃圾细胞数据集范围内识别阳性细胞；

通过以上步骤实现以流水线的方式进行细胞检测和分类。