CN115170518A - 基于深度学习和机器视觉的细胞检测方法及系统 - Google Patents

基于深度学习和机器视觉的细胞检测方法及系统 Download PDF

Info

Publication number
CN115170518A
CN115170518A CN202210813667.8A CN202210813667A CN115170518A CN 115170518 A CN115170518 A CN 115170518A CN 202210813667 A CN202210813667 A CN 202210813667A CN 115170518 A CN115170518 A CN 115170518A
Authority
CN
China
Prior art keywords
image
cells
cell
cell detection
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210813667.8A
Other languages
English (en)
Inventor
车志龙
陈辰
蔡东兴
张欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Supercomputing Technology Research Institute
Original Assignee
Jinan Supercomputing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Supercomputing Technology Research Institute filed Critical Jinan Supercomputing Technology Research Institute
Priority to CN202210813667.8A priority Critical patent/CN115170518A/zh
Publication of CN115170518A publication Critical patent/CN115170518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习和机器视觉的细胞检测方法及系统，该方法包括将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集；将子图像集分别逐张输入正常细胞检测模型和病变细胞检测模型，识别正常细胞和病变细胞及其类别；选择正常细胞和病变细胞的重叠区域，通过分类模型对重叠区域进行二次分类；对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。本发明解决现有技术中检测模型由于正常细胞和病变细胞类别不均衡而导致检测效果差的问题，提高细胞识别的准确率，结合准确识别的粒细胞，实现对宫颈液基细胞的准确检测与识别。

Description

基于深度学习和机器视觉的细胞检测方法及系统
技术领域
本发明涉及医学图像辅助诊断技术领域，尤其涉及一种基于深度学习和机器视觉的细胞检测方法及系统。
背景技术
宫颈癌是一种非常常见的妇科恶性肿瘤，其发病概率在女性恶性肿瘤中排名第二，仅次于女性乳腺癌的发病率。在宫颈癌发病过程中，往往由初级病变到高级病变逐步演化，因此，早期的预防和诊断可以有效地防止更严重癌变的发生。
作为病理诊断的三大支柱之一，细胞病理学在病理诊断中扮演者重要的角色。通过对病变部位进行取样并制作细胞涂片，在显微镜下进行细胞病理学分析，得到最终的诊断结果。目前常用的宫颈癌筛查方法是宫颈液基细胞病理学检查，病理医生在显微镜下对病理玻片的所有视野进行观察诊断，判断每个区域是否发生病变。这种方法极其依赖病理医师的经验和细胞学知识，而且一张切片视野广阔，往往需要病理医师5-10分钟的诊断时间，工作量巨大，容易产生诊断疲劳，进而出现误诊、漏诊的情况，并且目前病理医师的从业数量也难以满足现状的筛查需要。
随着数字病理技术的发展，可以将病理玻片扫描成数字图像，使用计算机识别与检测宫颈癌细胞，辅助医师的诊断和筛查。
目前，现有技术中已存在多种宫颈液基细胞辅助筛查工具和系统，但是这些筛查系统大多只能检测“HSIL”、“LSIL”和“ASC-US”等常见异常鳞状细胞病变，而正常鳞状细胞(包括表层细胞、中层细胞、底层细胞等)和粒细胞(包括中性粒细胞、淋巴细胞等)在医师进行辅助诊断和炎症判断时同样具有一定参考价值，现有的筛查系统无法实现对正常鳞状细胞和粒细胞的筛查。
而且，通常情况下，一张宫颈液基细胞病理数字切片中正常细胞数量往往比病变细胞数量庞大的多，一方面，这种正常细胞和病变细胞的数量差异在训练检测模型时不可改变，因此，由于类别不均衡而导致检测模型更容易学习到较多的正常目标(即正常细胞)，较少的异常目标(即病变细胞)难以被有效检测；另一方面，粒细胞等往往密集分布且数量非常之多，图像数据难以进行标注。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于深度学习和机器视觉的细胞检测方法及系统，对宫颈液基细胞病理数字图像进行自动化检测，用以辅助医师诊断，利用病变细胞检测模型和正常细胞检测模型，结合分类模型，快速准确定位病变细胞和正常细胞，准确检测得到病变细胞和正常细胞的类型和数量，解决现有技术中检测模型由于正常细胞和病变细胞类别不均衡而导致检测效果差的问题，提高细胞识别的准确率，同时，利用机器视觉技术实现病理图像中粒细胞的准确分割计数，以此实现对宫颈液基细胞的检测与识别。
第一方面，本公开提供了一种基于深度学习和机器视觉的细胞检测方法：
一种基于深度学习和机器视觉的细胞检测方法，包括：
将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每张子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
将子图像集分别逐张输入正常细胞检测模型和病变细胞检测模型，识别正常细胞和病变细胞，确定正常细胞和病变细胞的类别、区域坐标和置信度；
选择正常细胞区域和病变细胞区域的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中的细胞为正常细胞或病变细胞；
对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
进一步的技术方案，所述病变细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理数字图像，预先使用矩形框标注出所有类别的病变细胞及其类别；
随机剪裁宫颈液基细胞病理数字图像，得到若干尺寸相同的图像区域，以此作为病变细胞检测模型的训练样本图像；
对训练样本图像进行数据增强，将增强后的训练样本图像输入病变细胞检测模型中进行迭代训练，待模型损失收敛后，病变细胞检测模型训练完成。
进一步的技术方案，所述随机剪裁，具体为：以病变细胞为中心，随机生成至少两个随机偏移量进行剪裁，得到若干尺寸相同的图像区域。
进一步的技术方案，所述正常细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理数字图像进行剪裁，得到若干尺寸相同的图像区域，选择部分图像区域，以此作为正常细胞检测模型的训练样本图像；
使用矩形框标注出训练样本图像中所有类别的正常细胞及其类别；
对训练样本图像进行数据增强，将增强后的训练样本图像输入正常细胞检测模型中进行迭代训练，待模型损失收敛后，正常细胞检测模型训练完成。
进一步的技术方案，所述分类模型的训练过程为：将宫颈液基细胞病理数字图像中所有类别的病变细胞和正常细胞预先经过矩形框标注并裁剪出目标区域图像，作为训练样本图像，训练样本图像经过数据增强后，输入分类模型中进行训练，待模型损失收敛后完成训练。
进一步的技术方案，对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，包括：
对宫颈液基细胞病理数字图像进行灰度化处理，得到灰色图像；
对灰色图像进行阈值化处理，得到二值图像；
对二值图像进行查找目标轮廓操作，获得前景中所有目标的轮廓信息；
根据所有目标的轮廓信息，分别计算获取的每个目标的面积、周长、圆粒度和坚实度；
根据获得的每个目标的面积、周长、圆粒度和坚实度进行目标的过滤，得到所有可能的粒细胞目标。
进一步的技术方案，过滤确定最终的粒细胞目标，具体为：在所有粒细胞的可能目标轮廓中，过滤掉在病变细胞区域和正常细胞区域内的目标，保留细胞区域外部的粒细胞目标，得到最终的粒细胞目标。
第二方面，本公开提供了一种基于深度学习和机器视觉的细胞检测系统，包括：
图像预处理模块，用于将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每张子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
正常细胞检测模块，用于将子图像集逐张输入正常细胞检测模型，识别正常细胞，确定正常细胞的类别、区域坐标和置信度；
病变细胞检测模块，用于将子图像集逐张输入病变细胞检测模型，识别病变细胞，确定病变细胞的类别、区域坐标和置信度；
二次分类模块，用于选择正常细胞区域和病变细胞区域的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中的细胞为正常细胞或病变细胞；
粒细胞检测模块，用于对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种基于深度学习和机器视觉的细胞检测方法及系统，对宫颈液基细胞病理数字图像进行自动化检测，用以辅助医师诊断，利用病变细胞检测模型和正常细胞检测模型，结合分类模型，快速准确定位病变细胞和正常细胞，准确检测得到病变细胞和正常细胞的类型和数量，解决现有技术中检测模型由于正常细胞和病变细胞类别不均衡而导致检测效果差的问题，提高细胞识别的准确率，同时，利用机器视觉技术实现病理图像中粒细胞的准确分割计数，以此实现宫颈液基细胞辅助诊断。
2、本公开利用深度学习目标检测技术，不仅能够对宫颈液基细胞病理数字图像中所有病变区域进行快速定位，还能够准确检测出正常细胞的区域和数量，解决现有技术中检测模型由于正常细胞和病变细胞类别不均衡而导致检测效果差、识别细胞类别不全面的问题；使用图像分类技术对于重叠区域进行二次精准分类，提高了识别准确率；使用机器视觉技术分割出密集的粒细胞，对于炎症的判断有重要意义，解决密集目标难以标注的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述基于深度学习和机器视觉的细胞检测方法的整体流程图；
图2为本发明实施例一所述粒细胞检测的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
针对现有的宫颈液基细胞辅助筛查方法中存在检测效果差、无法检测正常细胞和粒细胞的问题，本发明提供了一种基于深度学习和机器视觉的细胞检测方法及系统，对宫颈液基细胞病理数字图像进行自动化辅助诊断，利用病变细胞检测模型和正常细胞检测模型，结合分类模型，快速准确定位病变细胞和正常细胞，检测得到病变细胞和正常细胞的类型和数量，同时，利用机器视觉技术实现病理图像中粒细胞的准确分割计数，以此实现宫颈液基细胞的检测与识别，辅助医师后续诊断。
实施例一
本实施例提供了一种基于深度学习和机器视觉的细胞检测方法，如图1所示，包括：
将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每个子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
将子图像集分别输入正常细胞检测模型和病变细胞检测模型，检测得到正常细胞和病变细胞所在区域，以及正常细胞和病变细胞的类型；
计算正常细胞和病变细胞的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中细胞的类别；
对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
在本实施例中，首先，利用扫描仪对宫颈液基细胞病理切片进行扫描，得到一张全视野数字切片WSI(Whole Slide Images,WSI)，即得到宫颈液基细胞病理数字图像。利用扫描仪扫描切片的过程中，扫描仪能够实现40倍、20倍、5倍等不同分辨倍率的扫描，在本实施例中，虽然40倍率图像的分辨率更高，但是图像占用内存更大，导致处理速度很慢，而20倍率即可满足清晰度的要求，且处理速度较快，因此，本实施例选择全视野数字切片WSI在扫描仪20倍率下的图像，将此图像裁剪为若干1000×1000像素大小的图像区域，即得到若干子图像，以此构成子图像集。切片图像的分辨率通常为几万像素×几万像素，在本实施例中，切片图像的分辨率为50000像素×50000像素，图像太大不能直接送入模型，因此，将切片图像裁剪成一个个小图像块进行处理。
在将图像裁切为多个子图像的同时，记录每个子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标，便于后续的统计及处理。
然后，将获得的子图像集分别逐张输入病变细胞检测模型和正常细胞检测模型中，进行目标检测，分别得到所有病变细胞的类别、区域坐标、置信度和所有正常细胞的类别、区域坐标、置信度。其中，为了进一步明确细胞所在位置，检测模型输出子图像中病变细胞和正常细胞的区域坐标后，再与上述步骤中记录的该子图像在整个切片图像的相对位置坐标相结合，即可得到子图像集中的病变细胞和正常细胞在整张切片图像中的坐标。
上述病变细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理切片在20倍率下的数字图像，预先使用矩形框标注出其中所有类别的病变细胞及其类别；
使用随机剪裁的方式，以病变细胞为中心，随机生成三个随机偏移量进行剪裁，得到若干1000×1000像素大小的图像区域，以此作为病变细胞检测模型的训练样本图像；
通过解码、翻转、归一化等常规方法对训练样本图像进行数据增强，将增强后的训练样本图像输入使用FasterRcnn模型结构的病变细胞检测模型中进行若干次迭代训练，待模型损失收敛后，病变细胞检测模型训练完成。
上述正常细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理切片在20倍率下的数字图像进行剪裁，得到若干1000×1000像素大小的图像区域，选择部分图像区域，以此作为正常细胞检测模型的训练样本图像；
使用矩形框标注出训练样本图像中所有类别的正常细胞及其类别；
通过解码、翻转、归一化等常规方法对训练样本图像进行数据增强，将增强后的训练样本图像输入使用FasterRcnn模型结构的正常细胞检测模型中进行若干次迭代训练，待模型损失收敛后，正常细胞检测模型训练完成。
上述病变细胞检测模型和正常细胞检测模型的训练过程不同的是，病变细胞检测模型的训练过程中，病变细胞是先标注好再根据标注位置进行裁剪，这是由于目标(即病变细胞)在切片中的相对位置是固定的；而正常细胞检测模型的训练过程中，正常细胞是裁剪完成再选择部分图像进行标注，因为每张切片正常细胞非常多，难以把每张切片的所有正常细胞进行标注，每张切片只挑选部分图像区域再进行标注，在保证最终检测结果准确的同时，减少标注时间以及人力物力的浪费。
通过上述方案，利用病变细胞检测模型实现对病理数字图像进行病变细胞的检测，利用正常细胞检测模型实现对病理数字图像进行正常细胞的检测。但是，由于病变细胞检测模型和正常细胞检测模型检测的细胞区域并不精确，例如存在某一区域的细胞，病变细胞检测模型检测出该细胞为病变细胞，而正常细胞检测模型检测出该细胞为正常细胞，因此，为了进一步保证识别细胞区域的精确性，本实施例还包括选择正常细胞和病变细胞的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中细胞的类别。
首先，对于获得的整张病理数字切片中的病变细胞区域坐标和正常细胞区域坐标，计算每一病变细胞区域及其周围任一正常细胞区域之间的重叠度IOU(Intersectionover Union)，过滤得到重叠度大于0.5的细胞区域。
然后，对于重叠度超过阈值的细胞区域，剪裁出重叠区域图像，将该重叠区域图像输入分类模型中再次分类。
特别地，所述分类模型使用Resnet34模型结构，其训练过程为：将宫颈液基细胞病理数字图像中所有类别的病变细胞和正常细胞预先经过矩形框标注并裁剪出目标区域图像作为训练样本图像，训练样本图像经过旋转、缩放、平移等数据增强方法后，输入Resnet34分类模型中进行训练，待模型损失收敛后完成训练，以此实现对重叠区域中细胞类型的二次精准分类。
若分类模型检测出该重叠区域中的细胞为正常细胞，则保留正常细胞检测模型识别的结果；若分类模型检测出该重叠区域中的细胞为病变细胞，则保留病变细胞检测模型识别的结果。
在完成宫颈液基细胞病理数字图像中正常细胞和病变细胞的检测与识别后，再检测与识别病理数字图像中的粒细胞。
具体的，如图2所示，首先，对整张宫颈液基细胞病理数字图像进行灰度化处理，将RGB三通道的彩色图像转换为只有一个通道的灰色图像。
对灰色图像进行OSTU阈值化处理，将包含0-255区间像素值的图像转换为只有0和255组成的二值图像，分割出包含目标的前景和背景。
对二值图像进行查找目标轮廓操作，获得前景中所有目标的轮廓信息。
根据所有目标的轮廓信息，分别计算获取的每个目标的面积、周长、凸包、凸包面积、外接圆、外接圆面积，计量单位为像素，并以此计算得到每个目标的圆粒度和坚实度，公式为：
Figure BDA0003741383980000091
Figure BDA0003741383980000101
上式中，Areaobject为目标面积，Areacjrcumcircle为外接圆面积，Areaconvexhull为凸包面积。
根据获得的每个目标的面积、周长、圆粒度和坚实度进行目标的过滤，得到所有粒细胞的可能目标轮廓，即所有可能粒细胞区域。具体的，将符合过滤条件的目标作为所有粒细胞的可能性目标轮廓，该过滤条件包括：目标的面积大于50像素且小于500像素、目标的周长大于20像素且小于200像素、目标的圆粒度小于0.3、目标的坚实度大于0.5。
在所有粒细胞的可能目标轮廓中，过滤掉在病变细胞区域和正常细胞区域内的目标，保留细胞区域外部的粒细胞目标，即为得到最终的粒细胞目标，统计最终粒细胞目标的数量。其中，粒细胞信息存放于列表数据结构中，通过直接获得该列表的长度即可获得粒细胞数量。
通过上述方案，得到了宫颈液基细胞病理数字图像中所有病变细胞的区域坐标、类别、置信度和所有正常细胞的区域坐标、类别、置信度，以及所有粒细胞的数量，医师根据这些准确的数据进行诊断，得到最终的诊断结果。
综上所述，本实施例所述方案利用深度学习目标检测技术，不仅能够对宫颈液基细胞病理数字图像中所有病变区域进行快速定位，还能够准确检测出正常细胞的区域和数量，解决现有技术中检测模型由于正常细胞和病变细胞类别不均衡而导致检测效果差、识别细胞类别不全面的问题；使用图像分类技术对于重叠区域进行二次精准分类，提高了识别准确率；使用机器视觉技术分割出密集的粒细胞，对于炎症的判断有重要意义，解决密集目标难以标注的问题。
实施例二
本实施例提供了一种基于深度学习和机器视觉的细胞检测系统，包括：
图像预处理模块，用于将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每张子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
正常细胞检测模块，用于将子图像集逐张输入正常细胞检测模型，识别正常细胞，确定正常细胞的类别、区域坐标和置信度；
病变细胞检测模块，用于将子图像集逐张输入病变细胞检测模型，识别病变细胞，确定病变细胞的类别、区域坐标和置信度；
二次分类模块，用于选择正常细胞区域和病变细胞区域的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中的细胞为正常细胞或病变细胞；
粒细胞检测模块，用于对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
在本实施例中，首先，利用扫描仪对宫颈液基细胞病理切片进行扫描，得到一张全视野数字切片WSI(Whole Slide Images,WSI)，即得到宫颈液基细胞病理数字图像。利用扫描仪扫描切片的过程中，扫描仪能够实现40倍、20倍、5倍等不同分辨倍率的扫描，在本实施例中，虽然40倍率图像的分辨率更高，但是图像占用内存更大，导致处理速度很慢，而20倍率即可满足清晰度的要求，且处理速度较快，因此，本实施例选择全视野数字切片WSI在扫描仪20倍率下的图像，将此图像裁剪为若干1000×1000像素大小的图像区域，即得到若干子图像，以此构成子图像集。切片图像的分辨率通常为几万像素×几万像素，在本实施例中，切片图像的分辨率为50000像素×50000像素，图像太大不能直接送入模型，因此，将切片图像裁剪成一个个小图像块进行处理。
在将图像裁切为多个子图像的同时，记录每个子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标，便于后续的统计及处理。
然后，将获得的子图像集分别逐张输入病变细胞检测模块和正常细胞检测模块中，进行目标检测，分别得到所有病变细胞的类别、区域坐标、置信度和所有正常细胞的类别、区域坐标、置信度。其中，病变细胞检测模块包括病变细胞检测模型，该模型通过实施例一所述的训练方式训练获得；正常细胞检测模块包括正常细胞检测模型，该模型通过实施例一所述的训练方式训练获得。
将病变细胞检测模块和正常细胞检测模块分别输出的标注病变细胞类别、区域坐标、置信度和标注正常细胞类别、区域坐标、置信度的图像，输入二次分类模块中，二次分类模块计算病变细胞区域和正常细胞区域之间的IOU重叠度，过滤得到重叠度大于0.5的细胞区域，对于重叠度超过阈值的细胞区域，剪裁出目标区域图像，将该图像输入分类模型中再次分类，确定重叠区域中的细胞为病变细胞还是正常细胞。其中，该分类模型通过实施例一所述的训练方式训练获得。
在完成宫颈液基细胞病理数字图像中正常细胞和病变细胞的检测与识别后，再检测与识别病理数字图像中的粒细胞。
首先，对整张宫颈液基细胞病理数字图像进行灰度化处理，将RGB三通道的彩色图像转换为只有一个通道的灰色图像。
对灰色图像进行OSTU阈值化处理，将包含0-255区间像素值的图像转换为只有0和255组成的二值图像，分割出包含目标的前景和背景。
对二值图像进行查找目标轮廓操作，获得前景中所有目标的轮廓信息。
根据所有目标的轮廓信息，分别计算获取的每个目标的面积、周长、凸包、凸包面积、外接圆、外接圆面积，并以此计算得到每个目标的圆粒度和坚实度。
根据获得的每个目标的面积、周长、圆粒度和坚实度进行目标的过滤，得到所有粒细胞的可能目标轮廓，即所有可能粒细胞区域。具体的，将符合过滤条件的目标作为所有粒细胞的可能性目标轮廓，该过滤条件包括：目标的面积大于50像素且小于500像素、目标的周长大于20像素且小于200像素、目标的圆粒度小于0.3、目标的坚实度大于0.5。
在所有粒细胞的可能目标轮廓中，过滤掉在病变细胞区域和正常细胞区域内的目标，保留细胞区域外部的粒细胞目标，即为得到最终的粒细胞目标，统计最终粒细胞目标的数量。其中，粒细胞信息存放于列表数据结构中，通过直接获得该列表的长度即可获得粒细胞数量。
通过上述系统，该识别系统最终输出宫颈液基细胞病理数字图像中所有病变细胞的区域坐标、类别、置信度和所有正常细胞的区域坐标、类别、置信度，以及所有粒细胞的数量，医师能够根据这些准确的数据进行诊断，辅助得到最终的诊断结果。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于深度学习和机器视觉的细胞检测方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于深度学习和机器视觉的细胞检测方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于深度学习和机器视觉的细胞检测方法，其特征是，包括：
将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每张子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
将子图像集分别逐张输入正常细胞检测模型和病变细胞检测模型，识别正常细胞和病变细胞，确定正常细胞和病变细胞的类别、区域坐标和置信度；
选择正常细胞区域和病变细胞区域的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中的细胞为正常细胞或病变细胞；
对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
2.如权利要求1所述的一种基于深度学习和机器视觉的细胞检测方法，其特征是，所述病变细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理数字图像，预先使用矩形框标注出所有类别的病变细胞及其类别；
随机剪裁宫颈液基细胞病理数字图像，得到若干尺寸相同的图像区域，以此作为病变细胞检测模型的训练样本图像；
对训练样本图像进行数据增强，将增强后的训练样本图像输入病变细胞检测模型中进行迭代训练，待模型损失收敛后，病变细胞检测模型训练完成。
3.如权利要求1所述的一种基于深度学习和机器视觉的细胞检测方法，其特征是，所述正常细胞检测模型的训练过程为：
选择多张宫颈液基细胞病理数字图像进行剪裁，得到若干尺寸相同的图像区域，选择部分图像区域，以此作为正常细胞检测模型的训练样本图像；
使用矩形框标注出训练样本图像中所有类别的正常细胞及其类别；
对训练样本图像进行数据增强，将增强后的训练样本图像输入正常细胞检测模型中进行迭代训练，待模型损失收敛后，正常细胞检测模型训练完成。
4.如权利要求1所述的一种基于深度学习和机器视觉的细胞检测方法，其特征是，所述分类模型的训练过程为：将宫颈液基细胞病理数字图像中所有类别的病变细胞和正常细胞预先经过矩形框标注并裁剪出目标区域图像，作为训练样本图像，训练样本图像经过数据增强后，输入分类模型中进行训练，待模型损失收敛后完成训练。
5.如权利要求1所述的一种基于深度学习和机器视觉的细胞检测方法，其特征是，对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，包括：
对宫颈液基细胞病理数字图像进行灰度化处理，得到灰色图像；
对灰色图像进行阈值化处理，得到二值图像；
对二值图像进行查找目标轮廓操作，获得前景中所有目标的轮廓信息；
根据所有目标的轮廓信息，分别计算获取的每个目标的面积、周长、圆粒度和坚实度；
根据获得的每个目标的面积、周长、圆粒度和坚实度进行目标的过滤，得到所有可能的粒细胞目标。
6.如权利要求1所述的一种基于深度学习和机器视觉的细胞检测方法，其特征是，过滤确定最终的粒细胞目标，具体为：在所有粒细胞的可能目标轮廓中，过滤掉在病变细胞区域和正常细胞区域内的目标，保留细胞区域外部的粒细胞目标，得到最终的粒细胞目标。
7.一种基于深度学习和机器视觉的细胞检测系统，其特征是，包括：
图像预处理模块，用于将宫颈液基细胞病理数字图像裁切为若干子图像，构成子图像集，并记录每张子图像在整个宫颈液基细胞病理数字图像中的相对位置坐标；
正常细胞检测模块，用于将子图像集逐张输入正常细胞检测模型，识别正常细胞，确定正常细胞的类别、区域坐标和置信度；
病变细胞检测模块，用于将子图像集逐张输入病变细胞检测模型，识别病变细胞，确定病变细胞的类别、区域坐标和置信度；
二次分类模块，用于选择正常细胞区域和病变细胞区域的重叠区域，通过分类模型对重叠区域进行二次分类，确定重叠区域中的细胞为正常细胞或病变细胞；
粒细胞检测模块，用于对宫颈液基细胞病理数字图像中的粒细胞进行阈值分割，得到所有可能的粒细胞目标，过滤确定最终的粒细胞目标，统计并确定粒细胞数量。
8.如权利要求7所述的一种基于深度学习和机器视觉的细胞检测系统，其特征是，所述二次分类模块包括分类模型，所述分类模型的训练过程为：将宫颈液基细胞病理数字图像中所有类别的病变细胞和正常细胞预先经过矩形框标注并裁剪出目标区域图像，作为训练样本图像，训练样本图像经过数据增强后，输入分类模型中进行训练，待模型损失收敛后完成训练。
9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种基于深度学习和机器视觉的细胞检测方法的步骤。
10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种基于深度学习和机器视觉的细胞检测方法的步骤。
CN202210813667.8A 2022-07-12 2022-07-12 基于深度学习和机器视觉的细胞检测方法及系统 Pending CN115170518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210813667.8A CN115170518A (zh) 2022-07-12 2022-07-12 基于深度学习和机器视觉的细胞检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210813667.8A CN115170518A (zh) 2022-07-12 2022-07-12 基于深度学习和机器视觉的细胞检测方法及系统

Publications (1)

Publication Number Publication Date
CN115170518A true CN115170518A (zh) 2022-10-11

Family

ID=83493445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210813667.8A Pending CN115170518A (zh) 2022-07-12 2022-07-12 基于深度学习和机器视觉的细胞检测方法及系统

Country Status (1)

Country Link
CN (1) CN115170518A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115778546A (zh) * 2023-02-07 2023-03-14 武汉楚精灵医疗科技有限公司 内镜黏膜下剥离术智能辅助方法、装置及相关设备
CN117457235A (zh) * 2023-12-22 2024-01-26 首都医科大学附属北京友谊医院 病理损伤模式预测方法、装置、存储介质及电子设备
CN117689660A (zh) * 2024-02-02 2024-03-12 杭州百子尖科技股份有限公司 基于机器视觉的保温杯温度质检方法
CN118172774A (zh) * 2024-05-13 2024-06-11 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种自动识别感兴趣区域的低倍率图像分析方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115778546A (zh) * 2023-02-07 2023-03-14 武汉楚精灵医疗科技有限公司 内镜黏膜下剥离术智能辅助方法、装置及相关设备
CN117457235A (zh) * 2023-12-22 2024-01-26 首都医科大学附属北京友谊医院 病理损伤模式预测方法、装置、存储介质及电子设备
CN117457235B (zh) * 2023-12-22 2024-03-19 首都医科大学附属北京友谊医院 病理损伤模式预测方法、装置、存储介质及电子设备
CN117689660A (zh) * 2024-02-02 2024-03-12 杭州百子尖科技股份有限公司 基于机器视觉的保温杯温度质检方法
CN117689660B (zh) * 2024-02-02 2024-05-14 杭州百子尖科技股份有限公司 基于机器视觉的保温杯温度质检方法
CN118172774A (zh) * 2024-05-13 2024-06-11 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种自动识别感兴趣区域的低倍率图像分析方法及装置
CN118172774B (zh) * 2024-05-13 2024-08-06 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种自动识别感兴趣区域的低倍率图像分析方法及装置

Similar Documents

Publication Publication Date Title
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN115170518A (zh) 基于深度学习和机器视觉的细胞检测方法及系统
CN102682305B (zh) 宫颈液基细胞学自动筛查方法和系统
CN111626190A (zh) 基于聚类分区进行刻度识别的水位监测方法
CN112750121B (zh) 用于病理玻片数字图像质量检测的系统及其方法
CN111598856B (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN112132166A (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN113393426B (zh) 一种轧钢板表面缺陷检测方法
CN112580748B (zh) 一种对染色图像的分类细胞计数的方法
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN114187277A (zh) 基于深度学习的甲状腺细胞学多种类型细胞的检测方法
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN112990214A (zh) 一种医学图像特征识别预测模型
CN114782948B (zh) 一种对宫颈液基细胞学涂片的全局判读方法及系统
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及系统
CN117252813A (zh) 基于深度学习的宫颈液基细胞检测与识别方法及系统
CN115511815A (zh) 一种基于分水岭的宫颈液基细胞分割方法和系统
CN115497109A (zh) 基于智能翻译的文字图像预处理方法
CN118279304A (zh) 基于图像处理的异型金属件异常识别方法、装置及介质
CN115937188A (zh) 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法
CN112396648A (zh) 一种可定位目标物质心的目标识别方法和系统
CN117496276B (zh) 肺癌细胞形态学分析、识别方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination