CN113033417B - 一种妇科微生态中孢子的检测识别方法、设备及存储介质 - Google Patents

一种妇科微生态中孢子的检测识别方法、设备及存储介质 Download PDF

Info

Publication number
CN113033417B
CN113033417B CN202110329570.5A CN202110329570A CN113033417B CN 113033417 B CN113033417 B CN 113033417B CN 202110329570 A CN202110329570 A CN 202110329570A CN 113033417 B CN113033417 B CN 113033417B
Authority
CN
China
Prior art keywords
spores
epithelial cell
spore
color
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110329570.5A
Other languages
English (en)
Other versions
CN113033417A (zh
Inventor
谢晓鸿
谢时灵
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Original Assignee
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shidasi Medical Technology Co ltd, Shandong Stars Bioindustry Co ltd filed Critical Shandong Shidasi Medical Technology Co ltd
Priority to CN202110329570.5A priority Critical patent/CN113033417B/zh
Publication of CN113033417A publication Critical patent/CN113033417A/zh
Application granted granted Critical
Publication of CN113033417B publication Critical patent/CN113033417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种妇科微生态中孢子的检测识别方法、设备及存储介质,包括如下步骤:将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,再通过机器视觉技术二次确定该目标物是否是孢子;有效目标检测AI模型的生成方法包括:采集多场景显微图像;按常规进行人工类别标注;通过引入超参数扩大上皮细胞核的标注区域;制作出类间差距大且类内差距小的有效训练集,基于主干网络架构并结合深度学习目标检测框架将有效训练集输入到卷积神经网络进行训练,得到有效目标AI检测模型。本发明通过引入超参数扩大上皮细胞核的标注区域,可训练出有效的目标检测AI模型;再通过机器视觉技术二次确定该目标物是否是孢子,有效降低孢子的误检率和漏检率。

Description

一种妇科微生态中孢子的检测识别方法、设备及存储介质
技术领域
本发明涉及妇科生殖道微生态下显微图像中孢子的智能检测识别领域,特别涉及一种妇科微生态中孢子的智能检测识别方法、设备及存储介质。
背景技术
假丝酵母菌在一定条件下侵犯女性下生殖道而引起外阴皮肤黏膜炎症,常称为外阴阴道假菌丝酵母菌病,也称为真菌性阴道炎或者霉菌性阴道炎,而孢子就是其中一种常见的女性生殖道的致病霉菌。目前针对女性生殖道分泌物生物标本的革兰氏染色方法是最常用的检验方法,显微镜下的形态学检查是妇科阴道微生态诊断的金标准,因此对于孢子的形态学检测及提高孢子的检出率,并同时降低孢子的误检率对于诊断女性真菌性阴道炎起着至关重要的作用,但是经革兰氏染色后的孢子的形态与生殖道分泌物中的一些上皮细胞核和白细胞核的形态非常相似,而且生殖道的生物标本中有时会存在男性的精子,精子经革兰氏染色后的形态与孢子也非常相似,因此利用计算机视觉技术识别孢子时,这三类容易造成孢子的误检。
目前,针对女性生殖道微生态下孢子的检测识别,研究者们提出了一些解决方案,但是这些解决方案并未很好的解决以上问题。
公开号为CN107480662A的发明专利名称为“一种霉菌图像识别方法及其装置”中通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,自适应阈值分割方法受参数变化的影响比较大,不同参数针对同一图像分割出来的结果不同,而且无法通过统一确定的自适应阈值参数对大部分场景进行很好的分割,而分割的结果又会对后面的筛选方法产生很大的影响,如果单个孢子与其他微生物产生交叉堆叠就影响了孢子的形态,通过这些几何形态的方法筛选交叉堆叠的孢子也就失效了,因此采用该方法容易造成孢子的漏检;同时,基于该方法分割出的一些上皮细胞核、白细胞核和精子在形态上与孢子非常相似,容易造成孢子的误检。
另外,公开号为CN110458808A,发明专利名称为“基于形态学与YOLO算法的女性生殖道病原体识别方法”,主要通过基于卷积神经网络的目标检测算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的孢子,该方法可比较有效地克服孢子之间堆叠且孢子与女性生殖道微生态中其他的微生物堆叠的情况,提高孢子的检出率,但是该方法将与孢子非常相似的一些上皮细胞核、白细胞核和精子作为背景训练,无法很好的区分孢子与上皮细胞核、白细胞核和精子,也容易造成孢子的误检,导致孢子假阳性率的提升。
人工智能技术的进展对计算机视觉领域产生了极大的提升,其中标注数据又是人工智能中最重要的三要素之一。针对与孢子非常相似的上皮细胞核,目前常用的标注规则是按照上皮细胞核的最小外接直立矩形标注,但是不同上皮细胞核的面积大小不等且差距较大,其中面积较小且革兰氏染色深染的上皮细胞核与孢子的形态非常像,因此现有技术中按照常规的最小外接直立矩形标注上皮细胞核和孢子,容易造成上皮细胞核类内差距大且上皮细胞核与孢子之间的类间差距小,无法很好的训练一个有效的目标检测模型,即使再结合传统的计算机视觉技术,也容易造成孢子的误检。另外,针对脱落的白细胞核和精子,因为这类数据量是很少的,很难采集到大量数据,因此在数据量不充分的情况下,无法利用深度学习技术对其与孢子进行很好的区分。
发明内容
本发明要解决的技术问题是克服现有技术的上述缺陷,提供一种妇科微生态中孢子的智能检测识别方法、设备及存储介质。通过引入超参数制定有效的标注规则,训练出有效目标AI检测模型,已经有效的区分上皮细胞核和孢子,再通过机器视觉技术二次确定该目标物是否是孢子,有效降低上皮细胞核、白细胞核和精子对孢子识别的影响,极大地降低了孢子的误检率。
本发明是通过以下技术方案实现的:
一种妇科微生态中孢子的检测识别方法,包括如下步骤:
将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,再通过机器视觉技术二次确定该目标物是否是孢子;
所述有效目标AI检测模型的生成方法为:
S1:采集妇科阴道微生态下的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子、上皮细胞核其中一种;
S2:将S1的原始图片按照最小外接直立矩形的规则人工标注出上皮细胞核和孢子,其中“spore”作为孢子的类别标签,“necleus”作为上皮细胞核的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置;
S3:通过引入超参数扩大类别标签是“necleus”的目标物的标注区域,将扩充后新的坐标位置替换该类目标物的原坐标位置,并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集;
S4:基于主干网络架构并结合深度学习目标检测框架将S3中的有效训练集输入到卷积神经网络进行训练,得到有效目标AI检测模型。
如此设计,首先,针对上皮细胞核的标注,通过引入超参数扩大上皮细胞核的标注区域,标注出的训练集有利于训练出有效目标AI检测模型,如果采用传统的最小外接的直立矩形标注孢子和上皮细胞核,这样构建出的训练集类间差距小且类内差距大,无法很好的训练出有效的目标检测模型。另外,如果按照扩大后上皮细胞核的区域直接标注,很难精准的标注准确,而且目前的标注工具没有完成自动扩充的功能,因此S2先按照最小外接直立矩形的规则人工标注出上皮细胞核,然后S3通过引入超参数扩大上皮细胞核的标注区域,这样可有效减少上皮细胞核的类内差距,同时增加与孢子类别之间的类间差距,标注出的训练集满足类间差距大且类内差距小,更有利于训练出有效目标AI检测模型。最后,再通过机器视觉技术二次确定该目标物是否是孢子,有效降低上皮细胞核、白细胞核和精子对孢子识别的影响,极大地降低了孢子的误检率。
作为优化,S1中采集基于革兰氏染色的妇科阴道微生态下的多场景的显微图像,以便训练出有效的目标检测模型,为了保证数据的完备性,更条理的整理出图像训练集按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
作为优化,S3中通过引入一个超参数s扩大上皮细胞核的标注区域,具体步骤为:设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存到标注文件中。如此设计,先按照最小外接直立矩形的规则人工标注出上皮细胞核,然后通过以上程序完成批处理扩充上皮细胞核的标注区域,这样可有效减少上皮细胞核的类内差距,同时增加与孢子类别之间的类间差距,标注出的训练集满足类间差距大且类内差距小,更有利于训练出有效目标AI检测模型。
作为优化,超参数s的取值为1。如此设计,效果较好。
作为优化,S4中所述主干网络架构包括但不限于VGG-16、VGG-19、ResNet-50、ResNet-101、InceptionV3或mobilenetv2中的一种;所述深度学习目标检测框架包括但不限于SSD、Faster-RCNN或YOLO中的一种。如此设计,使用方便,且效果较好。
作为优化,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。如此设计,使用方便,且效果最佳;另外,采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
作为优化,通过机器视觉技术二次确定该目标物是否是孢子的方法为:利用S4得到的有效目标AI检测模型检测标签为“spore”的目标物,并通过颜色分割再次排除细胞核对孢子识别的干扰,将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,从而确定该目标物是否孢子。如此设计,可进一步降低上皮细胞核和白细胞核对孢子识别的影响,有效降低孢子的误检率。
作为优化,设定孢子的颜色范围在
Figure BDA0002995920070000031
Figure BDA0002995920070000032
之间,染色正常的细胞核的颜色范围在
Figure BDA0002995920070000033
Figure BDA0002995920070000034
之间。将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,即如果
Figure BDA0002995920070000035
则该像素在孢子的颜色范围内,假设满足该条件的总的像素个数为Nspore,如果
Figure BDA0002995920070000036
Figure BDA0002995920070000037
则该像素在染色正常的细胞核的颜色范围内,假设满足该条件的总的像素个数为Nnecleus,如果Nspore≥Nnecleus,则确定该感兴趣区域为孢子,如果Nspore<Nnecleus,则确定该感兴趣区域不是孢子。如此设计,通过上述步骤有效降低上皮细胞核和白细胞核对孢子识别的影响,进一步降低孢子的误检率。
作为优化,通过机器视觉技术二次确定该目标物是否是孢子的方法为:利用S4得到的有效目标AI检测模型检测标签为“spore”的目标物,并通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,从而确定该目标物是否孢子。如此设计,可进一步降低精子对孢子识别的影响,有效降低孢子的误检率。
作为优化,将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割,精子经革兰氏染色后,有一端的染色与孢子的颜色非常相近,但是另一端的颜色相对较浅,设定孢子的颜色范围在
Figure BDA0002995920070000038
Figure BDA0002995920070000039
之间,精子的浅色区域颜色范围在
Figure BDA00029959200700000310
Figure BDA00029959200700000311
之间,而且浅色区域的面积是深色区域的面积的
Figure BDA00029959200700000312
Figure BDA00029959200700000313
对S4得到的有效目标AI检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割,利用孢子颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,设定该最小外接旋转矩形的面积为Area,接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,选择面积最大的最小外接旋转矩形,设定面积为area,计算比例值
Figure BDA00029959200700000314
如果比例
Figure BDA00029959200700000315
那么该标签为“spore”的感兴趣区域为精子,反之,该标签为“spore”的感兴趣区域为孢子。如此设计,通过上述步骤有效降低精子对孢子识别的影响,进一步降低孢子的误检率。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
本发明的有益效果是:
本发明针对上皮细胞核的标注,通过引入超参数扩大上皮细胞核的标注区域,标注出的训练集有利于训练出有效目标AI检测模型。另外,如果按照扩大后的区域直接标注,很难精准的标注准确,而且目前的标注工具没有完成自动扩充的功能,因此本发明先用最小外包直立矩形标注上皮细胞核,然后通过引入超参数扩大上皮细胞核的标注区域,这样可有效减少上皮细胞核的类内差距,同时增加与孢子类别之间的类间差距,构建出类内差距小且类间差距大的检测孢子和上皮细胞核的有效训练集,有利于加速训练模型的收敛速度且训练出有效目标AI检测模型。其次,通过机器视觉技术二次确定该目标物是否是孢子,进一步有效降低上皮细胞核、白细胞核和精子对孢子识别的影响,极大地降低了孢子的误检率。此外,本发明可有效检出与孢子本类别或者其他类别微生物堆叠分布的孢子,有效降低孢子的漏检率,具有较好的实际应用价值和推广价值。
附图说明
下面结合附图对一种妇科生殖道微生态下有效区分孢子与上皮细胞核的方法、设备及存储介质作进一步说明:
图1是本发明一种妇科微生态中孢子的检测识别方法的流程图;
图2是本发明实施例1的流程图;
图3是本发明实施例2的流程图;
图4为扩大上皮细胞核标注区域的流程示意图;
图5为有效目标AI检测模型的架构示意图;
图6为通过颜色分割区分孢子和细胞核的流程示意图;
图7为通过颜色分割、轮廓和外接矩形面积区分孢子和精子的流程示意图;
图8为孢子呈现堆叠分布的待检测示意图;
图9为针对图8的采用对比实施例4方法检测目标物所得的示意图;
图10为针对图9的两个感兴趣区域的示意图;
图11为针对图8的采用对比实施例5方法检测目标物所得的示意图;
图12为针对图8的采用实施例1方法检测目标物所得的示意图;
图13为针对图12的两个感兴趣区域的示意图;
图14为孢子零散分布且存在较小的深染的上皮细胞核场景下的待检测示意图;
图15为针对图14的采用对比实施例1方法检测目标物所得的示意图;
图16为针对图14的采用对比实施例4方法检测目标物所得的示意图;
图17为针对图14的采用对比实施例5方法检测目标物所得的示意图;
图18为针对图14的采用实施例1方法检测目标物所得的示意图;
图19为深染的上皮细胞核场景下的待检测示意图;
图20为针对图19的采用对比实施例1方法检测目标物所得的示意图;
图21为针对图19的采用对比实施例4方法检测目标物所得的示意图;
图22为针对图19的采用对比实施例5方法检测目标物所得的示意图;
图23为针对图19的采用实施例1方法检测目标物所得的示意图;
图24为染色正常但是形态与孢子及其相似的上皮细胞核场景下的待检测示意图;
图25为针对图24的采用对比实施例2方法检测目标物所得的示意图;
图26为针对图25的一个感兴趣区域的示例图;
图27为针对图26截取出来的感兴趣区域1的示例图;
图28为利用染色正常的细胞核的HSV的颜色范围对图27的分割结果的示例图;
图29为利用孢子的HSV的颜色范围对图27的分割结果的示例图;
图30为针对图24的采用对比实施例4方法检测目标物所得的示意图;
图31为针对图24的采用对比实施例5方法检测目标物所得的示意图;
图32为针对图24的采用实施例1方法检测目标物所得的示意图;
图33为孢子零散分布存在深染的上皮细胞核、且存在脱落的白细胞核的场景下的待检测示意图;
图34为针对图33的采用对比实施例2方法检测目标物所得的示意图;
图35为针对图34的一个感兴趣区域1的示意图;
图36为针对图35截取出来的感兴趣区域1的示意图;
图37为利用染色正常的细胞核的HSV的颜色范围对图36的分割结果的示意图;
图38为针对图33的采用对比实施例4方法检测目标物所得的示意图;
图39为针对图33的采用对比实施例5方法检测目标物所得的示意图;
图40为针对图33的采用实施例1方法检测目标物所得的示意图;
图41为染色正常的上皮细胞核、且存在精子的场景下的示意图;
图42为针对图41的采用对比实施例3方法检测目标物所得的示意图;
图43为针对图42的感兴趣1的示意图;
图44为针对图43截取出来的精子的示意图;
图45为利用孢子的颜色分割图44的二值图的示意图;
图46为针对图45的最小外接旋转矩形的示意图;
图47为旋转矩形画在图44上的示意图;
图48为利用精子的浅色区域分割图44的示意图;
图49为利用精子的浅色区域分割图44的二值图的示意图;
图50为图49的轮廓的最小外接旋转四边形中的面积最大的示意图;
图51为将图47中的旋转矩形画在图44的的示意图;
图52为针对图41的采用对比实施例4方法检测目标物所得的示意图;
图53为针对图41的采用对比实施例5方法检测目标物所得的示意图;
图54为针对图41的采用实施例2方法检测目标物所得的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
实施例1:
如图2所示,一种妇科微生态中孢子的智能检测识别方法,包括如下步骤:
将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,再通过颜色分割再次排除细胞核对孢子识别的干扰,二次确定该目标物是否是孢子。
所述有效目标AI检测模型的生成方法为:
S1:采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子和上皮细胞核其中一种,图像的分辨率为1600×1200,为了训练出有效的目标检测模型,保证数据的完备性,更条理的整理出图像训练集,按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
S2:将S1的原始图片交由微生态领域相关专家,利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子,其中“necleus”作为上皮细胞核的类别标签,“spore”作为孢子的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置。
S3:扩大上皮细胞核的标注区域并保存到标注文件中,具体流程如图4所示,抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置,通过引入超参数s扩大上皮细胞核的标注区域,设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),对于超参数s的取值,优选s=1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集。
S4:如图5所示,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
通过颜色分割再次排除细胞核对孢子识别的干扰,二次确定该目标物是否是孢子的方法为:
S5:利用S4训练出的有效目标AI检测模型检测出标签为“spore”的目标物,并通过颜色再次排除细胞核对孢子识别的干扰,将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,从而确定该目标物是否孢子。具体流程如图6所示,设定孢子的HSV颜色范围在
Figure BDA0002995920070000061
Figure BDA0002995920070000062
之间,染色正常的细胞核的HSV颜色范围在
Figure BDA0002995920070000063
Figure BDA0002995920070000064
之间。将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,即如果h∈[0,260],
Figure BDA0002995920070000065
则该像素在孢子的颜色范围内,假设满足该条件的总的像素个数为Nspore,如果h∈[260,360],
Figure BDA0002995920070000066
则该像素在染色正常的细胞核的颜色范围内,假设满足该条件的总的像素个数为Nnecleus,如果Nspore≥Nnecleus,则确定该感兴趣区域是孢子,如果Nspore<Nnecleus,则确定该感兴趣区域不是孢子。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
实施例2:
如图2所示,一种妇科微生态中孢子的智能检测识别方法,包括如下步骤:
将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,从而确定该目标物是否孢子。
所述有效目标AI检测模型的生成方法为:
S1:采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子和上皮细胞核其中一种,图像的分辨率为1600×1200,为了训练出有效的目标检测模型,保证数据的完备性,更条理的整理出图像训练集,按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
S2:将S1的原始图片交由微生态领域相关专家,利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子,其中“necleus”作为上皮细胞核的类别标签,“spore”作为孢子的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置。
S3:扩大上皮细胞核的标注区域并保存到标注文件中,具体流程如图4所示,抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置,通过引入超参数s扩大上皮细胞核的标注区域,设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),对于超参数s的取值,优选s=1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集。
S4:如图5所示,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,从而确定该目标物是否孢子的方法为:
S5:将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割,精子经革兰氏染色后,有一端的染色与孢子的颜色非常相近,但是另一端的颜色相对较浅,具体流程如图7所示,设定精子的深色区域的颜色范围(同孢子的颜色范围)在
Figure BDA0002995920070000071
Figure BDA0002995920070000072
之间,精子的浅色区域颜色范围在
Figure BDA0002995920070000073
Figure BDA0002995920070000074
之间,而且浅色区域的面积是深色区域的面积的
Figure BDA0002995920070000075
Figure BDA0002995920070000076
对S4得到的有效目标AI检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割,利用孢子颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,设定该最小外接旋转矩形的面积为Area,接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,选择面积最大的最小外接旋转矩形,设定面积为area,计算比例值
Figure BDA0002995920070000077
如果比例
Figure BDA0002995920070000078
那么该标签为“spore”的感兴趣区域为精子,反之,该标签为“spore”的感兴趣区域为孢子。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
对比实施例1:
同实施例1相比,其区别在于:没有实施例1中如流程图4所示的通过引入超参数s扩大上皮细胞核的标注区域的步骤,其他同实施例1。
对比实施例1包括如下步骤:
将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,再通过颜色分割再次排除细胞核对孢子识别的干扰,二次确定该目标物是否是孢子。
所述有效目标AI检测模型的生成方法为:
S1:采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子和上皮细胞核其中一种,图像的分辨率为1600×1200,为了训练出有效的目标检测模型,保证数据的完备性,更条理的整理出图像训练集,按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
S2:将S1的原始图片交由微生态领域相关专家,利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子,其中“necleus”作为上皮细胞核的类别标签,“spore”作为孢子的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置。
S3:如图5所示,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
通过颜色分割再次排除细胞核对孢子识别的干扰,二次确定该目标物是否是孢子的方法为:
S4:利用S3训练出的有效目标AI检测模型检测出标签为“spore”的目标物,并通过颜色再次排除细胞核对孢子识别的干扰,将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,从而确定该目标物是否孢子。具体流程如图4所示,孢子的HSV颜色范围在
Figure BDA0002995920070000081
Figure BDA0002995920070000082
之间,染色正常的细胞核的HSV颜色范围在
Figure BDA0002995920070000083
Figure BDA0002995920070000084
之间。将标签为”spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内,即如果h∈[0,260],
Figure BDA0002995920070000085
则该像素在孢子的颜色范围内,假设满足该条件的总的像素个数为Nspore,如果h∈[260,360],
Figure BDA0002995920070000086
则该像素在染色正常的细胞核的颜色范围内,假设满足该条件的总的像素个数为Nnecleus,如果Nspore≥Nnecleus,则确定该感兴趣区域为孢子,如果Nspore<Nnecleus,则确定该感兴趣区域不是孢子。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
对比实施例2:
同实施例1相比,其区别在于没有流程图6所示的通过颜色分割二次确定该目标物是否是孢子的步骤,其他同实施例1。
对比实施例2包括如下步骤:
S1:采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子和上皮细胞核其中一种,图像的分辨率为1600×1200,为了训练出有效的目标检测模型,保证数据的完备性,更条理的整理出图像训练集,按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
S2:将S1的原始图片交由微生态领域相关专家,利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子,其中“necleus”作为上皮细胞核的类别标签,“spore”作为孢子的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置。
S3:扩大上皮细胞核的标注区域并保存到标注文件中,具体流程如图4所示,抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置,通过引入超参数s扩大上皮细胞核的标注区域,设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),对于超参数s的取值,优选s=1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集。
S4:如图5所示,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
利用S4训练出的有效目标AI检测模型检测出标签为“spore”的目标物。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
对比实施例3:
同实施例2相比,其区别在于没有如图7具体流程所示通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,从而确定该目标物是否孢子的步骤,其他同实施例2。
对比实施例3包括如下步骤:
S1:采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子和上皮细胞核其中一种,图像的分辨率为1600×1200,为了训练出有效的目标检测模型,保证数据的完备性,更条理的整理出图像训练集,按照孢子的分布和上皮细胞核的形态进行划分分类:
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
S2:将S1的原始图片交由微生态领域相关专家,利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子,其中“necleus”作为上皮细胞核的类别标签,“spore”作为孢子的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置。
S3:扩大上皮细胞核的标注区域并保存到标注文件中,具体流程如图4所示,抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置,通过引入超参数s扩大上皮细胞核的标注区域,设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),对于超参数s的取值,优选s=1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集。
S4:如图5所示,采用基于VGG-16网络的主干网络架构,结合Faster-RCNN的深度学习目标检测框架,输入到卷积神经网络的训练图像的尺寸标准化为512×512×3。采用512×512×3的输入尺寸可以有效去除比孢子小,但是形态上与孢子很像的目标物的影响。
利用S4训练出的有效目标AI检测模型检测出标签为“spore”的目标物。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
对比实施例4:
采用公开号为CN107480662A的发明专利名称为“一种霉菌图像识别方法及其装置”中通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选目标物孢子。
对比实施例5:
采用公开号为CN110458808A,发明专利名称为“基于形态学与YOLO算法的女性生殖道病原体识别方法”,中只对孢子进行标注,未标注上皮细胞核,基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子。
下面将容易造成孢子误检或漏检的多种场景下的待检测图像,分别采用实施例1、实施例2、对比实施例1、对比实施例2、对比实施例3、对比实施例4、对比实施例5的方法检测目标物,具体如下:
一、将孢子与孢子堆叠分布的场景和孢子与其他微生物堆叠分布的场景的待检测图像如图8,分别采用实施例1、对比实施例4和对比实施例5的方法检测目标物孢子,如果使用对比实施例4的自适应阈值分割方法检测目标物孢子,分割结果如图9所示,孢子与孢子堆叠,图10为针对图9的两个感兴趣区域的示意图,如图10的感兴趣区域1所示,孢子与其他微生物堆叠,如图9的感兴趣区域2所示,均已经影响了单个孢子的形态;使用对比实施例5的方法检测目标物,结果如图11所示;使用本发明实施例1的方法检测目标物孢子,结果如图12所示,图13为针对图12的两个感兴趣区域的示意图。再对比人工审核的孢子数量,分析结果如表1:
孢子数量 漏检孢子数量
实施例1(本发明) 9 0
对比实施例4 3 6
对比实施例5 7 2
人工审核 9 0
从表1可以看出,采用本发明实施例1的方法,未漏检孢子;而采用对比实施例4的方法,有6个孢子被漏检,采用对比实施例5的方法,有2个孢子被漏检。可见本发明的方法可以有效处理孢子堆叠分布的场景,不易造成孢子漏检,提升检出率。而采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,容易造成孢子漏检;采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,也容易造成孢子漏检。
二、将孢子零散分布且存在较小的深染的上皮细胞核场景下的待检测图像如图14,分别采用实施例1、对比实施例1、对比实施例4和对比实施例5的方法检测目标物;使用对比实施例1的方法检测目标物,结果如图15所示;使用对比实施例4的方法检测目标物,结果如图16所示;使用对比实施例5的方法检测目标物,结果如图17所示;使用实施例1的方法检测目标物,结果如图18所示。再对比人工审核的数量,统计如表2:
孢子数量 上皮细胞核数量 误检孢子数量
实施例1(本发明) 1 2 0
对比实施例1 3 0 2
对比实施例4 3 0 2
对比实施例5 3 0 2
人工审核 1 2 0
从表2可以看出,采用本发明实施例1的方法,上皮细胞核未被误检为孢子,而采用对比实施例1、对比实施例4和对比实施例5的方法,均有2个上皮细胞核被误检为孢子,可见本发明通过先用最小外包直立矩形标注上皮细胞核,然后通过引入超参数扩大上皮细胞核的标注区域,可有效减少上皮细胞核的类内差距,同时增加与孢子类别之间的类间差距,标注出的训练集满足类间差距大且类内差距小,更有利于训练出有效的人工智能目标检测模型,上皮细胞核不易被误检为孢子。而采用对比实施例1的方法采用常规的最小外包直立矩形标注上皮细胞核,分割出的上皮细胞核的形态与孢子非常相似,容易造成上皮细胞核被误检为孢子;采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,容易造成上皮细胞核被误检为孢子;采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,也容易造成上皮细胞核被误检为孢子。
三、将深染的上皮细胞核场景下的待检测图像如图19,分别采用实施例1、对比实施例1、对比实施例4和对比实施例5的方法检测目标物;使用对比实施例1的方法检测目标物,结果如图20所示;使用对比实施例4的方法检测目标物,结果如图21所示;使用对比实施例5的方法检测目标物,结果如图22所示;使用实施例1的方法检测目标物,结果如图23所示。再对比人工审核的数量,统计如表3:
孢子数量 上皮细胞核数量 误检孢子数量
实施例1(本发明) 0 4 0
对比实施例1 3 1 3
对比实施例4 4 0 4
对比实施例5 4 0 4
人工审核 0 4 0
从表3可以看出,采用本发明实施例1的方法,上皮细胞核未被误检为孢子,而采用对比实施例1的方法,有3个上皮细胞核被误检为孢子,采用对比实施例4的方法,有4个上皮细胞核被误检为孢子,采用对比实施例5的方法,有4个上皮细胞核被误检为孢子。可见本发明通过先用最小外包直立矩形标注上皮细胞核,然后通过引入超参数扩大上皮细胞核的标注区域,可有效减少上皮细胞核的类内差距,同时增加与孢子类别之间的类间差距,标注出的训练集满足类间差距大且类内差距小,更有利于训练出有效的人工智能目标检测模型,上皮细胞核不易被误检为孢子。而采用对比实施例1的方法采用常规的最小外包直立矩形标注上皮细胞核,分割出的上皮细胞核的形态与孢子非常相似,容易造成上皮细胞核被误检为孢子;采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,容易造成上皮细胞核被误检为孢子;采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,也容易造成上皮细胞核被误检为孢子。
四、将染色正常但是形态与孢子及其相似的上皮细胞核的场景下的待检测图像如图24,分别采用实施例1、对比实施例2、对比实施例4和对比实施例5的方法检测目标物,使用对比实施例2的方法检测目标物,结果如图25所示,图26为针对图25的一个感兴趣区域的示例图,图27为针对图26截取出来的感兴趣区域1的示例图,图28为利用染色正常的细胞核的HSV的颜色范围对图27的分割结果的示例图,图29为利用孢子的HSV的颜色范围对图27的分割结果的示例图;使用对比实施例4的方法检测目标物,结果如图30所示;使用对比实施例5的方法检测目标物,结果如图31所示;使用实施例1的方法检测目标物,结果如图32所示。再对比人工审核的数量,统计如表4:
孢子数量 上皮细胞核数量 误检孢子数量
实施例1(本发明) 4 3 0
对比实施例2 5 3 1
对比实施例4 7 0 3
对比实施例5 5 0 1
人工审核 4 4 0
从表4可以看出,采用本发明实施例1的方法,上皮细胞核未被误检为孢子,而采用对比实施例2的方法,有1个上皮细胞核被误检为孢子,采用对比实施例4的方法,有3个上皮细胞核被误检为孢子,采用对比实施例5的方法,有1个上皮细胞核被误检为孢子。可见本发明通过颜色分割再次排除上皮细胞核对孢子识别的干扰,不易被误检为孢子。而采用对比实施例2的方法还是会造成上皮细胞核被误检为孢子;采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,容易造成上皮细胞核被误检为孢子;采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,也容易造成上皮细胞核被误检为孢子。
五、将孢子零散分布存在深染的上皮细胞核、且存在脱落的白细胞核的场景下的待检测图像如图33,分别采用实施例1、对比实施例2、对比实施例4和对比实施例5的方法检测目标物;使用对比实施例2的方法检测目标物,结果如图34所示,图35为针对图34的一个感兴趣区域1的示意图,图36为针对图35截取出来的感兴趣区域1的示意图,图37为利用染色正常的细胞核的HSV的颜色范围对图36的分割结果的示意图;使用对比实施例4的方法检测目标物,结果如图38所示;使用对比实施例5的方法检测目标物,结果如图39所示;使用实施例1的方法检测目标物,结果如图40所示。再对比人工审核的数量,统计如表5:
孢子数量 上皮细胞核数量 白细胞核数量 误检孢子数量
实施例1(本发明) 6 4 0 0
对比实施例2 7 4 0 1
对比实施例4 11 0 0 5
对比实施例5 9 0 0 3
人工审核 6 4 1 0
从表5可以看出,采用本发明实施例1的方法,上皮细胞核和白细胞核均未被误检为孢子,而采用对比实施例2的方法,有1个白细胞核被误检为孢子,采用对比实施例4的方法,有4个上皮细胞核被误检为孢子,有1个白细胞核被误检为孢子,采用对比实施例5的方法,有2个上皮细胞核被误检为孢子,有1个白细胞核被误检为孢子。可见本发明通过颜色分割再次排除白细胞核对孢子识别的干扰,不易被误检为孢子。而采用对比实施例2的方法容易造成白细胞核被误检为孢子。采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,容易造成细胞核被误检为孢子。采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,也容易造成细胞核被误检为孢子。
六、将染色正常的上皮细胞核、且存在精子的场景下的待检测图像如图41,分别采用实施例2、对比实施例3、对比实施例4和对比实施例5的方法检测目标物;使用对比实施例3的方法检测目标物,结果如图42所示,图43为针对图42的感兴趣1的示意图,图44为针对图43截取出来的精子的示意图,图45为利用孢子的颜色分割图44的二值图的示意图,图46为针对图45的最小外接旋转矩形的示意图,图47为旋转矩形画在图44上的示意图,图48为利用精子的浅色区域分割图44的示意图,图49为利用精子的浅色区域分割图44的二值图的示意图,图50为图49的轮廓的最小外接旋转四边形中的面积最大的示意图,图51为将图47中的旋转矩形画在图44的的示意图;使用对比实施例4的方法检测目标物,结果如图52所示;使用对比实施例5的方法检测目标物,结果如图53所示;使用实施例2的方法检测目标物,结果如图54所示。再对比人工审核的数量,统计如表6:
孢子数量 上皮细胞核数量 精子数量 误检孢子数量
实施例2(本发明) 0 1 1 0
对比实施例3 1 1 0 1
对比实施例4 1 0 0 1
对比实施例5 1 0 0 1
人工审核 0 1 1 0
从表6可以看出,采用本发明实施例2的方法,上皮细胞核和精子均未被误检为孢子,而采用对比实施例3的方法,有1个精子被误检为孢子,采用对比实施例4的方法,有1个精子被误检为孢子,且未检出上皮细胞核,采用对比实施例5的方法,有1个精子被误检为孢子,且未检出上皮细胞核。可见本发明通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,不易误检孢子。而采用对比实施例3的方法精子容易被误检为孢子。采用对比实施例4通过自适应阈值分割方法进行图像分割,然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选,精子容易被误检为孢子。采用对比实施例5基于形态学与YOLO算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子,精子也容易被误检为孢子。
上述具体实施方式仅是本发明的具体个案,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更为等同变化的等效实施方式。但凡是未脱离本发明技术原理的前提下,依据本发明技术实质对以上实施方式所作的任何修改,皆应落入本发明的专利保护范围。

Claims (10)

1.一种妇科微生态中孢子的检测识别方法,其特征在于,包括如下步骤:
将待检测的图像输入到有效目标AI检测模型,检测出对应目标物,再通过机器视觉技术二次确定该目标物是否是孢子;
所述有效目标AI检测模型的生成方法为:
S1:采集妇科阴道微生态下的多场景的显微图像,得到原始图片,这些原始图片中至少包含孢子、上皮细胞核其中一种;
S2:将S1的原始图片按照最小外接直立矩形的规则人工标注出上皮细胞核和孢子,其中“spore”作为孢子的类别标签,“necleus”作为上皮细胞核的类别标签,将标注出的目标物信息保存到标注文件中,目标物信息包括目标物的类别标签和对应的坐标位置;
S3:通过引入超参数s扩大类别标签是“necleus”的目标物的标注区域,
设定上皮细胞核的最小外包直立矩形的宽为w高为h,在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s×h,在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s×w,设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),则最小外包的直立矩形的宽w=xmax-xmin,高h=ymax-ymin,扩大后的上皮细胞核的标注框的新左上角点的坐标为(xmin-s×w,ymin-s×h),即标签为“necleus”的目标物的新左上角点的坐标为((1+s)×xmin-s×xmax,(1+s)×ymin-s×ymax),扩大后的上皮细胞核的标注框的新右下角点的坐标为(xmax+s×w,ymax+s×h),即标签为“necleus”目标物的新右下角点的坐标为((1+s)×xmax-s×xmin,(1+s)×ymax-s×ymin),
按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件,从而制作出类间差距大且类内差距小的有效训练集;
S4:基于主干网络架构并结合深度学习目标检测框架将S3中的有效训练集输入到卷积神经网络进行训练,得到有效目标AI检测模型。
2.如权利要求1所述的一种妇科微生态中孢子的检测识别方法,其特征在于:S1中采集基于革兰氏染色的妇科阴道微生态下的多场景的显微图像,按照孢子的分布和上皮细胞核的形态进行划分分类,
将孢子在显微图像中的分布分为以下三类场景:孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布;
将上皮细胞核根据面积和颜色分为四类场景,上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景,包括染色正常的上皮细胞核和深染的上皮细胞核,其中染色正常的上皮细胞核呈现粉色,深染的上皮细胞核呈现紫黑色,上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景;
以上这些场景可叠加出现。
3.如权利要求1所述的一种妇科微生态中孢子的检测识别方法,其特征在于:对于超参数s的取值,s=1。
4.如权利要求1所述的一种妇科微生态中孢子的检测识别方法,其特征在于:S4中所述主干网络架构包括VGG-16、VGG-19、ResNet-50、ResNet-101、Inception V3或mobilenetv2中的一种;所述深度学习目标检测框架包括SSD、Faster-RCNN或YOLO中的一种。
5.如权利要求1-4所述的一种妇科微生态中孢子的检测识别方法,其特征在于:通过机器视觉技术二次确定该目标物是否是孢子的方法为:利用S4得到的有效目标AI检测模型检测标签为“spore”的目标物,并通过颜色分割再次排除细胞核对孢子识别的干扰,将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的上皮细胞核的颜色范围内,从而确定该目标物是否孢子。
6.如权利要求5所述的一种妇科微生态中孢子的检测识别方法,其特征在于:设定孢子的颜色范围在
Figure FDA0003513764920000021
Figure FDA0003513764920000022
之间,染色正常的细胞核的颜色范围在
Figure FDA0003513764920000023
Figure FDA0003513764920000024
之间,将标签为为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的上皮细胞核的颜色范围内,即如果
Figure FDA0003513764920000025
则该像素在孢子的颜色范围内,设定满足该条件的总的像素个数为Nspore,如果
Figure FDA0003513764920000026
则该像素在染色正常的细胞核的颜色范围内,设定满足该条件的总的像素个数为Nnecleus,如果Nspore≥Nnecleus,则确定该感兴趣区域为孢子,如果Nspore<Nnecleus,则确定该感兴趣区域不是孢子。
7.如权利要求1所述的一种妇科微生态中孢子的检测识别方法,其特征在于:通过机器视觉技术二次确定该目标物是否是孢子的方法为:利用S4得到的有效目标AI检测模型检测标签为“spore”的目标物,并通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰,从而确定该目标物是否孢子。
8.如权利要求7所述的一种妇科微生态中孢子的检测识别方法,其特征在于:将标签为“spore”的感兴趣区域从RGB颜色空间转换到HSV颜色空间,利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割,精子经革兰氏染色后,有一端的染色与孢子的颜色非常相近,但是另一端的颜色相对较浅,设定孢子的颜色范围在
Figure FDA0003513764920000031
Figure FDA0003513764920000032
之间,精子的浅色区域颜色范围在
Figure FDA0003513764920000033
Figure FDA0003513764920000034
之间,而且浅色区域的面积是深色区域的面积的
Figure FDA0003513764920000035
Figure FDA0003513764920000036
对S4得到的有效目标AI检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割,利用孢子颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,设定该最小外接旋转矩形的面积为Area,接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割,对分割后的结果进行轮廓检测,然后拟合轮廓的最小外接旋转矩形,选择面积最大的最小外接旋转矩形,设定面积为area,计算比例值
Figure FDA0003513764920000037
设定比例
Figure FDA0003513764920000038
那么该标签为“spore”的感兴趣区域为精子,反之,该标签为“spore”的感兴趣区域为孢子。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-8任一所述一种妇科微生态中孢子的检测识别方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述一种妇科微生态中孢子的检测识别方法的步骤。
CN202110329570.5A 2021-03-29 2021-03-29 一种妇科微生态中孢子的检测识别方法、设备及存储介质 Active CN113033417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110329570.5A CN113033417B (zh) 2021-03-29 2021-03-29 一种妇科微生态中孢子的检测识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110329570.5A CN113033417B (zh) 2021-03-29 2021-03-29 一种妇科微生态中孢子的检测识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113033417A CN113033417A (zh) 2021-06-25
CN113033417B true CN113033417B (zh) 2022-03-25

Family

ID=76472650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110329570.5A Active CN113033417B (zh) 2021-03-29 2021-03-29 一种妇科微生态中孢子的检测识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113033417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445408B (zh) * 2022-04-11 2022-06-24 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN116612117B (zh) * 2023-07-19 2023-10-13 广州盛安医学检验有限公司 一种基于形态学的女性生殖道病原体识别系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172456A1 (en) * 2019-03-08 2022-06-02 Google Llc Noise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
CN110458808B (zh) * 2019-07-10 2021-06-15 山东仕达思生物产业有限公司 基于形态学与yolo算法的女性生殖道病原体识别方法
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN112232327B (zh) * 2020-12-16 2021-04-16 南京金域医学检验所有限公司 一种基于深度学习的抗核抗体核型判读方法与设备
CN112528947B (zh) * 2020-12-24 2023-05-23 山东仕达思生物产业有限公司 一种通过增加方向维度的假菌丝检测方法、设备及存储介质
CN112528948A (zh) * 2020-12-24 2021-03-19 山东仕达思生物产业有限公司 一种快速标注且基于区域细分类的加德纳菌的检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN113033417A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN112070772B (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN113033417B (zh) 一种妇科微生态中孢子的检测识别方法、设备及存储介质
CN110136149A (zh) 基于深度神经网络的白细胞定位与分割方法
CN113111796B (zh) 一种芽生孢子的自动细化标注类别的检测识别方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN110458821A (zh) 一种基于深度神经网络模型的精子形态分析方法
CN113177927B (zh) 基于多特征和多分类器的骨髓细胞分类识别方法及系统
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN105426924A (zh) 一种基于图像中层特征的场景分类方法
Wang et al. Segmentation of corn leaf disease based on fully convolution neural network
CN112528947A (zh) 一种通过增加方向维度的假菌丝检测方法、设备及存储介质
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN114048789A (zh) 基于改进Cascade R-CNN的酒瓶瑕疵检测
CN109344859B (zh) 一种基于混合时间池化算子的有丝分裂定位和识别的方法
Cheng et al. Improved faster RCNN for white blood cells detection in blood smear image
CN113158979B (zh) 一种妇科显微图像大视野下白细胞的检测识别方法
CN112966645B (zh) 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法
CN114445408B (zh) 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN112950636B (zh) 基于R3Det的女性阴道病原体的旋转框目标检测方法
CN109615630A (zh) 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法
CN114742803A (zh) 一种结合深度学习与数字图像处理算法的血小板聚集检测方法
CN112528948A (zh) 一种快速标注且基于区域细分类的加德纳菌的检测方法、设备及存储介质
Song et al. Automatic vaginal bacteria segmentation and classification based on superpixel and deep learning
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN117115816B (zh) 一种白带显微图像中线索细胞的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method, Equipment, and Storage Medium for Detecting and Identifying Spores in Gynecological Microecology

Effective date of registration: 20230329

Granted publication date: 20220325

Pledgee: Overpass Branch of Jinan Rural Commercial Bank Co.,Ltd.

Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD.

Registration number: Y2023370000061

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20220325

Pledgee: Overpass Branch of Jinan Rural Commercial Bank Co.,Ltd.

Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD.

Registration number: Y2023370000061

PC01 Cancellation of the registration of the contract for pledge of patent right