CN113158979B - 一种妇科显微图像大视野下白细胞的检测识别方法 - Google Patents
一种妇科显微图像大视野下白细胞的检测识别方法 Download PDFInfo
- Publication number
- CN113158979B CN113158979B CN202110529487.2A CN202110529487A CN113158979B CN 113158979 B CN113158979 B CN 113158979B CN 202110529487 A CN202110529487 A CN 202110529487A CN 113158979 B CN113158979 B CN 113158979B
- Authority
- CN
- China
- Prior art keywords
- target object
- label
- white blood
- detection
- blood cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 210000000265 leukocyte Anatomy 0.000 claims abstract description 141
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 210000002919 epithelial cell Anatomy 0.000 claims abstract description 57
- 210000004940 nucleus Anatomy 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 15
- 210000004027 cell Anatomy 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- MXWJVTOOROXGIU-UHFFFAOYSA-N atrazine Chemical compound CCNC1=NC(Cl)=NC(NC(C)C)=N1 MXWJVTOOROXGIU-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000005002 female reproductive tract Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003756 cervix mucus Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本发明公开了一种妇科显微图像大视野下白细胞的检测识别方法，包括以下步骤：采集自动显微镜的低倍镜头下的妇科显微图像，得到原始图片；将原始图片使用同一个类别标签人工标注出上皮细胞核和白细胞，再使用另一个类别标签人工标注出上皮细胞，得到对应目标物的标注信息，并保存到标注文件中，构建出大视野下检测白细胞的有效训练集；基于DetNet、Faster‑RCNN和FPN，将构建出的训练集进行训练，得到目标检测模型；将待检测的图像输入目标检测模型进行检测，得到目标物的检测结果；通过目标物的位置坐标关系再将目标物区分为上皮细胞核和白细胞，得到最终检测结果。本发明在低倍镜大视野下有效排除上皮细胞核的干扰，降低白细胞的误检率，提升检测准确率。
Description
技术领域
本发明涉及妇科阴道微生态的显微图像中细胞的智能检测识别领域，尤其涉及一种妇科阴道微生态的显微图像中大视野下的白细胞的智能检测识别方法。
背景技术
通过分析女性生殖道微生态分泌物中细胞的成分可初步判断是否存在炎症及病变情况，而白细胞的量化是其中的重要指标之一，阴道分泌物标本的显微镜下的形态学检测方法是当前的金标准方法。
目前，针对女性生殖道分泌物中白细胞的检测识别，研究者们给出一些解决方案。
发明专利《一种妇科显微图像中白细胞自动识别与统计方法》(中国专利公开号CN107492088 A)、发明专利《一种白带显微图像中白细胞的自动识别方法》(中国专利公开号CN 106295588 A)和发明专利《一种基于卷积神经网络的白带中白细胞的自动识别方法》(中国专利公开号CN 106897682 A)，这三篇专利都是首先通过传统的机器视觉方法，包括边缘检测、阈值分割、计算面积、周长、长宽比、圆度、离心率等几何特性分割出疑似白细胞的区域，再通过白细胞的几何特性或者基于神经网络的分类方法再进一步确认是否为白细胞。该类方法有两个弊端：第一：白细胞易与其他目标物产生交叉堆叠影响了白细胞的几何特性，易造成白细胞的漏检，第二：上皮细胞核与白细胞在形态上非常相似，类间差距很小，该类方法无法进行进一步区分，容易造成白细胞的误检。
发明专利《白带显微图像细胞识别方法》(中国专利公开号CN 110826483 A)提出了一种白带显微图像的细胞识别的方法，该方法利用比较先进的基于卷积神经网络的改进的目标检测YOLOv3-tiny算法结合ResNet50检测白细胞，可有效克服与其他目标交叉堆叠的白细胞的情况，降低了白细胞的漏检率，但是其存在以下问题：因为白细胞与上皮细胞核是非常相似的，类间差距极小，卷积神经网络无法区分白细胞和上皮细胞核，还是会造成白细胞的误检。
此外，目前主要通过观察多个高倍镜视野完成白细胞的检测计数，而在低倍镜大视野下完成白细胞的检测计数方法暂未见有所报道。
发明内容
针对现有技术的不足，本发明提供一种妇科显微图像大视野下白细胞的检测识别方法。该方法基于DetNet并结合双阶段目标检测方法Faster-RCNN+FPN以及目标物位置坐标关系在低倍镜大视野下有效排除上皮细胞核的干扰完成白细胞的智能检测识别，有效降低白细胞的误检率，提升白细胞的检出率。
本发明是通过以下技术方案实现的：
一种妇科显微图像大视野下白细胞的检测识别方法，包括以下步骤：
S1：采集自动显微镜的低倍镜头下的妇科显微图像，得到原始图片，这些原始图片中至少包含上皮细胞、白细胞其中一种；
S2：将S1的原始图片使用同一个类别标签人工标注出上皮细胞核和白细胞，设定上皮细胞核和白细胞的类别标签同为“s”，再使用另一个类别标签人工标注出上皮细胞，设定上皮细胞的类别标签为“EC”，得到对应目标物的标注信息，并保存到标注文件中，从而构建出大视野下检测白细胞的有效训练集；
S3：基于DetNet并结合双阶段目标检测方法Faster-RCNN+FPN，将S2构建出的训练集进行训练，得到有效目标检测模型；
S4：将待检测的图像输入S3的有效目标检测模型进行检测，得到类别标签为“s”和“EC”的目标物的检测结果；
S5：通过目标物的位置坐标关系将类别标签为“s”的目标物区分为上皮细胞核和白细胞，得到最终检测结果。
作为优化，所述S2中采用外接直立矩形边界框的形式标注出对应的目标物，得到对应目标物的标记信息，其中标记信息包含目标物的类别标签和位置坐标信息。
作为优化，所述S3中的DetNet采用基于ResNet-101改进的DetNet-101。
作为优化，所述DetNet-101由1个卷积层、5个残差模块和全连接层构成；
其中第四个残差模块和第五个残差模块通过引入空洞卷积，将ResNet中的bottleNeck残差单元采用Dilated bottleneck残差单元替代，第四个残差模块和第五个残差模块均为3个重复的Dilated bottleNeck残差单元；
前三个残差模块分别为：3个重复的bottleNeck残差单元Ⅰ、4个重复的bottleNeck残差单元Ⅱ和20个重复的bottleNeck残差单元Ⅲ。
作为优化，所述S5的具体步骤为：
S51：设定上皮细胞核的类别标签为“n”，白细胞的类别标签为“w”；
S52：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的外侧，那么标签为“s”的目标物为白细胞，将其类别标签替换为“w”，代表白细胞；
S53：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的内侧，同一个标签为“EC”的目标物框的内侧可能存在一个或者多个标签为“s”的目标物，计算每个标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离，设定标签为“s”的目标物的中心点的坐标为(x,y)，标签为“EC”的中心点的坐标为(cx,cy)，它们之间的欧式距离为
计算出其中的最小欧式距离，若标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离大于这个最小欧式距离，则标签为“s”的目标物判定为白细胞，将其类别标签替换为“w”，代表白细胞；
S54：针对S53中的最小欧式距离的类别标签为“s”的目标物，设定检测出的标签为“EC”的目标物的宽为w,高为h，距离阈值为
其中，0<r<1，如果这个最小欧式距离不大于距离阈值thresholddistance，则判定该目标物为上皮细胞核，将其标签替换为“n”，如果这个最小欧式距离大于距离阈值thresholddistance，则判定该目标物为白细胞，将其标签替换为“w”。
作为优化，
本发明的有益效果是：
本发明将白细胞和上皮细胞核标注为同一个类别标签，并通过额外引入上皮细胞和上皮细胞核的检测识别，构建出类内差距小的有效训练集，训练出有效的目标检测模型，可以有效检检测出交叉堆叠的白细胞，提升白细胞的检出率，有效降低白细胞的误检率；另外，本发明在低倍镜大视野下识别白细胞，有更大的观察区域，可以更快速的定位白细胞较多的视野区域，高效完成白细胞的检测计数，减少医生观察显微镜的视野数，提高效率，节省时间成本和人力成本；此外，本发明基于DetNet并结合双阶段目标检测方法Faster-RCNN+FPN以及目标物位置坐标关系在低倍镜大视野下有效排除上皮细胞核的干扰完成白细胞的智能检测识别，进一步有效降低白细胞的误检率，提升白细胞的检出率，具有较好的实际应用价值和推广价值。
附图说明
下面结合附图对一种妇科显微图像大视野下白细胞的检测识别方法作进一步说明：
图1为本发明的流程示意图；
图2为截取的标注出的上皮细胞核且标签为“s”的示例图；
图3为截取的标注出的白细胞且标签为“s”的示例图；
图4为低倍镜大视野下包含上皮细胞和白细胞的显微图像的示例图；
图5为针对图4标注出的类别标签为“s”和类别标签为“EC”的目标物的示意图；
图6为DetNet-101的网络架构示意图；
图7为只有上皮细胞且无白细胞的示例图；
图8为针对图7检测出的类别标签为“EC”的目标物的示意图；
图9为针对7检测出的类别标签为“s”的目标物的示意图；
图10为针对图7检测出的类别标签为“EC”和类别标签为“s”的目标物的示意图；
图11为上皮细胞和白细胞同时存在，且白细胞既存在零散分布又存在交叉堆叠分布的复杂场景的示例图；
图12为针对图11检测出的类别标签为“EC”的目标物的示意图；
图13为针对图11检测出的类别标签为“s”的目标物的示意图；
图14为针对图11检测出的类别标签为“EC”和类别标签为“s”的目标物的示意图；
图15为利用位置坐标关系将检测出的类别标签为“s”的目标物区分为上皮细胞核和白细胞的流程示意图；
图16为针对图7的Sobel边缘检测的示意图；
图17为公开号CN106295588A的专利针对图7检测出的白细胞的示意图；
图18为公开号CN110826483A的专利针对图7检测出的白细胞的示意图；
图19为本发明针对图7检测出的类别标签为“EC”、“w”、“n”的目标物的示意图；
图20为针对图11进行大津阈值分割后的二值化的示意图；
图21为公开号CN107492088A和CN106897682A的专利针对图11检测出的白细胞的示意图；
图22为本发明针对图11检测出的类别标签为“EC”、“w”、“n”的目标物的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
如图1所示，一种妇科显微图像大视野下白细胞的检测识别方法，具体步骤如下：
步骤一：采集自动显微镜的低倍镜头下的妇科显微图像，得到原始图片，这些原始图片中至少包含上皮细胞、白细胞其中一种。
步骤二：构建低倍镜大视野下检测白细胞的有效训练集。在低倍镜大视野下，白细胞，如图2所示，上皮细胞核，如图3所示，二者在形态上极其相似，而且非常小，因此引入对上皮细胞核的标注，通常采取两种以下方式构建：第一种方式：不标注出上皮细胞核，将上皮细胞核作为背景训练，第二种方式：标注出上皮细胞核，上皮细胞核的类别标签与白细胞的类别标签是不同的。因为上皮细胞核和白细胞极其相似，类间差距很小，所以这两种方式制作的训练集训练出的模型容易造成白细胞漏检，而且无法很好的区分上皮细胞核和白细胞，易造成两者的混肴。基于以上原因标注上皮细胞核和白细胞使用同一个类别标签，设定两者的标注类别标签同为“s”。上皮细胞核又作为上皮细胞的一部分，引入对上皮细胞的标注，设定上皮细胞的标注类别标签为“EC”。按照以上的标注类别标签利用外接直立矩形的形式标注出对应的目标物，得到对应目标物的标注信息，包括类别标签和位置坐标信息，保存到标注文件中，构建出低倍镜大视野下检测白细胞的有效训练集。针对以上标注方式以图4为例，标注出类别标签为“s”和“EC”的结果如图5所示。
步骤三：根据训练集的特性选择设计合适的主干网络和检测方法训练目标检测模型。因为上皮细胞核和白细胞的在低倍镜大视野下形态很小，采用基于ResNet-101改进的DetNet-101(DetNet:A Backbone network for Object Detection)，作为主干网络，如图6所示，该网络对大目标物的定位更准确，而且还能更好的检测出小目标物。DetNet-101的前三个stage，stage1、stage2、stage3与ResNet-101是完全相同的，依次是1次卷积、3个重复的bottleNeck残差单元Ⅰ、4个重复的bottleNeck残差单元Ⅱ，stage4是20个重复的bottleNeck残差单元Ⅲ，stage5是3个重复的Dilated bottleNeck残差单元，stage6是3个重复的Dilated bottleNeck残差单元，最后一个是全连接层，一共是1+3×3+4×3+20×3+3×3+3×3+1＝101个卷积层，故称为DetNet-101，其中的stage5和stage6引入使用空洞卷积(Dilated/Atrous Convolution)，将bottleNeck残差单元中间的3×3的卷积替换为3×3的空洞卷积，即将bottleNeck残差单元替换为Dilated bottleNeck残差单元。
将DetNet-101提取特征结合检测方法Faster-RCNN+FPN训练检测类别标签为“s”和“EC”这两类目标物的有效目标检测模型。
步骤四：将待检测的图像输入步骤三的有效目标检测模型进行检测，得到类别标签为“s”和“EC”的目标物的检测结果。为了更好地展示检测效果，以图7和图11为例，其中图7是只有上皮细胞核而无白细胞的场景，图8是针对图7通过目标检测模型检测出的上皮细胞(即类别标签为“EC”的目标物)的结果，图9是针对7通过目标检测模型检测出的类别标签为“s”的目标物的结果，图10是针对图7检测出的类别标签为“EC”和“s”的目标物，即图8和图9综合的结果，共检测出55个类别标签为“EC”目标物和55个类别标签为“s”目标物。图11是上皮细胞和白细胞同时存在，且白细胞既存在零散分布又存在交叉堆叠分布的复杂场景，图12是针对图11通过目标检测模型检测出的上皮细胞(即类别标签为“EC”的目标物)的结果，图13是针对11通过目标检测模型检测出的类别标签为“s”的目标物的结果，图14是针对图11检测出的类别标签为“EC”和类别标签为“s”的目标物，即图12和图13综合的结果，共检测出127个类别标签为“EC”的目标物和365个类别标签为“s”的目标物。从检测结果可以看出Faster-RCNN+FPN+DetNet-101训练出的检测模型可以有效检测出上皮细胞，同时可以很好的检测出形态很小且零散或交叉堆叠分布的类别标签为“s”的目标物。
步骤五：利用位置坐标关系将标签为“s”的目标物区分为上皮细胞核和白细胞，得到最终检测结果。具体步骤为：
第一步：设定上皮细胞核的类别标签为“n”，白细胞的类别标签为“w”；
第二步：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的外侧，那么标签为“s”的目标物为白细胞，将其类别标签替换为“w”，代表白细胞；
第三步：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的内侧，同一个标签为“EC”的目标物框的内侧可能存在一个或者多个标签为“s”的目标物，计算每个标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离，设定标签为“s”的目标物的中心点的坐标为(x,y)，标签为“EC”的中心点的坐标为(cx,cy)，它们之间的欧式距离为
计算出其中的最小欧式距离，若标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离大于这个最小欧式距离，则标签为“s”的目标物判定为白细胞，将其类别标签替换为“w”，代表白细胞；
第四步：针对第三步中的最小欧式距离的类别标签为“s”的目标物，设定检测出的标签为“EC”的目标物的宽为w,高为h，距离阈值为
其中，
如果这个最小欧式距离不大于距离阈值thresholddistance，则判定该目标物为上皮细胞核，将其标签替换为“n”，如果这个最小欧式距离大于距离阈值thresholddistance，则判定该目标物为白细胞，将其标签替换为“w”。
为了更清楚的体现本发明的具体提升效果，以图7为例，图7为存在上皮细胞核且无白细胞的场景，本发明对比公开号CN106295588A的专利和公开号CN110826483A的专利。其中公开号CN106295588A的专利，名称为《一种白带显微图像中白细胞的自动识别方法》，利用基于Sobel边缘检测的分割技术及通过面积周长、离心率等几何特性筛选出疑似的白细胞区域，然后再经BP神经网络算法确定是否为白细胞，针对图7的Sobel边缘检测的结果如图16所示，然后根据几何特性和BP神经网络算法确定的白细胞个数有37个，如图17所示。公开号CN110826483A的专利，名称为《白带显微图像细胞识别方法》利用基于卷积神经网络的改进的目标检测YOLOv3-tiny算法结合ResNet50检测白细胞，检测出白细胞的个数为26个，如图18所示，本发明一共检测出55个类别标签为“s”的目标物，根据步骤五的位置坐标关系，排除了上皮细胞核的干扰，共检测出0个白细胞，即这55个类别标签为“s”的目标物为上皮细胞核，将其标签替换为“n”，结果如图19所示。综合以上，对比结果如表1所示：
| CN106295588A | CN110826483A | 本发明 | 人工审核 | |
| 白细胞的个数 | 37 | 26 | 0 | 0 |
对应的白细胞的误捡的个数，如表2所示：
| CN106295588A | CN110826483A | 本发明 | |
| 白细胞的误检个数 | 37 | 26 | 0 |
从表1和表2可以看出，采用本发明的方法误检白细胞数量为0，而采用公开号CN106295588A的方法误检白细胞数量为37，采用公开号CN110826483A的方法误检白细胞数量为26。公开号CN106295588A和CN110826483A的专利均出现了将上皮细胞核误识别为白细胞的情况，而采用本发明的方法并没有将与白细胞极其相似的上皮细胞核误识别为白细胞，可见，本发明有效提升检测准确率和检出率，降低误检率。
以图11为例，图11为上皮细胞和白细胞同时存在，且白细胞既存在零散分布又存在交叉堆叠分布的复杂场景，本发明对比公开号CN107492088A和CN106897682A的专利。其中公开号CN107492088A的专利，名称为《一种妇科显微图像中白细胞自动识别与统计方法》，利用传统的机器视觉方法包括边缘检测、大津阈值分割方法、几何特性得到疑似白细胞的区域，然后利用白细胞的几何特性，包括长宽比和圆度确定是否是白细胞的区域，其中由大津阈值法处理的结果如图20所示，再根据其几何特性确定的白细胞区域，如图21所示，共检测出127个白细胞。公开号CN106897682A的专利，名称为《一种基于卷积神经网络的白带中白细胞的自动识别方法》利用传统的机器视觉方法，包括二值化阈值分割法、计算面积、周长、宽高等几何特性，分割出疑似白细胞的区域，然后将分割出的疑似白细胞的区域输入到训练好基于卷积神经网络的分类网络中区分是白细胞还是非白细胞，因为对比公开号CN107492088A的专利，该专利只是将确认是否是白细胞区域的步骤从通过几何特性换成BP神经网络，而BP神经网络也是无法区分低倍镜大视野下的上皮细胞核和白细胞的，因此同公开号CN107492088A的专利一样，共检测127个细胞，结果如图21所示。而本发明一共检测出365个标签为“s”的目标物，如图14所示，经过步骤五位置坐标关系排除上皮细胞核的干扰，识别出297个白细胞，将这297个白细胞的类别标签由“s”替换成“w”，将其他的68个替换为类别标签“n”，结果如图22所示。综合以上，对比结果如下表3所示：
| CN107492088A | CN106897682A | 本发明 | 人工审核 | |
| 白细胞的个数 | 127 | 127 | 297 | 305 |
对应的白细胞的误捡的个数，如下表4所示：
| CN107492088A | CN106897682A | 本发明 | |
| 白细胞的误检个数 | 2 | 2 | 0 |
对应的白细胞的漏检的个数，如下表5所示：
| CN107492088A | CN106897682A | 本发明 | |
| 白细胞的漏检个数 | 180 | 180 | 8 |
从表3、表4和表5可以看出，采用本发明的方法检测出的白细胞数量为297，而采用公开号CN107492088A的方法检测出的白细胞数量为127，采用公开号CN106897682A的方法检测出的白细胞数量为127，人工审核白细胞数量为305；采用本发明的方法误检白细胞数量为0，而采用公开号CN107492088A的方法误检白细胞数量为2，采用公开号CN106897682A的方法误检白细胞数量为2；采用本发明的方法漏检白细胞数量为8，而采用公开号CN107492088A的方法漏检白细胞数量为180，采用公开号CN106897682A的方法漏检白细胞数量为180。公开号CN107492088A和CN106897682A的专利对交叉堆叠的白细胞会造成漏检，也会将上皮细胞核误识别为白细胞，而采用本发明的方法检测结果和人工审核结果更接近，可见，本发明不仅可以排除上皮细胞核的干扰而且可以有效检出交叉堆叠场景的白细胞，降低白细胞的误检率和漏检率，有效提升白细胞的检测准确率和检出率。
虽然本发明以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的和范围内所作的各种更动与修改，均应纳入本发明的保护范围内，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (5)
1.一种妇科显微图像大视野下白细胞的检测识别方法，其特征在于，包括以下步骤：
S1：采集自动显微镜的低倍镜头下的妇科显微图像，得到原始图片，这些原始图片中至少包含上皮细胞、白细胞其中一种；
S2：将S1的原始图片使用同一个类别标签人工标注出上皮细胞核和白细胞，设定上皮细胞核和白细胞的类别标签同为“s”，再使用另一个类别标签人工标注出上皮细胞，设定上皮细胞的类别标签为“EC”，得到对应目标物的标注信息，并保存到标注文件中，从而构建出大视野下检测白细胞的有效训练集；
S3：基于DetNet并结合双阶段目标检测方法Faster-RCNN+FPN，将S2构建出的训练集进行训练，得到有效目标检测模型；
S4：将待检测的图像输入S3的有效目标检测模型进行检测，得到类别标签为“s”和“EC”的目标物的检测结果；
S5：通过目标物的位置坐标关系将类别标签为“s”的目标物区分为上皮细胞核和白细胞，得到最终检测结果；具体步骤为：
S51：设定上皮细胞核的类别标签为“n”，白细胞的类别标签为“w”；
S52：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的外侧，那么标签为“s”的目标物为白细胞，将其类别标签替换为“w”，代表白细胞；
S53：如果检测出的标签为“s”的目标物在标签为“EC”的目标物框的内侧，同一个标签为“EC”的目标物框的内侧可能存在一个或者多个标签为“s”的目标物，计算每个标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离，设定标签为“s”的目标物的中心点的坐标为(x,y)，标签为“EC”的中心点的坐标为(cx,cy)，它们之间的欧式距离为
计算出其中的最小欧式距离，若标签为“s”的目标物的中心点到标签为“EC”的中心点的欧式距离大于这个最小欧式距离，则标签为“s”的目标物判定为白细胞，将其类别标签替换为“w”，代表白细胞；
S54：针对S53中的最小欧式距离的类别标签为“s”的目标物，设定检测出的标签为“EC”的目标物的宽为w,高为h，距离阈值为
其中，0＜r＜1，如果这个最小欧式距离不大于距离阈值thresholddistance，则判定该目标物为上皮细胞核，将其标签替换为“n”，如果这个最小欧式距离大于距离阈值thresholddistance，则判定该目标物为白细胞，将其标签替换为“w”。
2.如权利要求1所述的一种妇科显微图像大视野下白细胞的检测识别方法，其特征在于：所述S2中采用外接直立矩形边界框的形式标注出对应的目标物，得到对应目标物的标记信息，其中标记信息包含目标物的类别标签和位置坐标信息。
3.如权利要求1或2任一所述的一种妇科显微图像大视野下白细胞的检测识别方法，其特征在于：所述S3中的DetNet采用基于ResNet-101改进的DetNet-101。
4.如权利要求3所述的一种妇科显微图像大视野下白细胞的检测识别方法，其特征在于：所述DetNet-101由1个卷积层、5个残差模块和全连接层构成；
其中第四个残差模块和第五个残差模块通过引入空洞卷积，将bottleNeck残差单元中间的3×3的卷积替换为3×3的空洞卷积，即将bottleNeck残差单元替换为DilatedbottleNeck残差单元，第四个残差模块和第五个残差模块均为3个重复的DilatedbottleNeck残差单元；前三个残差模块分别为：3个重复的bottleNeck残差单元Ⅰ、4个重复的bottleNeck残差单元Ⅱ和20个重复的bottleNeck残差单元Ⅲ。
5.如权利要求1所述的一种妇科显微图像大视野下白细胞的检测识别方法，其特征在于：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529487.2A CN113158979B (zh) | 2021-05-14 | 2021-05-14 | 一种妇科显微图像大视野下白细胞的检测识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529487.2A CN113158979B (zh) | 2021-05-14 | 2021-05-14 | 一种妇科显微图像大视野下白细胞的检测识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158979A CN113158979A (zh) | 2021-07-23 |
| CN113158979B true CN113158979B (zh) | 2022-05-31 |
Family
ID=76875213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110529487.2A Active CN113158979B (zh) | 2021-05-14 | 2021-05-14 | 一种妇科显微图像大视野下白细胞的检测识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158979B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445408B (zh) * | 2022-04-11 | 2022-06-24 | 山东仕达思生物产业有限公司 | 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492088A (zh) * | 2016-06-11 | 2017-12-19 | 青岛华晶生物技术有限公司 | 一种妇科显微图像中白细胞自动识别与统计方法 |
| CN108629369A (zh) * | 2018-04-19 | 2018-10-09 | 中南大学 | 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法 |
| CN112634243A (zh) * | 2020-12-28 | 2021-04-09 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897682A (zh) * | 2017-02-15 | 2017-06-27 | 电子科技大学 | 一种基于卷积神经网络的白带中白细胞自动识别方法 |
| CN108334835B (zh) * | 2018-01-29 | 2021-11-19 | 华东师范大学 | 基于卷积神经网络的阴道分泌物显微图像有形成分检测方法 |
| CN110826483A (zh) * | 2019-11-05 | 2020-02-21 | 安图实验仪器(郑州)有限公司 | 白带显微图像细胞识别方法 |
| CN111598183B (zh) * | 2020-05-22 | 2023-08-15 | 上海海事大学 | 一种多特征融合图像描述方法 |
-
2021
- 2021-05-14 CN CN202110529487.2A patent/CN113158979B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492088A (zh) * | 2016-06-11 | 2017-12-19 | 青岛华晶生物技术有限公司 | 一种妇科显微图像中白细胞自动识别与统计方法 |
| CN108629369A (zh) * | 2018-04-19 | 2018-10-09 | 中南大学 | 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法 |
| CN112634243A (zh) * | 2020-12-28 | 2021-04-09 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158979A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN106780460B (zh) | 一种用于胸部ct影像的肺结节自动检测系统 | |
| CN102682305B (zh) | 宫颈液基细胞学自动筛查方法和系统 | |
| CN110136149A (zh) | 基于深度神经网络的白细胞定位与分割方法 | |
| CN101877074A (zh) | 基于多元特征的结核杆菌目标识别计数算法 | |
| CN111461068A (zh) | 一种染色体中期图识别和分割方法 | |
| CN108320289B (zh) | 一种基于稀疏表示和形态学操作的骨髓细胞分割方法 | |
| CN113158979B (zh) | 一种妇科显微图像大视野下白细胞的检测识别方法 | |
| CN110148126B (zh) | 基于颜色分量组合和轮廓拟合的血液白细胞分割方法 | |
| CN108257124A (zh) | 一种基于图像的白细胞计数方法和系统 | |
| CN103606153A (zh) | 一种从粪便显微图像中提取细胞的方法 | |
| CN112504947A (zh) | 一种外周血细胞形态学分析计数方法 | |
| Kovalev et al. | Robust recognition of white blood cell images | |
| CN113096184A (zh) | 一种复杂背景下硅藻定位与识别方法 | |
| CN113033417B (zh) | 一种妇科微生态中孢子的检测识别方法、设备及存储介质 | |
| CN114300099B (zh) | 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法 | |
| CN112966645B (zh) | 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 | |
| CN115272333B (zh) | 一种杯盘比数据的存储系统 | |
| CN111797706A (zh) | 一种基于图像的寄生虫虫卵形状识别系统及方法 | |
| CN114742803A (zh) | 一种结合深度学习与数字图像处理算法的血小板聚集检测方法 | |
| CN113450354B (zh) | 基于卷积神经网络和摇摆活动特征的滴虫检测方法 | |
| CN111077153A (zh) | 一种多功能精子质量分析系统 | |
| CN104700422A (zh) | 一种尿沉渣图像中粘结红白细胞的自动分割方法 | |
| CN115082739A (zh) | 基于卷积神经网络的内窥镜评估方法及评估系统 | |
| CN109255795A (zh) | 一种番茄植株边缘排序算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220511 Address after: 250013 2903, Huineng building, 38 Huaneng Road, Lixia District, Jinan City, Shandong Province Applicant after: SHANDONG STARS BIOINDUSTRY CO.,LTD. Applicant after: Shandong shidasi Medical Technology Co.,Ltd. Address before: 250013 workshop 2, pharmaceutical industrial park, Kou Town, Laiwu District, Jinan City, Shandong Province Applicant before: Shandong shidasi Medical Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method for Detecting and Identifying White Blood Cells in a Large Field of Gynecological Microscopic Images Effective date of registration: 20231109 Granted publication date: 20220531 Pledgee: Industrial and Commercial Bank of China Limited Jinan Licheng Branch Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD. Registration number: Y2023370000129 |