CN112966645B - 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 - Google Patents
一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 Download PDFInfo
- Publication number
- CN112966645B CN112966645B CN202110314250.2A CN202110314250A CN112966645B CN 112966645 B CN112966645 B CN 112966645B CN 202110314250 A CN202110314250 A CN 202110314250A CN 112966645 B CN112966645 B CN 112966645B
- Authority
- CN
- China
- Prior art keywords
- bacillus
- bacilli
- gram
- negative
- positive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 50
- 244000052616 bacterial pathogen Species 0.000 title 1
- 241000304886 Bacilli Species 0.000 claims abstract description 148
- 241000193830 Bacillus <bacterium> Species 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 23
- 241000194107 Bacillus megaterium Species 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 239000012472 biological sample Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 33
- 238000002372 labelling Methods 0.000 description 18
- 241000588724 Escherichia coli Species 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 12
- 230000000877 morphologic effect Effects 0.000 description 12
- 238000012552 review Methods 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 210000002919 epithelial cell Anatomy 0.000 description 10
- 241000894006 Bacteria Species 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 7
- 210000000265 leukocyte Anatomy 0.000 description 6
- 238000003794 Gram staining Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 241000186660 Lactobacillus Species 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000003756 cervix mucus Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 229940039696 lactobacillus Drugs 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 241000193755 Bacillus cereus Species 0.000 description 1
- 241000588722 Escherichia Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000005000 reproductive tract Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Abstract
一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，包括以下步骤：1、采集妇科阴道微生态中多种场景的杆菌显微图像；2、制定不同场景的杆菌显微图像的有效标注规则，并对图像中的杆菌进行标注,并规定标注的类别标签，制作出类内差距小的有效的杆菌训练集。3、利用深度学习目标检测框架，训练基于卷积神经网络的杆菌的目标检测模型；4、利用步骤3训练出的杆菌检测模型检测杆菌区域；5、将步骤4检测出的杆菌区域细分类为大杆菌和小杆菌；6、将步骤5的大杆菌细分类为革兰阳性大杆菌和革兰阴性大杆菌。本方法可有效提高不同类型杆菌的检出率并降低不同类型杆菌的漏检率，提高生成生物标本报告的效率。
Description
技术领域
本发明涉及细菌智能识别技术领域，尤其涉及一种妇科阴道微生态中基于深度学习与传统机器视觉相结合的多种类型杆菌的智能检测和分类计数方法。
背景技术
阴道微生态评价系统包括形态学检测和功能学检测两部分，其中阴道分泌物标本的普通光学显微镜革兰染色法是形态学检测的重要检验方法。阴道内菌群是阴道微生态研究的核心内容，在正常阴道菌群中，乳酸杆菌，占优势，微需氧，但在厌氧环境下生长更好，它的正常存在对维持生殖道正常菌群起着关键的作用，乳酸杆菌又称为革兰阳性大杆菌，细长杆状，经革兰氏染色后呈现紫黑色。革兰阴性大杆菌，需氧菌，在形态上与革兰阳性大杆菌类似，经革兰氏染色后呈现粉红色。小杆菌在形态上比革兰阳性大杆菌和革兰阴性大杆菌小，革兰氏染色后的颜色不定。
目前国内检验科人员普遍使用双目显微镜和三通显微镜观察阴道分泌物标本。其中使用双目显微镜对工作人员易造成视觉疲劳，对各类细菌进行量化计数，效率低下，对于杆菌的量化因为观察时间的原因，无法做到精准计数，存在个人的主观因素，所以对多种类型杆菌的精准识别和量化计数成为了要亟待解决的问题。鉴于以上问题，基于三通显微镜结合机器视觉的智能识别和检测方法发挥了重要作用。三通显微镜由图像采集设备采集镜下图像由工作人员通过观察图像对各类细菌进行量化计数或者通过机器视觉方法对图像中细菌进行自动量化分类。对于细菌识别，传统的机器视觉方法采用自适应阈值分割、形态学处理、轮廓检测、轮廓的旋转矩形或者其他几何形状拟合，最后根据几何形状的周长、长、宽、面积、长宽比等特性对杆菌的形态进行分类和计数，然后根据HSV颜色空间对杆菌的颜色进行分类，这一连串的方法存在很多弊端，其中自适应阈值分割算法至少有三个参数以上，这三个参数对同一图像的结果影响很大，参数不同，分割出的结果差别很大，微生态的生物标本千变万化，使用固定参数难以取得统一的很好的分割结果。形态学处理的目的是去除小的噪点，并分开相连的目标物，但是无法分割交叉的杆菌。通过自适应阈值分割和形态学处理后的结果进行轮廓的检测，然后对轮廓进行几何形状的拟合，通过几何形状的特性进行杆菌的分类，然后最终实现量化计数，但是杆菌易出现交叉、堆叠等情况，这些会影响单个杆菌的形态，因此易造成漏检。同时，自适应阈值方法很容易将细胞的边缘、细胞碎屑分割出类似杆菌的形态，这样就筛选出了在形态上与杆菌类似的目标物，造成误检。革兰阳性大杆菌、革兰阴性大杆菌和小杆菌的类间差距很小，因此很难直接使用深度学习技术直接进行很好的分类，而且深度学习又很难量化杆菌的面积、杆菌的宽、高及其宽高比例等特性，无法对来杆菌进行进一步的细化分类。基于以上众多原因，提出了一种有效的多种类型杆菌的智能检测和分类计数方法。
发明内容
针对上述现有技术的不足，本发明提出了一种深度学习与机器视觉相结合的妇科微生态中多种类型杆菌的智能检测和分类计数方法，有效提高了不同类型杆菌的检出率，同时降低杆菌的漏检率，提高生成生物标本报告的效率。
本发明的技术方案具体如下：
一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，包括深度学习部分和机器视觉部分，其中，深度学习部分包括以下步骤：
步骤一：采集图像，采集妇科阴道微生态中的杆菌显微图像。
为了制作出更有效的训练集，保证图像数据的完备性，从图像的背景、图像中杆菌的数量、图像中杆菌的分布类型这三方面采集不同场景的杆菌显微图像。
采集的图像背景分为较简单和较复杂两种，其中“背景：较简单”是指背景没有任何细胞(如上皮细胞、白细胞及其细胞破碎后的碎屑)，”背景：较复杂”是指背景中有细胞(如上皮细胞、白细胞等)或者破碎的细胞碎屑。
显微图像中的杆菌数量等级分为“无”、“少”和“多”三个等级，其中“数量：无”代表该图像中杆菌的数量为0，“数量：少”代表图像中杆菌的数量小于某一固定值m，“数量：多”代表图像中杆菌的数量不小于某一固定值m，其中m的取值较小为佳，如取值为10，便于快速判断属于哪个数量等级。
杆菌的分布类型分为零散分布和交叉堆叠两种情况。
步骤二：根据不同场景的显微图像制定杆菌的有效的标注规则，并将步骤一采集的多种场景杆菌的图像交由妇科微生态领域专家，专家根据标注规则并对图像中的杆菌进行标注，革兰阳性大杆菌、革兰阴性大杆菌和小杆菌这三类杆菌类间差距很小，如果使用三个不同的类别标签进行标注，构建出的标注训练集类间差距很小，无法有效的训练出同时检测出这三类杆菌的目标检测模型。同时，因为革兰阴性杆菌的样本量比较难采集到，采集到的图像数据量很难达到与革兰阳性杆菌和小杆菌的采集数量，造成不同类别数量的不均衡，基于这样数据不均衡的训练集，如果使用三个不同类别标签，训练出的目标检测模型容易造成阴性杆菌漏检，基于以上原因本发明标注这三类杆菌时，使用同一个类别标签，假设标注的类别标签为“bacillus”，这样构建出类内差距很小的有效训练集，可有效训练出检测杆菌的目标检测模型。
具体的标注规则为：
单个零散分布的标注规则：完整的标注出每一个单个杆菌即可；
交叉的杆菌的标注规则：尽量分开标注出每一个杆菌，标注框可以有重叠的部分；
堆叠的杆菌的标注规则：尽可能标注出完整形态的杆菌，标注框之间也可重叠。
步骤三：训练检测杆菌的AI目标检测模型。将步骤二中标注的杆菌数据集作为训练集，利用深度学习目标检测框架，如SSD、Faster-RCNN或YOLO及其延伸的目标检测框架，训练基于卷积神经网络的杆菌的目标检测模型。
步骤四：利用步骤三训练出的杆菌检测模型检测待检测图像中的杆菌；
机器视觉部分包括以下步骤：
步骤五：将步骤四检测出的杆菌区域分类为大杆菌和小杆菌。设定步骤四检测出的其中单个杆菌，该杆菌区域的坐标位置为[xmin，ymin，xmax，ymax]，因为AI模型检测出的杆菌的框可能卡在该杆菌的边界，故将其边界扩充l个像素，即区域扩充为[xmin-l，ymin-l，xmax+l，ymax+l]，扩充的区域不超出图像的边界。l的值不要太大，取5即可。将提取的杆菌区域从RGB颜色空间转换为灰度空间，接着利用OTSU阈值分割进行二值化阈值分割处理，将分割后杆菌作为前景，前景的像素个数即杆菌的面积，如果杆菌的面积大于阈值thresholdarea即为大杆菌，如果杆菌的面积不大于阈值thresholdarea即为小杆菌，将杆菌分类为大杆菌和小杆菌；
步骤六：将步骤五的大杆菌分类为革兰阳性大杆菌和革兰阴性大杆菌。具体为，把步骤五的所有大杆菌的感兴趣区域提取出来，依次判断每一个大杆菌是革兰阳性大杆菌还是革兰阴性大杆菌。
对于大杆菌的阴性和阳性的判断，需要转换到HSV颜色空间。假设革兰阳性大杆菌的颜色范围在
和
之间，革兰阴性大杆菌的颜色范围在
和
之间。将大杆菌的感兴趣区域从RGB颜色空间转换到HSV颜色空间，循环判断每一个前景像素(即步骤5阈值分割出的前景位置对应的原图位置的像素)的[h，s，v]值是在阳性范围内还是在阴性范围内。
如果杆菌前景像素的
则该像素为阳性，总的阳性的像素个数为numpositive,假设numnpositve＞0，则该杆菌为革兰阳性大杆菌；
如果杆菌前景像素的
则该像素为阴性，总的阴性的像素个数为numnegative,假设numnegative＞0，则该杆菌为革兰阴性大杆菌。
本发明相对于现有技术所取得的有益效果在于：
1、本发明构建出多场景且类内差距小的杆菌的有效训练集，制定多种场景杆菌的有效标注规则，可有效检出交叉和堆叠的杆菌，有效降低杆菌的漏检率。
2、本发明可有效降低细胞边缘、细胞碎屑及其它杂质等对识别杆菌造成的影响，有效降低杆菌的误检率。
3、本发明可有效减少机器视觉部分的筛选功能，只需要通过面积即可分类大杆菌和小杆菌，不需要通过其他复杂的几何形状的特性。
4、本发明可同时对多种类型的杆菌进行分类和计数，有效提高生成生物标本报告的效率。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明整个过程的流程示意图；
图2为杆菌场景的示意图；
图3为杆菌零散分布时标注规则的示例图；
图4为杆菌交叉时标注规则的示例图；
图5为杆菌堆叠时标注规则的示例图；
图6为将杆菌分类为大杆菌和小杆菌的流程示意图；
图7为将大杆菌分类为革兰阳性大杆菌和革兰阴性大杆菌的流程示意图；
图8为基于YOLO框架的杆菌检测模型的架构示意图；
图9(a)为背景简单的杆菌示例图；
图9(b)为对图9(a)自适应阈值分割和形态学处理后的结果示例图；
图9(c)为对图9(a)利用传统机器视觉方法检测出的杆菌的示例图；
图9(d)为对图9(a)利用深度学习模型检测出的杆菌的示例图；
图9(e)为对图9(a)提取的两个感兴趣区域的示例图；
图9(f)为对图9(b)提取的两个感兴趣区域的示例图；
图9(g)为对图9(c)提取的两个感兴趣区域的示例图；
图9(h)为对图9(d)提取的两个感兴趣区域的示例图；
图10(a)为背景是上皮细胞且无杆菌的示例图；
图10(b)为对图10(a)自适应阈值分割和形态学后的结果示例图；
图10(c)为对图10(a)利用传统机器视觉方法误检出的杆菌的示例图；
图10(d)为对图10(a)利用深度学习模型检测出的杆菌(无杆菌)的示例图；
图11(a)为背景是白细胞和上皮细胞且无杆菌的示例图；
图11(b)为对图11(a)自适应阈值分割和形态学处理的结果示例图；
图11(c)为对图11(a)利用传统机器视觉方法误检出的杆菌的示例图；
图11(d)为对图11(a)利用深度学习模型检测出的杆菌(无杆菌)的示例图；
图12(a)为背景是上皮细胞且杆菌分布较复杂，多为交叉堆叠情况的示例图；
图12(b)为对图12(a)自适应阈值分割和形态学处理的结果示例图；
图12(c)为对图12(a)利用传统机器视觉方法检出的杆菌的示例图；
图12(d)为对图12(a)利用深度学习模型检测出的杆菌的示例图；
图12(e)为图12(d)三个杆菌感兴趣区域的示例图；
图13(a)为图12(e)第92号杆菌感兴趣区域的示例图；
图13(b)为图13(a)OTSU阈值分割后结果的示例图；
图14(a)为图12(e)第282号杆菌感兴趣区域的示例图；
图14(b)为图14(a)OTSU阈值分割后结果的示例图；
图15(a)为图12(e)第8号杆菌感兴趣区域的示例图；
图15(b)为图15(a)OTSU阈值分割后结果的示例图；
图16为对图12(a)检测出的大杆菌和小杆菌的示例图；
图17(a)为对图12(e)第92号杆菌判断颜色范围的示例图；
图17(b)为对图17(a)颜色分割后的结果示例图；
图18(a)为对图12(e)第282号杆菌判断颜色范围的示例图；
图18(b)为对图18(a)颜色分割后的结果示例图；
图19为对图12(a)检测出的革兰阳性大杆菌、革兰阴性大杆菌、小杆菌的位置及数量的示例图。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。需要说明，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员，可以以各种形式实现本公开，而不应被这里阐述的实施方式所限制。
参见图1，本实施例中一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，包括以下步骤：
步骤一：采集妇科阴道微生态中多种场景的杆菌显微图像。
参见图2，采集的图像背景分为较简单和较复杂两种，其中“背景：较简单”是指背景没有任何细胞(如上皮细胞、白细胞及其细胞破碎后的碎屑)，”背景：较复杂”是指背景中有细胞(如上皮细胞、白细胞等)或者破碎的细胞碎屑。
显微图像中的杆菌数量等级分为“无”、“少”和“多”三个等级，其中“数量：无”代表该图像中杆菌的数量为0，“数量：少”代表图像中杆菌的数量小于某一固定值m，“数量：多”代表图像中杆菌的数量不小于某一固定值m，其中m的取值较小为佳，如取值为10，便于快速判断属于哪个数量等级。
杆菌的分布类型分为零散分布和交叉堆叠两种情况。
步骤二：根据不同场景的显微图像制定杆菌的有效标注规则，并将步骤一采集的多种场景的杆菌图像交由妇科微生态领域专家，专家根据标注规则使用标注工具对图像中的杆菌进行标注,革兰阳性大杆菌、革兰阴性大杆菌和小杆菌都使用同一个标注类别标签，假设类别标签为“bacillus”，构建出类内差距小的有效的杆菌训练集。
对于图像中不同分布的杆菌标准化标注规则。
单个零散分布的标注规则：完整的标注出每一个单个杆菌即可，参见图3所示；
交叉的杆菌的标注规则：尽量分开标注出每一个杆菌，标注框可以有重叠的部分，参见图4所示；
堆叠的杆菌的标注规则：尽可能标注出完整形态的杆菌，标注框之间也可重叠，参见图5所示。
步骤三：通过步骤二已经准备好了杆菌的训练集，本实例中采用基于YOLOv3的目标检测框架搭建杆菌的深度学习检测模型，网络架构图如图8所示，输入到卷积神经网络的训练图像的尺寸标准化为608*608*3，且将图像的像素值归一到区间[0,1]，共有65个卷积层和3个yolo层组成。
步骤四：利用步骤三训练出的杆菌检测模型检测杆菌，为了验证该方法比传统的机器视觉方法更好，通过以下多种情况的示例说明，分别是：背景简单的杆菌示例图9(a)、背景是上皮细胞且无杆菌的示例图10(a)、背景是白细胞和上皮细胞且无杆菌的示例图11(a)、背景是上皮细胞且杆菌分布较复杂，多为交叉堆叠情况的示例图12(a)。
图9(b)为对图9(a)自适应阈值分割后的结果，然后对图9(b)进行轮廓检测和旋转矩形拟合，并通过旋转矩形的长、宽、长宽比、面积等特性筛选出类似杆菌形态的目标物，将筛选出的这些目标物画到图9(a)上，如图9(c)所示，即为检测出的杆菌，共检测出21个杆菌。
图9(d)为对图9(a)利用杆菌模型检测出的杆菌，共检测出23个杆菌，从数量来说，深度学习模型检测出的杆菌数量比传统机器学习方法更多。
观察9(a)的两个感兴趣区域，如图9(e)所示，对于感兴趣区域1，有两个杆菌是交叉的，通过传统的机器视觉的方法，这两个杆菌未检出，造成了漏检，如图9(g)所示，原因如图9(f)所示，自适应阈值和形态处理后，这两个交叉的杆菌未被分离开。而利用深度学习模型可检测出这两个交叉的杆菌，如图9(h)所示。
对于感兴趣区域2，利用传统的机器视觉方法误检出了一个杆菌，如图9(g)所示，原因如图9(f)所示，自适应阈值和形态处理后，将背景的碎屑分割出了一个类似杆菌形态的目标，而利用深度学习模型未造成误检，如图9(h)所示。
针对图9(a)传统机器方法与本发明和人工审核的对比结果，本发明与人工审核的结果一致，而传统机器视觉方法易造成漏检和误检，如下表1所示：
| 传统机器视觉方法 | 本发明 | 人工审核 | |
| 检测出杆菌的数量 | 21 | 23 | 23 |
| 误检杆菌的数量 | 1 | 0 | 0 |
| 漏检杆菌的数量 | 3 | 0 | 0 |
图10(b)为对图10(a)自适应阈值分割和形态学处理后的结果，可以看出很多分割出的目标的形态跟杆菌的形态类似，利用机器视觉方法进行杆菌检测，如图10(c)所示，误检出了31个杆菌，多为细胞的边缘误识别为杆菌；而用训练出的杆菌模型进行检测，结果未误检出杆菌，如图10(d)所示。
针对图10(a)传统机器方法与本发明和人工审核的对比结果，本发明与人工审核的结果一致，而传统机器视觉方法易造成误检，如下表2所示：
| 传统机器视觉方法 | 本发明 | 人工审核 | |
| 检测出杆菌的数量 | 31 | 0 | 0 |
| 误检杆菌的数量 | 31 | 0 | 0 |
| 漏检杆菌的数量 | 0 | 0 | 0 |
类似，比10(a)背景更复杂的11(a),图11(b)为对图11(a)自适应阈值分割和形态学处理后的结果，可发现很多分割出的目标在形态上跟杆菌的形态类似，利用机器视觉方法进行杆菌检测，如图11(c)所示，误检出了79个杆菌，多为细胞的边缘和碎屑误识别为杆菌，而用训练出的杆菌模型进行检测，结果未误检出杆菌，如图11(d)所示。
针对图11(a)传统机器方法与本发明和人工审核的对比结果，本发明与人工审核的结果一致，而传统机器视觉方法易造成误检，如下表3所示：
| 传统机器视觉方法 | 本发明 | 人工审核 | |
| 检测出杆菌的数量 | 79 | 0 | 0 |
| 误检杆菌的数量 | 79 | 0 | 0 |
| 漏检杆菌的数量 | 0 | 0 | 0 |
图12(b)为对图12(a)自适应阈值分割和形态学处理后的结果，可发现很多交叉堆叠的杆菌未被分离开，导致在用机器视觉检测时，造成漏检，结果如图12(c)所示，共检出203个杆菌，而用深度学习方法共检出321个杆菌，结果如图12(d)所示。
针对图12(a)传统机器方法与本发明和人工审核的对比结果，本发明与人工审核的结果更接近，而传统机器视觉方法易造成漏检，如下表4所示：
| 传统机器视觉方法 | 本发明 | 人工审核 | |
| 检测出杆菌的数量 | 203 | 321 | 大于300 |
| 误检杆菌的数量 | 0 | 0 | 0 |
| 漏检杆菌的数量 | >100 | 0 | 0 |
步骤五：通过机器视觉的方法将杆菌模型检测出的杆菌分类为大杆菌和小杆菌，方法示意图如图6所示。设定杆菌面积大于阈值300的为大杆菌，杆菌面积不大于阈值300的为小杆菌。以图12(d)的三个杆菌的感兴趣区域为例，如图12(e)所示。
图13(a)为图12(e)的第92号杆菌，利用OTSU阈值分割，计算出的阈值为135，阈值分割后的结果如图13(b)所示,前景的像素数(即杆菌的面积)为468，该值大于300，代表该杆菌为大杆菌。
图14(a)为图12(e)的第282号杆菌，利用OTSU阈值分割，计算出的阈值为177，阈值分割后的结果如图14(b)所示,前景的像素数(即杆菌的面积)为341，该值大于300，代表该杆菌为大杆菌。
图15(a)为图12(e)的第8号杆菌，利用OTSU阈值分割，计算出的阈值为122，阈值分割后的结果如图15(b)所示，前景的像素数(即杆菌的面积)为218，该值不大于300，代表该杆菌为小杆菌。
依次类推，对每一个杆菌重复以上操作，将步骤四检测出的杆菌分类为230个大杆菌，91个小杆菌，如图16所示。
步骤六：将步骤五分类出的大杆菌再进一步区分为革兰阳性大杆菌和革兰阴性大杆菌，方法示意图如图7所示。革兰阳性大杆菌的HSV颜色范围设定在
至
之间，革兰阴性大杆菌的HSV颜色范围设定在
至
之间。
以步骤五的第92号杆菌和第282号大杆菌为例，先将这两个大杆菌的感兴趣区域由RGB颜色空间转换到HSV颜色空间，用阳性的颜色范围分割图12(e)的92号杆菌，如图17(a)所示，分割结果如图17(b)所示，可以很完整的分割出杆菌，则表示该大杆菌是革兰阳性大杆菌。用阴性颜色范围分割图12(e)的282号杆菌，如图18(a)所示，分割结果如图18(b)所示，可以很完整的分割出杆菌，则表示该大杆菌是革兰阴性大杆菌，依次类推，最后将步骤五得出的图12(a)的230个大杆菌分类为228个革兰阳性大杆菌，2个革兰阴性大杆菌，如图19所示，其中符号”+”代表该大杆菌为阳性，符号“-”代表该大杆菌为阴性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或增减替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，包括深度学习部分和机器视觉部分，其中，深度学习部分包括以下步骤：
步骤一：采集妇科阴道微生态中多种场景的杆菌显微图像；
步骤二：针对不同场景的图像标注显微图像中的革兰阳性大杆菌、革兰阴性大杆菌和小杆菌，并对这三类杆菌统一使用同一个类别标签，构建出类内差距小的有效训练集；
步骤三：将步骤二中构建出的训练集，利用深度学习目标检测框架，训练基于卷积神经网络的杆菌的目标检测模型；
步骤四：利用步骤三训练出的杆菌检测模型检测杆菌区域；
机器视觉部分包括以下步骤：
步骤五：提取步骤四检测出的杆菌区域，并从RGB颜色空间转换为灰度空间，接着利用OTSU阈值分割进行二值化阈值分割处理，将分割后杆菌作为前景，前景的像素个数即杆菌的面积，如果杆菌的面积大于阈值thresholdarea即为大杆菌，如果杆菌的面积不大于阈值thresholdarea即为小杆菌，将杆菌分类为大杆菌和小杆菌；
步骤六：将步骤五的大杆菌的感兴趣区域从RGB颜色空间转换到HSV颜色空间，循环判断每一个杆菌前景像素的[h，s，v]值是在阳性范围内还是在阴性范围内，将大杆菌分类为革兰阳性大杆菌和革兰阴性大杆菌。
2.根据权利要求1所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤一中从图像的背景、图像中杆菌的数量、图像中杆菌的分布类型这三方面采集不同场景的杆菌显微图像。
3.根据权利要求2所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤一中采集的图像背景分为较简单和较复杂两种，杆菌的数量等级分为“无”、“少”和“多”三个等级，杆菌的分布类型分为零散分布和交叉堆叠两种情况。
4.根据权利要求1所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤三中深度学习目标检测框架包括但不限于SSD、Faster-RCNN或YOLO中的一种。
5.根据权利要求1所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤五在提取杆菌区域时，设定单个杆菌区域为[xmin，ymin，xmax，ymax]，将其边界扩充l个像素，即区域扩充为[xmin-l，ymin-l，xmax+l，ymax+l]，扩充的区域不超出图像的边界。
6.根据权利要求5所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤五在提取杆菌区域时，边界扩充的像素值l不大于5。
7.根据权利要求1所述的一种妇科微生态中多种类型杆菌的智能检测和分类计数方法，其特征在于，步骤六中，革兰阳性大杆菌的颜色范围在
和
之间，革兰阴性大杆菌的颜色范围在
和
之间，如果
则该像素为阳性，总的阳性的像素个数为numpositive,如果numpositive＞0，则该杆菌为革兰阳性大杆菌；如果
则该像素为阴性，总的阴性的像素个数为numnegative,如果numnegative＞0，则该杆菌为革兰阴性大杆菌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110314250.2A CN112966645B (zh) | 2021-03-24 | 2021-03-24 | 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110314250.2A CN112966645B (zh) | 2021-03-24 | 2021-03-24 | 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112966645A CN112966645A (zh) | 2021-06-15 |
| CN112966645B true CN112966645B (zh) | 2022-04-08 |
Family
ID=76278363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110314250.2A Active CN112966645B (zh) | 2021-03-24 | 2021-03-24 | 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966645B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445408B (zh) * | 2022-04-11 | 2022-06-24 | 山东仕达思生物产业有限公司 | 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914841A (zh) * | 2014-04-03 | 2014-07-09 | 深圳大学 | 基于超像素和深度学习的细菌分割与分类方法及其应用 |
| CN104846054A (zh) * | 2015-05-22 | 2015-08-19 | 电子科技大学 | 一种基于形态学特征的白带中霉菌的自动检测方法 |
| WO2017011756A1 (en) * | 2015-07-16 | 2017-01-19 | Ruder Warren C | Biomemetic systems |
| CN108830149A (zh) * | 2018-05-07 | 2018-11-16 | 深圳市恒扬数据股份有限公司 | 一种目标细菌的检测方法及终端设备 |
| CN112116599A (zh) * | 2020-08-12 | 2020-12-22 | 南京理工大学 | 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统 |
| CN112241713A (zh) * | 2020-10-22 | 2021-01-19 | 江苏美克医学技术有限公司 | 基于模式识别和深度学习的阴道微生物识别方法及装置 |
-
2021
- 2021-03-24 CN CN202110314250.2A patent/CN112966645B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914841A (zh) * | 2014-04-03 | 2014-07-09 | 深圳大学 | 基于超像素和深度学习的细菌分割与分类方法及其应用 |
| CN104846054A (zh) * | 2015-05-22 | 2015-08-19 | 电子科技大学 | 一种基于形态学特征的白带中霉菌的自动检测方法 |
| WO2017011756A1 (en) * | 2015-07-16 | 2017-01-19 | Ruder Warren C | Biomemetic systems |
| CN108830149A (zh) * | 2018-05-07 | 2018-11-16 | 深圳市恒扬数据股份有限公司 | 一种目标细菌的检测方法及终端设备 |
| CN112116599A (zh) * | 2020-08-12 | 2020-12-22 | 南京理工大学 | 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统 |
| CN112241713A (zh) * | 2020-10-22 | 2021-01-19 | 江苏美克医学技术有限公司 | 基于模式识别和深度学习的阴道微生物识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Automated identification of mycobacterium bacillus from sputum images for tuberculosis diagnosis;K.S.Mithra,W.R.Sam Emmanuel;《Signal,Image and Video Processing》;20190605;全文 * |
| 革兰氏染色细菌显微图像深度学习分类与计数;董宇波，王蕊，赵慧娟;《中国医学物理学杂志》;20210215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112966645A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN104651462B (zh) | 基于显微图像分析的稻瘟病菌孢子检测方法 | |
| CN102682305B (zh) | 宫颈液基细胞学自动筛查方法和系统 | |
| Makkapati et al. | Segmentation and classification of tuberculosis bacilli from ZN-stained sputum smear images | |
| Yang et al. | Rapid detection of rice disease using microscopy image identification based on the synergistic judgment of texture and shape features and decision tree–confusion matrix method | |
| CN114723704B (zh) | 一种基于图像处理的纺织品质量评估方法 | |
| CN108596038B (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
| CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
| CN110473167B (zh) | 一种基于深度学习的尿沉渣图像识别系统及方法 | |
| CN103020639A (zh) | 一种白细胞自动识别计数方法 | |
| CN109145848B (zh) | 一种麦穗计数方法 | |
| Alreza et al. | Design a new algorithm to count white blood cells for classification leukemic blood image using machine vision system | |
| Mukherjee et al. | Bacterial colony counting using distance transform | |
| CN112966645B (zh) | 一种妇科微生态中多种类型杆菌的智能检测和分类计数方法 | |
| CN104899595A (zh) | 基于sift特征图像的蚕蛹雌雄分拣和计数装置 | |
| CN110689958A (zh) | 一种基于人工智能技术的癌症病理辅助诊断方法 | |
| CN113111796A (zh) | 一种芽生孢子的自动细化标注类别的检测识别方法 | |
| CN113033417B (zh) | 一种妇科微生态中孢子的检测识别方法、设备及存储介质 | |
| CN109948544B (zh) | 一种目标菌落自动定位与识别方法 | |
| Momenzadeh et al. | Automatic diagnosis of vulvovaginal candidiasis from pap smear images | |
| US20210334514A1 (en) | System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass | |
| CN111311628A (zh) | 一种全自动高性能白细胞分割方法 | |
| CN113158979B (zh) | 一种妇科显微图像大视野下白细胞的检测识别方法 | |
| Altuntas et al. | Automatic colony segmentation on agar surface by image processing | |
| CN114742803A (zh) | 一种结合深度学习与数字图像处理算法的血小板聚集检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An Intelligent Detection and Classification Counting Method for Multiple Types of Bacilli in Gynecological Microecology Effective date of registration: 20230329 Granted publication date: 20220408 Pledgee: Overpass Branch of Jinan Rural Commercial Bank Co.,Ltd. Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD. Registration number: Y2023370000061 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20220408 Pledgee: Overpass Branch of Jinan Rural Commercial Bank Co.,Ltd. Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD. Registration number: Y2023370000061 |