CN114926390A - 一种自动菌落计数方法及系统 - Google Patents
一种自动菌落计数方法及系统 Download PDFInfo
- Publication number
- CN114926390A CN114926390A CN202210344019.2A CN202210344019A CN114926390A CN 114926390 A CN114926390 A CN 114926390A CN 202210344019 A CN202210344019 A CN 202210344019A CN 114926390 A CN114926390 A CN 114926390A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- frame
- culture dish
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001580 bacterial effect Effects 0.000 title description 12
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000010244 region-of-interest analysis Methods 0.000 claims abstract description 7
- 230000001186 cumulative effect Effects 0.000 claims abstract description 4
- 238000011068 loading method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 239000001963 growth medium Substances 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000012535 impurity Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 239000012528 membrane Substances 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 2
- 210000000078 claw Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 239000002609 medium Substances 0.000 description 5
- 229920001817 Agar Polymers 0.000 description 4
- 239000008272 agar Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 244000005700 microbiome Species 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000003028 elevating effect Effects 0.000 description 3
- 238000011534 incubation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011194 good manufacturing practice Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明公开了一种自动菌落计数方法及系统，克服了现有技术的计数系统与算法无法有机结合导致计数效果差的问题，包括以下内容：系统进行感兴趣区域分析；进行背景建模；进行二值化得到变化区域的二值图；进行图像配准操作；建立区域映射关系，进行区域跟踪；得到含菌落的当前帧的累积区域集。本发明系统结合方法可以实现对于培养皿的全自动培养、计数和分析，短时间内能够对大量样本计数，准确率高。
Description
技术领域
本发明涉及菌落计数领域，尤其是涉及一种自动菌落计数方法及系统。
背景技术
对琼脂培养基上的菌落进行计数是微生物限度检查中最为普遍的方法。传统上，计数是由实验人员在培养的过程中以一定的时间间隔，通常是每12小时或24小时，直接对正在进行培养的样品计数，或是在固定的培养时间结束后再进行计数。大样本的研究、监测对实验人员的精力构成了巨大的挑战。另外，低水平的重复劳动容易导致计数错误，使得不同实验室、甚至同一实验室的不同人员得出的结果不同，影响了限度检查的可靠性。最后，人工检查也无法保证客观性和可追溯性，从根本上与GMP(Good Manufacturing Practice)的要求有所冲突。近年来，随着机器视觉技术的发展，出现了一批自动菌落计数器，试图缓解、解决这些问题。
自动菌落计数软件是指运行在通用计算机上，能够处理各种光照条件下获得的菌落图像从而获得计数的软件。这里只讨论能够在公共互联网取得的开源软件。近年来，这类开源软件在文献中层出不穷。总结下来，他们的实现方式有：1.ImageJ宏。ImageJ是美国国立卫生院主持开发的一款通用的医学图像处理软件，集成了大量图像处理算法。ImageJ可通过宏编程插件，对这些算法进行组合，形成批处理程序，这类软件对ImageJ有依赖，需要操作人员对ImageJ和图像处理本身有基本的了解。2.独立软件。这些软件大多由C++或Python编写，有独立的图形界面，有些还具有报表、批处理功能。3.基于MATLAB的软件。这类软件大多是比较原始的、处于概念验证阶段的脚本，有些有图形界面但是可用性普遍较差。这些软件的执行依赖整个MATLAB环境以及其图像处理工具箱。
菌落计数器是指通过分析培养皿中琼脂培养基的可见光照片获取菌落(CFU)的数量、大小、位置等信息的仪器。通常来说，菌落计数器由光源、图像采集模块、计算机软件三部分组成。其中，光源向待检测样品培养皿上投射给定亮度、波长的可见光。光经过菌落的反射、折射之后进入镜头，计算机由此获得培养皿的图像。最后，计算机利用预先编程的图像处理程序，标记出菌落数量和每个菌落的位置、大小，并生成报告。
实际上，光源的控制选项如果不和计算机的图像算法有机结合起来，并不能使得最终的计数更准确。这是因为图像算法通常很难处理因为照度、阴影、颜色变化所引起的误判，如：假阳性、假阴性。此外，冗杂的光源调节选项还增加了用户的学习时间。
相机、镜头的参数上各个厂家大同小异，且都作为阶梯配置的主要参数。从原理上来说，更高的像素有利于发现更小的菌落。但实际上由于培养基杂质、培养皿盖灰尘等，单纯依靠高像素很容易使这些无生命物体被误判为菌落而造成假阳性，因此盲目地配置高像素并不能按比例地提高识别准确率。
分析获得的图像的算法是各个厂家高度戒备的技术机密，细节不得而知。但是从专利分析、实际的操作情况来看，大多是使用了传统的基于颜色、亮度、形态等信息定位可能存在菌落的位置，再通过一些明确定义的判定标准来判断某一区域是否为菌落。换言之，现存算法均为某种专家系统。这种专家系统不可避免地依赖微生物检验人员对菌落在照片上呈现知识的认识，以及通过常见、快速的方法提取菌落区域的信息的手段。换言之，这些系统依赖于人来提取图片的特征，并用某种预先确定的逻辑将图片的特征总结成是否为菌落的结论。专家系统通常能够高效地处理编程时已经考虑到的情况，而未考虑到的情况则不能正确处理。逻辑上的漏洞会使得程序给出不准确甚至完全错误的结论。
与单个图片上的形态特征(空间特征)相对应的是图片序列上的生长特征(时间特征)。活体微生物相对于培养皿上其他非活性颗粒物最根本的区别在于活体微生物会逐渐生长、复制，最终形成能够被观察到的菌落。因此定量的观察物体的生长过程，并根据过程中形态的变化而非形态本身作为判断的依据是解决在可见光照片上无生命物体误判问题的最终办法。同时，解决了误判问题后的检测下限可以进一步下探以更早的发现物体，对检测的时效性也有帮助。
与专家系统相对应的是机器学习系统。这类系统依赖一些通用的特征提取工具，将含有大量数据的图片抽象成一些描述符(descriptor)后利用统计学的方法降低描述符的变量维度，最终得到一个判断。一个典型的例子是图片分类。在一张图片上，机器学习系统能够学习一个数据集中已经预先由专家分类好的图片，通常包含成千上万张图片。学习完成后得到的模型可以对此后类似的图片作出准确、快速的分类。分类问题的推广是目标检测。这类问题中模型需要处理的是未经裁切到目标的图片，而模型需要判断图片中是否有目标以及它的大致位置。
过去十年机器视觉的发展显示，在条件允许的情况下，通用的图片分类算法经过恰当的训练能够达到或超过专家系统的性能。特别地，计算能力的提升和模型的进步使得深度学习成为可能。在深度学习模型中，源数据、描述符和最终的结论之间的关系经过了多层次的数学操作，因而是不可解释的(non-interpretable)，不能通过简单的逻辑判断重现。虽然机器学习系统和专家系统一样不能处理建立模型时未见过的情况，但是对于机器学习系统而言，将这些标定的新情况数据整合到模型中去是十分容易的：只需要将足够多的新情况的处理方式加入数据集，重新训练即可。就我们而言，只需要一个微生物检测方面的实验人员就能做到标记。而专家系统的改进则不是如此：在标记后还需要一名专业的图像算法工程师来人工试图提取新的类型的菌落上的特征后整合进之前的逻辑内。这一过程费事、费力，还需要多种专业协同工作。
就监督学习而言，机器学习的问题在于它需要大量的，标定好的数据就监督学习而言才能得到有实用价值的模型。在很多领域，高质量数据的缺乏是限制机器学习系统应用的主要原因。在我们要解决的菌落计数的问题上，大量地标定培养皿的图片上何处为菌落，何处为非菌落是非常消耗时间、精力、且容易错漏的。
例如，一种在中国专利文献上公开的“用于菌落计数的方法和装置”，其公告号CN108192814B，包括布置成接收样品的位置的存储装置(2)，这些样本包括布置成容纳平板培养基的培养基支撑件，操作系统(7)，布置为输送多个待分析的样本以从多个位置到分析区域(5)；成像装置(8)，其被配置为采集分析区域的多个图像，被布置为容纳多个待分析的样品；处理单元，其被配置为针对每个待分析的样本执行：检测步骤，通过待分析的样品的多个图像中的一个图像来检测集落的存在，确定步骤，以确定待分析的样本中存在的菌落数目。其解决的主要是光学调整焦距的问题，但该方案与其方法无法有机结合，图像算法通常很难处理因为照度、阴影、颜色变化所引起的误判，多余、无用的光源调节选项还增加了用户的学习时间，无法从根本上提高计数准确率。
发明内容
本发明是为了克服现有技术的计数系统与算法无法有机结合导致计数效果差的问题，提供一种自动菌落计数方法及系统，实现在图片上的准确判定。
为了实现上述目的，本发明采用以下技术方案。
一种自动菌落计数方法，包括以下内容：
系统进行感兴趣区域分析；
进行背景建模；
进行二值化得到变化区域的二值图；
进行图像配准操作；
建立区域映射关系，进行区域跟踪；
得到含菌落的当前帧的累积区域集。
作为优选，所述的感兴趣区域分析包括以下内容：
确定系统输入，系统输入包括当前帧的未处理彩色图像、上一帧裁切完成的彩色图像、上一帧的区域信息、第一帧的裁切完成彩色图像和上一帧的处理状态。所述的感兴趣区域缩略词为ROI。
作为优选，在确定系统输入后包括以下内容：
分析当前帧的未处理彩色图像，获得感兴趣区域的边界框，所述的感兴趣区域的边界框通常是培养皿或滤膜，裁去多余像素后将图片统一缩放为固定大小，得到裁切完成的彩色图像和灰度图。
作为优选，所述的背景建模包括以下内容：
读取第一帧的图像依据未有菌落生长的照片进行培养基或滤膜的背景建模。
作为优选，所述的二值化包括以下内容：
背景建模后得到一张没有杂质干扰的背景图像
后将其与得到裁切完成的彩色图像图片比较，得到变化区域的二值图。
作为优选，所述的图像配准操作包括以下内容：
读取上一帧裁切完成的彩色图像和上一帧的区域信息，将上一帧裁切完成的彩色图像与裁切完成的彩色图像前后两张图片配准，得到将裁切完成的彩色图像作几何变换与上一帧裁切完成的彩色图像重合所需矩阵，所述的矩阵修正传送机构工作导致的培养皿旋转和平移误差；对前后图像中感兴趣区域ROI部分作特征点检测与提取，提取到的每个特征为固定长度的浮点数向量；
根据特征之间的对应关系，且已知特征在各自图像上的坐标，可以求得几何变换T使得匹配的特征对之间的几何距离之和最小。
作为优选，所述的建立区域映射关系包括以下内容：
对当前帧二值图上的区域集和之前已观察到的区域比较，使用预先设计的损失函数，依据区域的位置、形态、大小等相似性建立从当前帧二值图上的区域集到之前已观察到的区域的映射。成功建立相关性的区域对在各自帧上是其帧所含有的区域集的子集；
对成功建立映射的区域集，比较其较初始发现时的增长幅度，若大于预设的阈值，则认定为正在生长的菌落，全部写入待跟踪的区域集；
对当前帧二值图上的区域集中未成功建立映射的区域，视为新发现的区域；
对之前已观察到的区域中未成功建立映射的区域，如是已经确认的菌落则继续保留，写入区域信息，如未确认则减小其连续性指标，待该类指标下降至预设阈值以下即剔除；
分析完成之后，将区域的位置、形态学信息、元数据写入数据库，供用户界面程序调用。
一种自动菌落计数系统，采用一种自动菌落计数方法，包括恒温培养室，所述的恒温培养室包括恒温培养室平台，恒温培养室平台上设有可转动的圆形转盘，圆形转盘上设有升降机械手，圆形转盘上排布若干工位，圆形转盘上还安装有培养皿装载料架，培养皿装载料架放置在培养皿装载料架工位上。
作为优选，若干工位包括培养皿装载料架工位、扫码工位和拍照工位。
作为优选，培养皿装载料架至少有一列为空。
因此，本发明具有如下有益效果：开发了一套能够完成菌落培养、拍摄并用专家系统算法计数的自动菌落计数系统，最大能够同时培养和观察160个培养皿，系统在培养结束后能够自动输出判读结果。将传统机器视觉菌落计数器中的菌落确认这一步骤的专家系统逻辑用机器学习系统逻辑取代，获得大量的标定的图片，用一个相对容易实现的准确的专家系统先替代人进行数据标定，再用大量数据训练机器学习系统来代替专家系统，从而实现在单张图片上的准确判定，对定位好的图片作分类更容易训练，执行时间更短。
附图说明
图1是本实施例的总流程图。
图2是本实施例帧间图像配准流程图。
图3是本实施例区域追踪流程图。
图4是本实施例从专家系统中提取标定数据、训练模型、使用模型流程图。
图5是本实施例基于特征点提取的图像自动配准示意图。
图6是本实施例配准后图像所呈现的完整菌落生长时序和对应的基于生长的活菌落认定算法示例。
图7是培养皿确认总菌落数随时间变化曲线示例图。
图8是本实施例各类菌落、背景情况的判读示例图。
图9是恒温培养室结构示意图。
图10是一种相机、培养皿和光源相对位置示意图。
图11是另一种相机、培养皿和光源相对位置示意图。
图中：1、恒温培养平台 2、机械手 3、圆形转盘 4、转盘中轴 5、电爪 6、培养皿装载料架 7、扫码工位 8、拍照工位 9、伺服电机 10、相机 11、光源 12、培养皿。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
本发明可以解决现有技术的一些问题，在现有技术中相机镜头和光源包括两种布局，即:
a.如图10所示，相机10镜头与主光源11位于样品培养皿12的两侧，光穿过培养基时被生长在其上表面的菌落遮挡、散射之后进入镜头，此时透明的培养基即背景显示为明场。
b.如图11所示，相机10镜头与主光源11位于样品培养皿12的同侧，光经过菌落反射进入镜头，此时透明的培养基即背景显示为暗场或者亮视野。
然而现有的光源的控制选项和计算机的图像算法无法有机结合起来，并不能使得最终的计数更准确。这是因为图像算法通常很难处理因为照度、阴影、颜色变化所引起的误判，假阳性、假阴性。此外，冗余的光源调节选项还增加了用户的学习时间。本发明系统结构结合方法可以实现对于培养皿的全自动培养、计数和分析，短时间内能够对大量样本计数，准确率高。
实施例：
本实施例提供了一种自动菌落计数系统，如图9所示，包括恒温培养室，恒温培养室设有恒温培养室平台1，恒温培养室平台1是长方形，其中部设有可上下移动的单轴升降机械手2，恒温培养室平台1上设有一紧贴其的圆形转盘3，恒温培养平台的中部为转盘中轴4，升降机械手2的移动方向与转盘中轴方向一致，均是垂直于恒温培养室平台1。升降机械手2末端安装了电爪5，电爪5设置夹持力为5牛顿，电爪5适配了专门用于夹取培养皿的可自定心手指，圆形转盘3连同安装于其上的培养皿装载料架6、扫码工位7、拍照工位8在伺服电机9的驱动下，相对于转盘中轴4可以转动。每个培养皿装载料架6最大可堆叠存放20个直径90mm的圆形培养皿。升降机械手2、电爪5、圆形转盘3三者配合，可以完成培养皿在任意工位之间的转移，达到培养皿样本编码识别、照片获取及培养皿在不同料架之间转移存放的目的。
自动菌落计数系统工作过程如下，升降机械手带动电爪先升至安全高位至可以规避培养皿料架及其他结构，圆形转盘旋转将待分析的培养皿所在的一个培养皿装载料架工位转至电爪下方。旋转到位后，升降机械手降至当前待拍照培养皿的位置，电爪夹紧抓起培养皿，升降机械手再次升至安全高位，圆形转盘继续旋转将扫码工位移至电爪下方，到位后，升降机械手6降至扫码工位托盘的位置，将培养皿放置在扫码工位托盘上，此时升降机械手保持不动，电爪一直张开，接着托盘带着培养皿绕其中轴缓慢转动，直至扫码器可以扫描到位于培养皿侧边的二维码信息，此流程用于读取当前培养皿的参数信息。扫码完成后，电爪再次夹紧抓起培养皿，升降机械手升至一定安全高度，圆形转盘继续旋转将拍照工位移至电爪下方，到位后，升降机械手降至拍照托盘的位置并张开电爪将培养皿放置在拍照托盘光学玻璃平台上，升降机械手升至一定安全高度，圆形转盘继续旋转一定角度将拍照工位和位于其上的培养皿转至相机上方，此时相机触发拍照，完成当前培养皿菌落生长照片获取。接着圆形转盘回转再次将拍照工位移至电爪下方，升降机械手带动电爪下降至当前已拍照完成的培养皿位置，电爪夹紧再次抓起培养皿，升降机械手带动夹取着当前已完成拍照培养皿的电爪再次升至安全高位。圆形转盘继续旋转将目标放置料架工位转至电爪下方，到位后升降机械手下降，夹爪松开，将培养皿放置于料架工位上，依次循环，达到循环连续按固定间隔时间获取培养皿生长图片的目的。
本实施例还相应的提供了一种自动菌落计数方法，应用于一种自动菌落计数系统，如图1所示，包括以下内容：
系统进行感兴趣区域分析；
进行背景建模；
进行二值化得到变化区域的二值图；
进行图像配准操作；
建立区域映射关系，进行区域跟踪；
得到含菌落的当前帧的累积区域集。
算法输入包含当前帧的未处理彩色图像
上一帧裁切完成的彩色图像
上一帧的区域信息
第一帧的裁切完成彩色图像
以及上一帧的处理状态Si-1。
感兴趣区域分析中，算法分析
获得感兴趣区域ROI的边界框，通常是培养皿或滤膜，裁去多余像素之后将图片统一缩放为固定大小，得到裁切完成的
图和
灰度图。程序读取第一帧的图像
依据未有菌落生长的照片进行培养基或滤膜的背景建模，得到一张没有杂质干扰的背景图像
后将其与
图片比较，得到变化区域的二值图，记为
图像配准操作如图2所示，读取上一帧裁切完成的彩色图像
和上一帧的区域信息
将上一帧裁切完成的彩色图像
与裁切完成的彩色图像
前后两张图片配准，得到将
作几何变换与
重合所需矩阵Ti,i-1。该矩阵用于修正传送机构工作导致的培养皿旋转和平移误差。
对前后图像中感兴趣区域ROI部分作特征点检测与提取。特征检测和提取的算符可以有多种可供选择，这里优选为KAZE，但其他常见的特征算符例如ORB、AKAZE、SURF等亦适用于本实施例且在本发明的保护范围内。提取到的每个特征为固定长度的浮点数向量，通常为64位或128位，每个特征都是对特征点附近的图像的抽象描述。设第i张图上提取到特征集Fi，则对F(i-1)与Fi作特征匹配：定义特征向量之间的欧氏距离平方构造距离矩阵，即平方差和SSD，其他距离算符和/或其他误差定义亦可。对Fi中的每个特征取其最邻近即SSD最小的F(i-1)中的两个特征作为误差备选匹配关系P。之前选择了最小的两个特征，因此P中的关系不是一一对应的。对备选匹配中的对应关系，筛去距离大于预设阈值的，得到对应关系P'，仍然不是一一对应的。再根据备选匹配关系中两对特征之间的距离值的关系，筛去模糊的匹配：若其中一对距离远低于另一对，则选择距离较低的一对。若两对距离接近，则都筛去。这样得到一一对应的匹配关系P”，匹配F(i-1,*)与F(i,*)。
根据特征之间的对应关系，且已知特征在各自图像上的坐标，可以求得几何变换T使得匹配的特征对之间的几何距离之和最小。这里的距离是图像坐标之间的距离，而非特征向量空间的距离。求解时使用MSAC来剔除离群值。特征检测、提取、匹配的过程如图5所示。
接下来建立区域映射关系，流程见图3。对当前帧二值图
上的区域集
和之前已观察到的区域
比较，式中上标i为帧索引，下标k为区域索引；Ni为帧i上总的区域数量，即
的基数，Nj为与之对应的帧j上的量，使用预先设计的损失函数，依据区域的位置、形态、大小等相似性建立从当前帧二值图上的区域集到之前已观察到的区域
的映射，p和q分别是建立相关关系后帧i和j的区域，M为建立相关性的区域对的数量，因为一一对应，不区分Mi和Mj。其中
即成功建立相关性的区域对在各自帧上是其帧所含有的区域集的子集。对成功建立映射的区域集
比较其较初始发现时的增长幅度，若大于预设的阈值，则认定为正在生长的菌落，全部写入待跟踪的区域集
对
中未成功建立映射的区域
视为新发现的区域，可能是新出现的小菌落，\是差集符号。
中未成功建立映射的区域
如是已经确认的菌落则继续保留，写入
如未确认则减小其连续性指标，待该类指标下降至预设阈值以下即剔除，即连续在i+1,i+2,...等帧均未被建立映射。分析完成之后，将区域的位置，即X、Y坐标、形态学信息即等效半径，圆度等、元数据即是否为菌落、连续观察次数、累积位移等写入数据库，供用户界面程序调用。
成功建立前后对应关系的菌落生长全过程照片的示例在图6中给出。通过比对可以看到除了第一帧，见图6-A1、A2，与其他三帧不匹配之外，其余的B、C、D三帧均互相配准。其上的菌落看起来是在原位逐渐生长，实际上这是配准的结果。在未配准的照片中，他们的位置是不断移动的。图6-A1、B1、C1、D1显示了未经菌落识别的原始二值图像遮罩。而对应的图6-A2、B2、C2、D2则显示了依据生长判断的活菌落位置，对应图中十字。在图6-D2可明显发现已经融合的菌落仍然被不同的十字标明。比对图6-C2可确知其为融合的独立菌落，而只通过图6-D2中的信息，即使是有经验的微生物实验人员也难以判断融合菌落的实际数量。这充分显示了全过程追踪菌落生长的意义以及本方法的准确性。
图7给出了根据算法确认的活菌落数量随着培养时间发生的变化。可以发现，在第一个24小时区间内菌落的数量快速增长，并在之后趋于稳定。使用该系统的工艺流程可以较人工观察更为早且准确地发现菌落的存在，而不需要人工干预。
由于本方法除了生长之外并不依赖其他的颜色、边缘等易受背景、菌落种类、光照等影响的变量，因此其基本原理适用于任何的菌落生长判定，所需要的只是适当改动二值化算法、感兴趣区域的定义，以及菌落的判定阈值。特别地，本方法中的二值化、菌落切割、边缘检测等算法均不似传统方法那样对精度有苛刻要求，只需要大致准确即可，同样是因为对菌落的判定并不依赖这些特征。因此，将本方法在各类的背景、菌落上应用是十分容易的。图8展示了琼脂培养基上的黯淡菌落(A)，琼脂培养基上的不规则、融合菌落(B)，白色微孔滤膜上的菌落(C)，以及被色素染色滤膜上的菌落(D)，可以看到，在各种条件下算法均能准确地识别。
这套算法可以在培养皿上细菌生长的全过程中观察并记录照片。通过比较空白皿以及同一培养皿在前后时刻的照片中的变化提取生长的菌落，系统可以准确地将活菌落同死的物体(粉尘、杂质等)区分开来，只有被明确观察到正在发生连续生长的区域才会被认定成菌落。这从根本上解决了传统的基于一张照片判定菌落的系统中无法准确剔除杂物导致假阳性的问题。由于集成了恒温培养箱、光源、图像采集系统和控制的计算机软件及运行其上的图像处理程序，系统可以完全代替实验人员进行菌落位置的标定，将机器学习系统开发过程中实验室的工作简化为样本的制备。
下面简述从专家系统中提取标定数据、训练模型、使用模型的过程，见图4。首先从数据库中提取到自动培养系统确认的生长中的菌落的边界框，裁剪图片到该位置。由于自动培养系统有全过程的观察数据保留，因此菌落由小变大的“生命周期”的全部数据均能采集到。裁剪之后，将含有图片缩放为32x32像素的固定尺寸，此为阳性集。此外，选取被识别为区域但至培养结束时仍未被认定为菌落的区域，另辅以在未有菌落生长的皿上随机裁取的区域，均缩放为固定尺寸，此为阴性集。将这两类标定完成的图片按照7:2:1的比例分为训练集、测试集、验证集，即可用来训练各类机器学习模型对图片进行分类，神经网络、支持向量机、高斯回归过程等。训练完成的模型输入为32x32的RGB图片，输出为该图片的类别，如阴性/阳性。
在基于单张照片的半自动菌落计数器上工作时，先前开发完成的专家系统的感兴趣区域定位、图片分割等算法的原理不变，可能有参数调整，仍然负责寻找培养皿照片中有可能有菌落的区域，但是专家系统不再根据颜色、形态的信息自行作出判断，而是裁剪成模型适应的尺寸，32x32像素的RGB图，调用训练好的模型进行判读。经过初步测试，用约5000张图片，阴性阳性相加，训练的LeNet 5神经网络模型在约300张图片的验证集上做到了99.8％的判读准确率。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围内。
Claims (10)
1.一种自动菌落计数方法，其特征是，包括以下内容：
系统进行感兴趣区域分析；
进行背景建模；
进行二值化得到变化区域的二值图；
进行图像配准操作；
建立区域映射关系，进行区域跟踪；
得到含菌落的当前帧的累积区域集。
2.根据权利要求1所述的一种自动菌落计数方法，其特征是，所述的感兴趣区域分析包括以下内容：
确定系统输入，系统输入包括当前帧的未处理彩色图像、上一帧裁切完成的彩色图像、上一帧的区域信息、第一帧的裁切完成彩色图像和上一帧的处理状态。
3.根据权利要求2所述的一种自动菌落计数方法，其特征是，在确定系统输入后包括以下内容：
分析当前帧的未处理彩色图像，获得感兴趣区域的边界框，所述的感兴趣区域的边界框通常是培养皿或滤膜，裁去多余像素后将图片统一缩放为固定大小，得到裁切完成的彩色图像和灰度图。
4.根据权利要求1所述的一种自动菌落计数方法，其特征是，所述的背景建模包括以下内容：读取第一帧的图像依据未有菌落生长的照片进行培养基或滤膜的背景建模。
5.根据权利要求1所述的一种自动菌落计数方法，其特征是，所述的二值化包括以下内容：背景建模后得到一张没有杂质干扰的背景图像后将其与得到裁切完成的彩色图像图片比较，得到变化区域的二值图。
6.根据权利要求1所述的一种自动菌落计数方法，其特征是，所述的图像配准操作包括以下内容：
读取上一帧裁切完成的彩色图像和上一帧的区域信息，将上一帧裁切完成的彩色图像与裁切完成的彩色图像前后两张图片配准，得到将裁切完成的彩色图像作几何变换与上一帧裁切完成的彩色图像重合所需矩阵，所述的矩阵修正传送机构工作导致的培养皿旋转和平移误差；
对前后图像中感兴趣区域ROI部分作特征点检测与提取，提取到的每个特征为固定长度的浮点数向量；
根据特征之间的对应关系，且已知特征在各自图像上的坐标，可以求得几何变换T使得匹配的特征对之间的几何距离之和最小。
7.根据权利要求1所述的一种自动菌落计数方法，其特征是，所述的建立区域映射关系包括以下内容：
对当前帧二值图上的区域集和之前已观察到的区域比较，使用预先设计的损失函数，依据区域的位置、形态、大小等相似性建立从当前帧二值图上的区域集到之前已观察到的区域的映射；成功建立相关性的区域对在各自帧上是其帧所含有的区域集的子集；
对成功建立映射的区域集，比较其较初始发现时的增长幅度，若大于预设的阈值，则认定为正在生长的菌落，全部写入待跟踪的区域集；
对当前帧二值图上的区域集中未成功建立映射的区域，视为新发现的区域；
对之前已观察到的区域中未成功建立映射的区域，如是已经确认的菌落则继续保留，写入区域信息，如未确认则减小其连续性指标，待该类指标下降至预设阈值以下即剔除；
分析完成之后，将区域的位置、形态学信息、元数据写入数据库，供用户界面程序调用。
8.一种自动菌落计数系统，采用权利要求1所述的一种自动菌落计数方法，其特征是，包括恒温培养室，所述的恒温培养室包括恒温培养室平台，恒温培养室平台上设有可转动的圆形转盘，圆形转盘上设有升降机械手，圆形转盘上排布若干工位，圆形转盘上还安装有培养皿装载料架，培养皿装载料架放置在培养皿装载料架工位上。
9.根据权利要求8所述的一种自动菌落计数系统，其特征是，若干工位包括培养皿装载料架工位、扫码工位和拍照工位。
10.根据权利要求8所述的一种自动菌落计数系统，其特征是，培养皿装载料架至少有一列为空。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210344019.2A CN114926390A (zh) | 2022-03-31 | 2022-03-31 | 一种自动菌落计数方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210344019.2A CN114926390A (zh) | 2022-03-31 | 2022-03-31 | 一种自动菌落计数方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114926390A true CN114926390A (zh) | 2022-08-19 |
Family
ID=82805101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210344019.2A Pending CN114926390A (zh) | 2022-03-31 | 2022-03-31 | 一种自动菌落计数方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926390A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
| CN108192814A (zh) * | 2017-01-23 | 2018-06-22 | 英特科学公司 | 用于菌落计数的方法和装置 |
| CN113902713A (zh) * | 2021-10-12 | 2022-01-07 | 广东电网有限责任公司广州供电局 | 一种基于图像分割算法的多菌落体计数方法 |
-
2022
- 2022-03-31 CN CN202210344019.2A patent/CN114926390A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108192814A (zh) * | 2017-01-23 | 2018-06-22 | 英特科学公司 | 用于菌落计数的方法和装置 |
| CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
| CN113902713A (zh) * | 2021-10-12 | 2022-01-07 | 广东电网有限责任公司广州供电局 | 一种基于图像分割算法的多菌落体计数方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杜培培: "活体菌落智能计数和分类方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, 15 January 2022 (2022-01-15), pages 7 - 39 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN107771212B (zh) | 菌落对比度收集 | |
| CN110389127B (zh) | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 | |
| WO2011055791A1 (ja) | 細菌コロニー釣菌装置及びその方法 | |
| US11226280B2 (en) | Automated slide assessments and tracking in digital microscopy | |
| CN103518224B (zh) | 用于分析微生物生长的方法 | |
| JP6062059B2 (ja) | バイオイメージング法 | |
| EP2191417B1 (en) | Methods and systems for processing biological specimens utilizing multiple wavelengths | |
| JP2010104301A (ja) | 微生物の検出方法、装置およびプログラム | |
| JP2012080802A (ja) | 細菌コロニーの釣菌方法及び釣菌装置 | |
| CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
| CN114820475B (zh) | 边缘识别方法、系统、晶圆加工装置及晶圆与加工台同心状态确定方法 | |
| US12039795B2 (en) | System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass | |
| CN115176289A (zh) | 使用卷积神经网络的细胞系发育图像表征 | |
| CN113963199B (zh) | 一种基于多种传感器特征融合和机器学习的医废识别方法 | |
| US20230340394A1 (en) | System for controlling the development of a culture in a solid medium in a robotised incubator | |
| CN114926390A (zh) | 一种自动菌落计数方法及系统 | |
| CN116485749A (zh) | 一种基于自编码器的镜头模组中脏污识别方法 | |
| CN116797824A (zh) | 一种基于视觉系统的鸡蛋活性自动检测方法及系统 | |
| CN116757998A (zh) | 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 | |
| CN111311628A (zh) | 一种全自动高性能白细胞分割方法 | |
| CN115063340A (zh) | 一种菌落计数方法及菌落计数器 | |
| Andreini et al. | ABLE: an automated bacterial load estimator for the urinoculture screening | |
| CN117496276B (zh) | 肺癌细胞形态学分析、识别方法及计算机可读存储介质 | |
| Tian et al. | Design of a Crop Disease Identification System Based on LabVIEW Machine Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |