CN103080331A - 微生物检测方法、微生物检测设备和程序 - Google Patents

微生物检测方法、微生物检测设备和程序 Download PDF

Info

Publication number
CN103080331A
CN103080331A CN2011800409268A CN201180040926A CN103080331A CN 103080331 A CN103080331 A CN 103080331A CN 2011800409268 A CN2011800409268 A CN 2011800409268A CN 201180040926 A CN201180040926 A CN 201180040926A CN 103080331 A CN103080331 A CN 103080331A
Authority
CN
China
Prior art keywords
substratum
sorter
bacterium colony
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800409268A
Other languages
English (en)
Other versions
CN103080331B (zh
Inventor
李胜兰
西田孝
甲斐千束
丰岛邦光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toho Corp
Yriduo Corp
N Tech KK
Yakult Honsha Co Ltd
TOHOSHOJI KK
Original Assignee
Toho Corp
Yriduo Corp
N Tech KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toho Corp, Yriduo Corp, N Tech KK filed Critical Toho Corp
Publication of CN103080331A publication Critical patent/CN103080331A/zh
Application granted granted Critical
Publication of CN103080331B publication Critical patent/CN103080331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

用于检测微生物的方法，包括：训练步骤，用于由分类器基于培养基中的训练对象区域内的个别点上的颜色数据形成特征向量，将所述特征向量所规定的培养基内的点映射到高维特征空间，以及将因此获得的高维特征向量所规定的点集合ψ(x1)线性分离，从而按颜色归类出培养基类别(C1)；和识别步骤，用于由分类器使用通过捕获在培养下的培养基的图像所获得的图像数据基于在所述培养基内的区域内的个别检查点上的颜色数据形成特征向量，将所述特征向量所规定的检查点(xj)映射到高维特征空间，以及判定因此获得的所述高维特征向量所规定的映射点ψ(x1)是否属于培养基类(C1)，从而基于不属于培养基类(C1)的检查点识别菌落。

Description

微生物检测方法、微生物检测设备和程序
技术领域
本发明涉及微生物检测方法、微生物检测设备和程序，其中通过检测真核生物和细菌(如大肠杆菌)之类的微生物来检查食物之类的检查对象。
背景技术
专利文献1揭示了一种检测食物之类中所含微生物的方法。根据这篇文献所揭示的检测方法，在培养前后，用CCD线传感器捕获用于细菌检测的平板的图像。比较所获得的图像数据，以对菌落进行计数。专利文献2揭示了一种通过使用预先规定的颜色数据来检测微生物的方法。
在专利文献1的检测方法中，通过简单地比较图像数据来对菌落计数。因此，当培养前后相机和培养基之间的相对位置改变时，或者当培养基的颜色和微生物的颜色类似时，不能充分确保微生物检测的精度。在专利文献2的检测方法中，微生物是通过使用预先规定的颜色数据来检测的。因此，当微生物的颜色改变或者当培养基的颜色和微生物的颜色类似时，不能充分确保微生物检测的精度。
现有技术文献
专利文献
专利文献1：日本特开No.2000-69994
专利文献2：日本特开No.11-221070
发明内容
本发明要解决的问题
因此，本发明的目的是提供一种能够精确地检测检查对象培养基中产生的菌落的微生物检测方法、微生物检测设备和程序。
解决问题的手段
为了实现前述目的，根据本发明的第一方面，提供一种用于检测培养基中培养的微生物菌落的微生物检测方法。该方法包括训练步骤和识别步骤。训练步骤包括：捕获培养基区域内有无微生物菌落的学习对象的彩色图像，设置(setting)所述捕获到的彩色图像内的至少一部分培养基区域为训练对象区域；获得所述训练对象区域内的培养基点和微生物点中任何一种或者两者的颜色数据作为学习数据；将所述学习数据提供给分类器以获得所述颜色数据的特征向量；所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和微生物类别中的至少一类。所述识别步骤包括：将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查所述培养基区域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量；所述分类器判定所述特征向量所规定的点属于所述训练步骤中所分的类别中的哪一类；基于所述判定结果识别菌落。
根据这个方案，在所述训练步骤，所述培养基点和微生物点其中的一个或者两者的颜色数据被提供给所述分类器作为学习数据，从而获得颜色数据的特征向量。所述分类器将所述特征向量所规定的点集合分离，用颜色归类出培养基类别和微生物类别中的至少一类。在所述识别步骤，在所述检查对象的彩色图像内的检查对象区域内的每个检查点的颜色数据被提供给所述训练过的分类器，从而获得所述颜色数据的特征向量。所述分类器确定所述特征向量所规定的点属于哪一类，并基于所述确定结果识别菌落。因此，可以判定在培养基和微生物中的至少一个可以用颜色进行分类(分离)的特征空间内是培养基还是微生物。因此，甚至当菌落的颜色改变，或者与培养基的颜色类似时，也可以精确地识别出菌落。甚至当图像捕获装置与检查对象的相对位置在训练和识别之间或多或少有移动时，可以精确地检测菌落。因此，可以精确地检测在检查对象中产生的微生物菌落。
在上面描述的微生物检测方法的训练步骤中，优选地将在所述捕获到所述培养基区域内没有微生物菌落的学习对象的彩色图像中的训练对象区域内的培养基点的颜色数据提供给所述分类器，作为学习数据，以获得所述颜色数据的特征向量，所述培养基类优选地是由所述分类器来分类的，通过在与所述特征向量所规定的点集合向外有一个预定距离的位置设置阈值。在所述识别步骤，优选地，将捕获到的所述检查对象的彩色图像中的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以获得所述颜色数据的特征向量，优选地由所述分类器判定所述特征向量所规定的检查点是否属于所述培养基类，并且优选地基于已经判定为不属于所述培养基类的检查点，识别菌落。
根据这个方案，为所述培养基的颜色数据训练所述分类器，在所述识别步骤，基于已经判定为不属于培养基类的检查点识别菌落。在这种情况下，在所述培养基上进行简单的训练便足矣。因此，所述检测过程比较简单。
在上面描述的微生物检测方法的训练步骤中，在所述捕获到学习对象的彩色图像中的训练对象区域内的培养基点的颜色数据和微生物点的颜色数据优选地提供给所述分类器作为学习数据，以获得所述颜色数据的特征向量，所述特征向量所规定的培养基点集合和微生物点集合优选地由所述分类器分离，以归类出培养基类别和微生物类别。在所述识别步骤，在捕获到的所述检查对象的彩色图像中的检查对象区域内的每个检查点的颜色数据被优选地提供给所述训练过的分类器，以获得所述颜色数据的特征向量，优选地由所述分类器基于已经确定是属于微生物类的检查点，判定所述特征向量所规定的检查点属于培养基类别和微生物类别中的哪一类，优选地识别菌落。
根据这个方案，在所述培养基和微生物点的颜色数据上训练所述分类器，并归类出所述培养基类别和微生物类别。在所述识别步骤，训练过的分类器判定所述检查点属于所述培养基类别和微生物类别中的哪一类，从而识别出菌落。因此进一步提高菌落检测的精度。
在上面描述的微生物检测方法的训练步骤和识别步骤中，提供给所述分类器的数据优选的是除了所述颜色数据之外还包括形状数据和面积数据其中的至少一种。
根据这个方案，在训练期间，除了颜色数据之外的形状数据和面积数据其中的至少一个被提供给所述分类器。因此进一步提高了菌落检测的精度。
在上面描述的微生物检测方法的训练步骤中，与所述类别的分类独立地，优选地采集所述培养基区域内的噪声点上的噪声数据。在所述识别步骤，基于所述噪声数据，优选地辨别属于所述微生物类的检查点是否是噪声点。优选地基于已经辨别为不是噪声点的检查点识别菌落。
根据这个方案，噪声数据是在所述训练步骤采集的。在所述识别步骤，基于所述噪声数据辨别属于所述微生物类的检查点是否是噪声点。基于已经辨别为不是噪声点的检查点，识别菌落。因此可以避免将所述培养基区域内的噪声点检测成微生物点。
在上文描述的微生物检测方法的识别步骤中，优选地将所述培养基区域分成外围区域和中心区域，所述识别优选地使用所述培养基的中心区域作为检查对象区域来进行，并且优选地基于颜色边缘检测检测到的颜色边缘来检测所述外围区域的菌落。
根据这个方案，在所述培养基的中心区域内基于判定所述特征向量所规定的检查点是否属于所述类别来检测菌落。另一方面，在所述培养基的外围区域内，基于颜色边缘检测检测的颜色边缘，检测菌落。因此可以在所述培养基区域内的整个区域精确地检测菌落。
在上文描述的微生物检测方法的训练步骤中，优选地是用在从培养开始直到产生菌落之前的预定周期期间的所述检测对象作为学习对象，目的是训练所述分类器来学习培养基点，从而归类出培养基类别。在所述识别步骤，优选地是使用在所述预定周期之后的检查对象的彩色图像。
根据这个方案，用在从培养开始直到产生菌落的预定周期期间的所述检查对象作为训练期间的学习对象。在识别时，使用预定周期之后所述检查对象的彩色图像。通过使用所述检查对象进行训练，可以提高检测精度，以比较有效的方式进行训练和识别。
为了实现前述目的，根据本发明第二方面，提供一种用于检查培养基中存在或不存在培养的微生物菌落的微生物检测设备。该设备包括训练装置和识别装置。所述训练装置捕获培养基区域内有无微生物菌落的学习对象的彩色图像，设置至少一部分培养基区域为所捕获到的彩色图像内的训练对象区域，获得所述训练对象区域内的培养基点和微生物点中任何一个或者两者的颜色数据作为学习数据，具有分类器，并将所述学习数据提供给所述分类器以获得所述颜色数据的特征向量。所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和微生物类别中的至少一类。所述识别装置将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查培养基区域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量，所述分类器判定所述特征向量所规定的点属于所述训练装置中所分的类别中的哪一类，并且基于所述判定结果识别菌落。
根据这个方案，可以与上述微生物检测方法获得同样的效果。
为了达到前述目标，根据本发明第三方面，提供一种用于使计算机执行用于检测培养基中培养的微生物菌落的微生物检测过程的程序。该程序使计算机执行训练步骤和识别步骤。所述训练步骤包括捕获培养基区域内有无微生物菌落的学习对象的彩色图像，设置至少一部分培养基区域为所述捕获到的彩色图像内的训练对象区域；获得所述训练对象区域内的培养基点和微生物点中任何一个或者两者的颜色数据作为学习数据；将所述学习数据提供给分类器以获得所述颜色数据的特征向量；所述分类器将所述特征向量所规定的点集合分离，以分类成培养基类别和微生物类别中的至少一种。所述识别步骤包括：将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查所述培养基区域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量；
所述分类器判定所述特征向量所规定的点属于所述训练步骤中所分的类别中的哪一类；基于所述判定结果识别菌落。
根据这个方案，计算机执行所述训练步骤和识别步骤。因此，可以与上述微生物检测方法获得同样的效果。
在上面描述的微生物检测方法的识别步骤中，优选地判定与含有判定属于所述微生物类的一系列检查点的闭合区域对应的候选菌落的面积。当所述面积满足根据微生物种类所限定的面积条件时，优选地识别出所述候选菌落为菌落。
在上面描述的微生物检测方法的训练步骤和识别步骤中，优选地至少将所述颜色数据和形状数据提供给所述分类器。在所述训练步骤，所述菌落的颜色数据和形状数据优选地作为学习数据提供给所述分类器，以获得所述颜色数据和形状数据的特征向量，所述菌落类别优选地由所述分类器通过分离所述特征向量所规定的点集合来分类。在所述识别步骤，所述检查点优选的是所述检查对象区域内用颜色辨别的区域所表示的候选菌落点，所述候选菌落点的颜色数据和形状数据优选的是提供给所述训练过的分类器，以获得所述颜色数据和形状数据的特征向量，优选地由所述分类器确定所述特征向量所规定的点是否属于菌落类，并基于所述确定结果优选地识别出菌落。
在上文描述的微生物检测方法中，所述分类器优选地包括基于核心方法的支持向量机、神经网络和高斯混合模型其中的至少一个。
在上文描述的微生物检测方法中，所述分类器优选的是基于核方法的支持向量机。在所述训练步骤，通过优选地使用所述分类器的映射区根据核方法将培养基点和微生物点其中一个或者两者的颜色数据的特征向量映射在高维特征空间，获得高维特征向量，所述高维特征向量所规定的点集合优选地是由所述分类器线性分离，以归类出培养基类别和微生物类别其中的至少一类。在所述识别步骤，优选地通过使用所述分类器的映射部，根据核方法，将所述检查点的颜色数据的特征向量映射到高维特征空间，获得高维特征向量，优选地由所述分类器判定所述高维特征向量所规定的点属于所述训练步骤中所分类别中的哪一类，并基于所述判定结果，优选地识别菌落。
根据这个方法，通过将所述点用核方法映射到高维特征空间所获得的高维特征向量所规定的点集合是可线性分离的。因此可以适当进行分类，精确检测微生物。
上面描述的微生物检测设备优选地包括用于获得彩色图像的图像捕获装置和通知装置，当所述识别装置识别出菌落时，所述通知装置发布检测到菌落的通知。
附图说明
图1所示为根据本发明第一实施例的检查系统的示意平面视图；
图2所示为检查设备的电构造的方块图；
图3是检查设备的示意性正视图；
图4是描绘分类器功能的图形；
图5(a)至5(d)所示为样品在不同阶段的示意图；
图6是描绘分类器的训练的图形；
图7(a)和7(b)是描绘分类器的微生物识别的图形；
图8(a)和8(b)所示为检测处理装置所检测到的细菌数的图形；
图9所示为微生物检测处理过程的流程图；
图10所示为训练处理过程的流程图；
图11所示为识别处理过程的流程图；
图12是描绘根据本发明第二实施例的训练和识别的图形；
图13是描绘根据本发明第三实施例的训练和识别的图形。
具体实施方式
(第一实施例)
下面参考图1至11描述根据本发明的一个实施例。
如图1所示，微生物检查系统(下文简单地称作“检查系统11”)包括用壁部12围起来的恒温室13。恒温室13内的温度用空调14保持在一个预定的温度。检查系统11，在图1右下方部分的恒温室13内包括送料搁板搁架15、排放搁架16和排放搁架17。示例的检查对象样品S(例如，含有培养基的陪替氏培养皿)从送料搁架15送到恒温室13中。从恒温室13，具有正常的检查结果的样品S通过排放搁架16排放，具有劣质的检查结果的样品S通过排放搁架17排放。恒温室13包括多个储存搁架18、用于检查样品S的微生物检查装置(在下文中简单地称作为“检查设备19”)和搬运机械手20。送入恒温室13中的样品S储存在每个储存搁架18中以进行培养。搬运机械手20在搁架15至18与检查设备19之间搬运样品S。搁架15至17分别包括将恒温室13的内部和外部连接起来的传送器15a至17a。当送给样品S和排放样品S时，分别设置在传送器15a至17a的外边缘和中间的双开闭器21和22按顺序一个接一个打开，从而防止微生物之类从外面进入到恒温室13内。
搬运机械手20包括设置在恒温室13地板上的转动主体20a和从主体20a上延伸、具有多个接合点的臂部20b。样品S被臂部20b末端的卡头构件20c牢固地抓着，在每个搁架15至18和检查设备19之间进行搬运。
检查设备19包括让样品S放置于其上的检查工作台23和捕获检查工作台23上的样品S的图像的相机24。在一个培养周期，用检查设备19定期检查储存在储存搁架18中的样品S。检查设备19，基于相机24捕获到的样品S的彩色图像，检测样品S的培养基中的菌落。完成预定的培养周期而没有可检测到菌落的样品S通过排放搁架16排放，是正常样品。另一方面，具有可检测菌落的样品S通过排放搁架17排放，是劣质样品。
检查系统11，在恒温室13外面，包括控制器25和个人计算机26。控制器25控制空调14、搬运机械手20、传送器15a至17a、开闭器21和22之类。个人计算机26，它是检查设备19的一部分，接收相机24捕获到的样品S的彩色图像数据。个人计算机26执行微生物检测过程，其中通过用某个算法、使用颜色数据辨别样品S中的培养基和微生物来检测菌落。
如图3所示，检查设备19包括检查工作台23、照亮检查工作台23上的样品S的圆形光源28、反射板29、捕获检查工作台23上的样品S的图像的相机24、和微生物检测处理装置(在下文中简单地称作“检测处理装置40”)。反射板29和光源28设置在检查工作台23的对侧。检测处理装置40建在个人计算机26的主体31内，相机24将图像数据发送给个人计算机26。
检查工作台23是由透光材料制成，比如玻璃。检查工作台23由图中未示出的支撑构件可移动地支撑着。光源28是圆形，设置在相机24和检查工作台23之间。光源28的中心轴线对应于相机24的光轴线。相机24通过光源28的开口捕获检查工作台23上的整个样品S的图像。反射板29例如是由散射板形成。反射板29反射来自光源28的光，成为散射光。因此，相机24可以只捕获检查工作台23上的样品S的图像。
样品S是含有培养基M(琼脂培养基之类)的陪替氏培养皿35(例如，玻璃陪替氏培养皿)。包括有覆盖培养皿35a的盖子35b的陪替氏培养皿35倒置放在检查工作台23上，使得盖子35b相对地朝向相机24。这是为了防止去掉盖子35b时，恒温室13内微生物污染培养基M。假设恒温室13内的洁净度足够高，在检查时可以去掉盖子35b。
培养皿35a包含有含有一定比例的检查对象(液体饮料)的培养基M。在预定的温度条件下，在恒温室13内对陪替氏培养皿35中的培养基M培养一个预定的培养周期。检查设备19在培养开始时和在培养周期内的多个预定时间检查陪替氏培养皿35。当搬运机械手20重复地将陪替氏培养皿35移动到检查工作台23上时，检查工作台23上的陪替氏培养皿35的位置会从其原始位置移动几毫米至大约1厘米，陪替氏培养皿35的角度会移动几度至大约30度。
相机24是具有R(红色)、G(绿色)和B(蓝色)三个成像元件36的三芯片彩色相机。成像元件36可以是CCD(电荷耦合元件)图像传感器或者CMOS图像传感器之类。相机24包括具有自动聚焦(autofocus)功能和缩放功能的透镜单元37。相机24以预定的放大率捕获检查工作台23上的样品S(陪替氏培养皿35)的图像。透过透镜单元37进入相机24的光线被二向色镜或者二向棱镜(图中未示)分成三原色光RGB。分开后的RGB光分别在各成像元件36处接收。相机24可以是单芯片彩色相机。
个人计算机26包括主体31、具有鼠标32m和键盘32k的输入操作部32和监视器33(显示器)。相机24连接在主体31上。相机24中的各成像元件36生成的模拟信号在相机24内被进行A/D转换，然后送到主体31作为RGB彩色图像数据。主体31中的检测处理装置40基于相机24输送的样品S的彩色图像数据来检测培养基M中的菌落。检测处理装置40相当于根据本发明的微生物检测设备。
主体31包括含有CPU(中央处理单元)和存储器(例如，RAM)的微机(下文简单地称作“计算机38”)(见图2)。主体31中的存储器存储从CD-ROM之类的存储介质安装的微生物检测过程的程序。计算机38用作执行从存储器中读出的程序的检测处理装置40。在下文更详细地描述检测处理装置40的微生物检测过程。
如图2所示，主体31中的计算机38连接至相机24和光源28。计算机38控制相机24的图像捕获(聚焦控制、缩放控制之类)和光源28的照明。计算机38还连接至输入操作部32和监视器33。计算机38将输入操作部32输入的各种设置数据存储到存储器42中，并将样品S的图像或者菌落的检测结果显示在监视器33上。
在图2中，检测处理装置40中所示的各功能块是在计算机38运行所述检测过程程序时实现的。检测处理装置40包括控制部41、存储器42、输入数据生成部43、分类器45、训练处理部46和识别处理部47。
控制部41控制整个检测过程，并将设置数据存储在存储器42中。控制部41将相机24捕获的样品S的图像和菌落检测结果显示在监视器33上。控制部41将设置屏显示在监视器33上。操作人员操作输入操作部32以输入各种设置数据，比如培养周期、训练周期(学习周期)、识别周期(检查周期)、学习间期(学习采样期间)、识别间期(识别采样期间)、存在或不存在噪声采集、阈值设置距离、存在或不存在最外围检测、存在或不存在辨别(discrimination)、菌落识别条件(面积条件或者直径条件)之类，从而将它们存储在存储器42中。存储器42可以是硬盘或者RAM的局部存储区域。
控制部41具有计时器41a。计时器41a测量从开始培养到结束培养周期的时间长度。培养周期可以分成“训练周期”和“识别周期”，“训练周期”是从培养开始直到预定的时间，“识别周期”是在所述预定的时间之后直到培养周期结束。培养周期根据各种检测对象微生物来确定，例如定为10至30小时内的范围(例如，18小时)。控制部41基于计时器41a测量的时间理解它是在训练周期或者识别周期、已经到了学习或者检查采样周期、培养周期已经结束之类。
输入数据生成部43从相机24输入的彩色图像数据(输入图像)获得待提供给分类器45的输入数据。输入数据含有至少颜色数据。具体而言，输入数据生成部43为从相机24输入的彩色图像数据中的一个定义好的范围内的每个像素获得色彩数据(RGB梯度值)。颜色数据提供为具有256个梯度的R、G、B梯度值。色彩数据的梯度数目可以适当改变。
分类器45是由选自基于核方法(Kernel method)的支持向量机(SVM)、神经网络(MLP：多层感知)和高斯混合模型(GMM)中的至少一个算法所形成的。分类器45包括SVM、MLP和GMM中的两种或者三种。操作人员可以手动选择SVM、MLP和/或GMM，或者检测处理装置40可以从SVM、MLP和GMM中自动选择一个适用于检测对象的。
分类器45包括特征提取部51、映射部52、线性分离部53和判定部54(识别部)。特征提取部51是由上面描述的SVM、MLP和GMM中的至少一个已知函数算法形成。特征提取部51按照所述函数算法，用输入数据生成部43的输入数据的输入变量进行特征提取计算，从而形成特征向量(特征向量数据)x。当使用像素的色彩数据(RGB梯度值)时，用含有三色RGB的特征向量分量(xr，xg，xb)来表示特征向量x。特征向量x可以是RGB色彩与非RGB色彩空间(例如，HSV色彩空间)的至少一部分色彩空间的色彩分量数据的组合。在接下来的描述中，假设色彩数据是具有RGB梯度值的三维数据。
当分类器45是支持向量机(SVM)时，提供映射部52。映射部52根据基于核方法的计算算法将从特征提取部51发送的特征向量所规定的输入点x映射到高维特征空间。然后映射部52形成高维特征向量(高维特征向量数据)，并输出由高维特征向量规定的输出点(映射点)ψ(x)。在接下来的描述中，假设分类器45是基于核方法的支持向量机(SVM)。
图4是描绘从输入空间(特征空间)到高维特征空间映射的图形。图4中的左图所示为含有由特征向量所规定的输入点x＝(xr，xg，xb)的输入空间。图4中的右图所示为含有由高维特征向量所规定的输出点(映射点)ψ(x)(＝ψ(xr，xg，xb))的高维特征空间。在图4中，为了方便解释SVM的特征，在输入空间内示出培养基的输入点x1(培养基点)和微生物的输入点x2(微生物点)。输入点x具有含有颜色特征量(xr，xq，xb)的三维数据。为了便于解释，在图4中所示的输入空间(特征空间)是二维空间，在两个坐标轴上有两个颜色R和G的颜色特征量。
输入空间中的三维输入点x1和x2被映射在高维空间上，映射部52向该高维空间加了额外的维度，并作为由高维特征向量所规定的输出点ψ(xr，xg，xb)被输出。输出点ψ(xr，xg，xb，...)是n维(n＞3)特征向量数据，并含有n个分量(ψxr，ψxg，ψxb，...)。(xr，xq，xb)和(ψxr，ψxg，ψxb，...)是向量终点的坐标。
在图4所示的输入空间中，培养基点x1的集合和微生物点x2的集合不可线性分离。但是，在所映射的高维特征空间内，从培养基点x1映射的点集合ψ(x1)和从微生物点x2映射的点集合ψ(x2)是可由边际最大化(marginmaximization)规定的超平面线性分离的。但是，在第一实施例中，输入点x只是培养基点x1，因此，只有培养基类别C1由超平面归类出，该超平面不是由边际最大化所定义而是由阈值所定义，所述阈值是点集合ψ(x1)向外的预定距离(阈值设置距离ΔL)(参见图6)。
线性分离部53用超平面(分离平面)将点集合ψ(x)线性分离，点集合ψ(x)是在训练周期获得的培养基点集合ψ(x1)，或者是微生物点集合ψ(x2)，或者是两者。线性分离部53归类出培养基类别C1和微生物类别C2中至少一个类别C。
如图6所示，在当前示例中，其中只用培养基的颜色数据的学习数据训练分类器45，输入点只是所述输入空间所示的培养基点x1，培养基点集合ψ(x1)只是形成在输入点所映射的高维特征空间中。线性分离部53用超平面将点集合ψ(x1)线性分离，并只按颜色分类出培养基类别C1。当只分一类时，存储器42存储阈值设置距离ΔL数据，作为定义超平面的设置数据。线性分离部53在与点集合ψ(x1)(例如，作为支持向量的多个点)中的最外点向外ΔL距离处设置阈值。因此，定义了图6中所示的超平面，线性分离部53因此进行颜色分类出培养基类别C1。当只分一类时，分类器45是由基于核方法的支持向量机(SVM)、和高斯混合模型(GMM)中的至少一个形成。
使用图2中所示的判定部54(识别部)以在识别周期期间识别检查点所属的类别。图2中所示的训练处理部46包括作为训练分类器45的必要构造的训练控制部56、培养基区域检测部57和噪声采集部58。训练控制部56提供训练所必需的设置数据和各种指令给分类器45，并提供训练所必需的指令给培养基区域检测部57和噪声采集部58。训练装置是由训练处理部46和分类器45形成。
现在描述相机24捕获的样品S的图像。图5(a)至5(d)所示为在培养周期期间相机24所捕获到的样品的图像。图5(a)所示为训练期间的图像，图5(b)是识别开始时的图像，图5(c)是识别期间有菌落产生时的图像，图5(d)是通过将相机捕获的图像叠加到菌落检测结果上所获得的在监视器33上显示的图像。图5(a)中示例的培养基M含有噪声N，该噪声是检查对象(液体饮料)中的不溶性固体成分。当检查对象是含有水果的液体饮料时，例如含在其中的小固形物，比如果皮、果肉、纤维、种子之类会是导致菌落误检的噪声N。
培养基区域检测部57检测样品图像内培养基M中的区域(在下文称作“培养基区域MA”)，并且还检测培养基区域MA内的训练局部区域TA(参见图5(a))。训练局部区域TA是训练对象区域，分类器45使用它来学习培养基M的颜色。在当前示例中，为了减轻训练过程的负荷，选择培养基区域MA的一部分区域作为训练局部区域TA。具体而言，培养基区域检测部57通过图像处理从培养基区域MA分出陪替氏培养皿35中的一区域，并且进一步检测出培养基区域MA中没有噪声N的局部区域，然后将这个局部区域设置为训练局部区域TA。通过利用噪声N和培养基M之间的颜色差异，检测具有不同颜色的区域之间的边界为颜色边缘。操作人员可以通过操作输入操作区域32手动设置训练局部区域TA。可以适当选择训练局部区域TA的数量和形状。
噪声采集部58采集噪声数据。噪声数据用于位置辨别，其中噪声和菌落基于它们的位置来辨别。噪声采集部58通过使用颜色边缘检测在训练周期期间检测噪声N，或者利用分类器45。噪声采集部58然后采集含有检测到的噪声N的位置的噪声数据。例如，当使用分类器45时，在训练局部区域TA上至少训练一次之后，归类出培养基类别C1，然后噪声采集部58将培养基区域MA中的每个像素的输入数据输入到分类器45中，并识别点集合x中或者作为输出点获得的点集合ψ(x)中不属于培养基类别C1的噪声点。然后噪声采集部58获得噪声区域(该噪声区域是含有一系列噪声点的闭合区域)，并在该噪声区域中的位置上进行计算，以获得噪声数据。噪声数据会含有噪声区域的面积和灰度值。
在识别周期，识别处理部47判定特征提取部51基于培养基M上各点的输入数据所形成的检查点xj(在GMM的情况下)或者通过映射部52映射检查点xj所获得的映射点ψ(xj)(在SVM的情况下)是否属于所述类。识别处理部47，基于该判定结果，识别检查点xj是培养基点还是微生物点。识别处理部47进一步提取含有一系列识别出为微生物点的点(像素)的闭合区域。然后识别处理部47根据各种判定条件识别所述闭合区域是否是微生物菌落。为了进行这样的识别过程，识别处理部47包括识别控制部61、培养基区域划分部62、最外围检测部63、辨别部64、标记部65和菌落检测部66。所述识别装置是由识别处理部47和分类器45形成，分类器45是训练过的(学习之后的)。
当进行识别过程时，识别控制部61给分类器45和62至66的每个部提供指令。当设置是“具有”最外围检测时，启动培养基区域划分部62。在这种情况下，如图5(b)所示，培养基区域划分部62将图像内的培养基区域MA分成中心主区域A1(中心区域)和最外围局部区域A2(外围区域)。中心区域可以与外围区域部分地重叠。
当计时器41a所测量的时间是在训练周期内时，控制部41启动训练处理部46，以训练分类器45。当所测量的时间是在识别周期(检查周期)内时，控制部41启动识别处理部47，并在训练之后用分类器45进行检查。
在当前实施例中，使用分类器45的微生物检测过程是在主区域A1上进行的。分类器45中的特征提取过程是由特征提取部51根据与训练期间所用的算法类似的算法来进行的。即，相机24的图像数据中的主区域A1内的所有像素的输入数据是逐个像素按顺序从输入数据生成部43输入到分类器45中的。特征提取部51根据算法，基于输入数据，形成特征向量xj(检查点)。当分类器45是SVM时，映射部52将特征向量所规定的检查点xj映射到高维特征空间上，形成高维特征向量ψ(xj)。然后分类器45中的判定部54判定所述特征向量所规定的点xj或者点ψ(xj)是否属于分类器45在训练期间所分的类别C(在当前实施例中是培养基类别C1)，并基于判定结果判定检查点xj是培养基点还是微生物点。
图7是分类器是SVM时的示例，并且图示了判定部54进行的判定方法。如图7(a)所示，当映射在高维特征空间上的点ψ(xj)(j＝1，2，...)属于培养基类别C1时，判定部54判定检查点xj是培养基点。另一方面，如图7(b)所示，当点ψ(xj)不属于培养基类别C1时，判定部54判定检查点xj是微生物点。在这个阶段，所述微生物点有可能是噪声。
图2中所示的最外围检测部63通过使用与主区域A1所用的方法不同的方法在最外围区域A2中进行微生物检测。这是因为，在所述培养基区域MA的最外围附近的环形区域对应于例如培养基M的颜色受陪替氏培养皿35的侧壁折射的光或者侧壁的阴影影响的区域。因此，最外围检测部63进行颜色边缘检测，目的是检测最外围局部区域A2内具有不同颜色的区域之间的边界(颜色边缘)。然后，最外围检测部63在所述颜色边缘所围绕的区域进行形态学操作，并获得形状由此被规定的候选菌落。
当设置(setting)是“有”辨别时，启动辨别部64。辨别部64进行形状辨别、颜色辨别和位置辨别，目的是从确定为含有在主区域A1内检测到的一系列微生物点的闭合区域的检测到的对象(候选菌落)和在最外围局部区域A2内检测的检测到的对象(候选菌落)中辨别菌落而非噪声N。根据形状辨别，判定通过特征提取之类所获得的检测到的对象的特征，比如面积、圆形度、凸性、最小外接圆之类是否满足预先设置或者学习的菌落形状条件。辨别部64将满足上述形状条件的检测对象辨别为菌落。根据颜色辨别，分别为检测到的对象和培养基区域计算某个色度的度数，判定它们之间的色度之差是否在预定的阈值或者比预定的阈值高。辨别部64将色度差为阈值或者高于阈值的检测到的对象辨别为菌落。在检测到的对象上逐个像素进行颜色辨别。根据位置辨别，基于训练步骤采集的噪声数据，通过比较噪声的位置和检测到的对象的位置辨别菌落。当检测到对象与噪声重叠，对位置辨别造成辨别困难时，用检测到的对象的面积和灰度值进行位置辨别。
标记部65进行标记操作，其中对主区域A1内和最外围局部区域A2内检测或者辨别为菌落的对象进行标记。对检测或者辨别为不对应于噪声N的检测到的对象进行标记，但是对检测或者确定为噪声N的检测到的对象不进行标记。
菌落检测部66判定标记的检测到的对象的面积是否满足预定的面积条件，并将满足面积条件的检测到的对象检测为菌落。例如，当检测到的对象的面积Sd满足下限Slower和上限Supper限定的面积条件Slower≤Sd≤Supper时，检测到的对象被检测出为菌落。所述面积条件可以是下限或者上限其中的一个。
控制部41将从识别处理部47获得的菌落检测结果显示在监视器33上。当没有检测到菌落时，所检测的菌落数显示为“0”。当检测到任意菌落时，对所检测到的菌落数进行显示。另外，如图5(d)所示，围绕检测到的菌落的标记70叠加在培养基M的图像上。
现在参考图9至11的流程图描述计算机38中的微生物检测过程。微生物检测过程是由图2所示的检测处理装置40用软件进行的。
如图9所示，在开始培养之前，操作人员通过操作输入操作部32，首先在个人计算机26上输入设置值，比如存在或不存在噪声采集、阈值设置的距离、存在或不存在最外围检测、存在或不存在辨别、面积条件之类。所输入的各种设置值存储在存储器42中。当操作人员通过使用输入操作部32启动检查时，计算机38(检测处理装置40)启动微生物检测过程。
在步骤S10，计算机38从存储器42中读出设置值，比如存在或不存在噪声采集、阈值设置的距离、存在或不存在最外围检测、存在或不存在辨别、面积条件之类。
在步骤S20，在训练周期，计算机38使分类器45通过使用相机24捕获到的培养基M的图像至少学习培养基的颜色。步骤S20中的训练过程对应于所述训练步骤。
在步骤S30，在识别周期，计算机38执行识别过程，目的是识别培养基区域内存在或不存在菌落。步骤S30内的识别过程对应于所述识别步骤。
计算机38在S20的训练过程中执行图10所示的训练处理过程，在S30的识别过程中执行图11所示的识别处理过程。通过下面图10和11中的流程图，分别详细描述所述训练过程和识别过程。训练处理部46基于相机24所捕获到的图像数据，使用输入数据生成部43和分类器45执行训练过程。
在图10的步骤S110中，用相机24照取一至十例如五个含有检查对象(培养基M)的陪替氏培养皿35的图像。
在步骤S120，基于捕获到的图像数据来检测培养基区域MA((参见图5(a))。
在步骤S130中，在培养基区域MA中设置训练局部区域TA(参见图5(a))。例如，在培养基区域MA中搜索噪声N之后，没有噪声N的区域被设置成训练局部区域TA。
在步骤S140，在训练局部区域TA上，用学习算法训练分类器45。具体而言，图2所示的输入数据生成部43为所述训练局部区域TA内的每个像素生成含有颜色数据的输入数据。然后输入数据生成部43逐次将输入数据作为学习数据发送到分类器45。分类器45中的特征提取部51基于输入数据根据算法形成特征向量x1。当分类器45是SVM时，如图6所示，特征向量所规定的培养基点x1由映射部52逐次映射在所述高维特征空间上。因此获得点集合ψ(x1)，它由映射的高维特征向量所规定。阈值设置为在一个位置的超平面，所述位置在点集合ψ(x1)向外所述阈值设置的距离ΔL处。所述超平面将所述高维特征空间线性分离，用颜色归类出培养基类别C1。
在步骤S150，判定存在或不存在噪声采集。当设置是“有”噪声采集时，所述过程进行到步骤S160；当所述设置是“无”噪声采集时，进行到步骤S170。
在步骤S160，采集噪声数据。噪声采集部58检测培养基区域MA中的颜色边缘，并检测颜色边缘中具有与培养基M的色调不同的色调的区域为噪声N。噪声采集部58计算检测到的噪声N的位置，生成至少含有位置数据的噪声数据，并将它存储在存储器42中。
在步骤S170中，判定存在或不存在额外的训练。在训练周期，可以根据需要进行多次的训练，额外的训练会增加学习数据。允许添加学习数据的周期(预定时间)可以是产生微生物之前的任何适当值。当进行额外的训练时所述过程返回到S110，并且在学习采样间隔之后在进行下一次训练时再次将样品S搬运到检查工作台23。然后类似地用相机24捕获到的样品S的图像数据执行S110至S170的步骤。当没有额外的训练时，完成训练处理过程。
在训练周期期间进行训练过程，训练周期从培养开始(时间0)直到预定时间(例如，5小时)，以学习采样间隔(例如，每30分钟或者1小时)。因为有这个训练，分类器45归类出培养基类别C1。为了这么做，例如，在训练周期期间学习培养基M的颜色的变化。另外，由于液体饮料中诸如乳化铁之类金属成分的氧化而产生的沉积物(氧化铁之类)的数据，也作为噪声N采集。
当计时器41a所测量的时间是在预定时间(例如，5小时)之后时，所述过程从训练周期切换到识别周期。然后计算机38启动图11所示的识别处理过程，其中识别处理部47使用输入数据生成部43和分类器45执行识别过程。
如图11所示，在步骤S210，相机24捕获的图像数目与在训练含有检查对象(培养基M)的陪替氏培养皿35期间捕获的图像数目相同。
在接下来的步骤S220中，基于捕获到的图像数据检测培养基区域MA。
在步骤S230中，在培养基区域MA内设置主区域A1和最外围局部区域A2。
在步骤S240，根据查找表(LUT)进行亮度转换。在进行亮度转换时，进行对比度调节、伽玛值校正之类。
在接下来的步骤S250，分类器45使用学习算法从主区域A1检测微生物点。具体而言，图2所示的输入数据生成部43为主区域A1内的每个像素生成含有颜色数据的输入数据，然后将它们逐次发送到分类器45。分类器45中的特征提取部51基于输入数据形成特征向量xj(j＝1，2，...)(检查点)。当分类器45是SVM时，图6中所示的特征向量所规定的检查点xj由映射部52逐次映射到高维特征空间。然后获得高维特征向量规定的映射点ψ(xj)(参见图7)。如图7(a)所示，当映射点ψ(xj)属于培养基类别C1时，判定(识别)检查点xj为培养基点。另一方面，如图7(b)所示，当映射点ψ(xj)不属于培养基类别C1时，判定(识别)检查点为微生物点。如图5(c)所示，在进入识别步骤之后3到5个小时，例如，会产生菌落CL。在这种情况下，通过映射基于菌落CL中的像素的输入数据的检查点xj所获得的点ψ(xj)(在SVM情况下)不属于图7(b)所示的培养基类别C1，并被检测为微生物点。为主区域A1中的所有像素执行这样的检测过程。
在步骤S260，判定存在或不存在最外围检测。当设置是“有”最外围检测时，所述过程进行到步骤S270，当设置是“无”最外围检测时，所述过程进行到步骤S290。
在步骤S270，在最外围局部区域A2检测颜色边缘，基于与培养基的色调差异检测所述菌落区域。所述菌落区域是检测到的对象的区域(候选菌落)，其可能是噪声区域。
在接下来的步骤S280，通过区域形态学操作，将检测到的对象的形状调节成，例如圆形或者椭圆形。
在步骤S290，判定存在或不存在辨别过程。当设置是“有”辨别过程时，所述过程进行到步骤S300，当设置是“无”辨别过程时，所述过程进行到步骤S310。
在步骤S300，基于形状、颜色和位置辨别检测到的对象。对主区域A1和最外围区域A2的检测结果进行整合。在所述整合结果的基础上，对含有一系列微生物点的闭合区域进行特征提取，并且对检测到的对象(候选菌落)进行。根据形状辨别，计算检测到的对象的面积、圆形度、凸性、最小外接圆之类。具有满足菌落形状条件的提取的特征量的检测到对象被辨别为候选菌落。根据颜色辨别，分别为检测到的对象和培养基区域计算某个色度的程度。检测到的对象和培养基区域之间的色度差是在预定的阈值或者高于预定的阈值的检测到的对象被辨别为候选菌落。根据位置辨别，对由从存储器42读出的噪声数据确定的噪声位置和检测到的对象的计算出位置进行比较。不与噪声重叠的检测到的对象被辨别为候选菌落。当检测到的对象与噪声重叠，使位置辨别难以进行辨别时，用检测到的对象的面积和灰度值来辨别候选菌落。根据所述辨别步骤，检测到的对象之间的噪声N等不辨别成菌落，使得检测到的对象(候选菌落)进一步窄化。
在步骤S310，标记已经检测出的或者辨别开的检测到的对象。即，整合主区域A1和最外围局部区域A2的检测结果，并标记在培养基区域MA的整个区域检测到出或者辨别开的所有检测到的对象。当已经执行了S300的辨别过程时，从标记中排除在辨别过程中辨别出为噪声的检测到的对象。
在步骤S320中，基于面积条件，判定检测到的对象是否是菌落。菌落检测部66检查标记的检测到的对象的面积是否满足从存储器42读出的面积条件。当检测到的对象的面积Sd满足面积条件Slower≤Sd≤Supper时，判定检测到的对象为菌落CL。
在步骤S330，在监视器33上显示菌落检测结果，并根据菌落检测结果发送控制信号。即，当从识别处理部47输送的菌落检测结果是检测到的数目“0”时，控制部41在监视器33上显示检测到的菌落数为“0”。另一方面，当菌落检测结果是检测到的数目“N”(N≥1)时，控制部41将检测到的菌落数“N”显示在监视器33上，并将围绕检测到的菌落CL的标记70叠加在显示在监视器33上的样品S的图像上，如图5(d)所示。如果显示了标记70，在恒温室13外面看监视器33的操作人员可以容易地了解被检查的样品S中的菌落繁殖状态。控制部41的控制信号被发送到控制器25。当检测到的菌落数是“N”(N≥1)时，当检测出菌落时停止检查，控制部41发送控制信号给控制器25以排放样品S。结果是，控制器25控制搬运机械手20将判定为劣质样品的样品S搬运到排放搁架17，并驱动传送器17a将样品S排放到恒温室外。另一方面，当菌落的检测结果是检测数“0”时，将样品S返回到储存搁架18。在培养周期过后没有检测到菌落的样品S被搬运机械手20搬运到排放搁架16，是正常样品，并由传送器16a排放到恒温室外面。
现有技术中，在培养周期过后进行检查，对于每批最多检测到一个菌落的饮料必须中止生产。根据当前实施例的检查设备19，在培养周期期间可以检测到菌落，当检测到菌落时，可以早些中止饮料的生产。因此，可以将劣质饮料产品的数量减到尽可能低。
图8所示为比较检测到的细菌数、实际检测到的细菌数和用检查设备19检查样品S时目测到的细菌数。大肠杆菌加到含有样品液体饮料的培养基M中，培养18小时。水平轴表示开始培养之后过去的时间(hr)，垂直轴表示菌落数目。因为检查对象液体饮料颜色不同，图8(a)和8(b)中的样品S在培养基中具有不同的颜色。在图中，检测到的细菌数对应于检测处理装置40在常规时间间隔检测到的细菌数。实际检测到的细菌数对应于在培养周期的每个时间点实际测量到的包括非常小的菌落的细菌数的实际测量值。目测到的细菌数是熟练的检查员在常规时间间隔通过目测培养基检测到的细菌数。在图8所示的示例中，训练周期是从培养开始直到5小时，识别周期(检查周期)是5小时之后。可从图8(a)和8(b)中的图形看出，在训练周期期间，检测到的细菌数和实际检测到的细菌数都继续为“0”。在开始培养之后6到8小时，开始检测到微生物。检测到的细菌数目的变化速度与实际检测到的细菌数的变化速度几乎相同。这个结果表示检测处理装置40的细菌检测具有高精度，不受培养基颜色的影响。在识别周期，检测到的细菌数的变化速度比目测的细菌数高。这个结果表示检查设备19可以比目测更早检测到小菌落。可被检查设备19检测到的菌落大小是几乎不能被目测检查到的大小，尤其是大约0.008平方毫米。
如上文详细描述那样，第一实施例具有下列优点。
(1)判定分类器45基于含有颜色数据的输入数据所获得的特征向量所规定的检查点xj或者映射点ψ(xj)是否属于训练步骤(S20)中用颜色分类的培养基类别C1。基于判定结果，识别检查点xj是否是菌落。因为这样，可以精确检测到菌落。例如，甚至当培养基M和菌落CL具有类似颜色时，通过使用分类器45，它是SVM，培养基和菌落在高维特征空间可线性分离，从而允许精确检测菌落。因为所述方法的属性是基于颜色特征检测菌落，甚至当检查工作台23上的陪替氏培养皿35的位置或者角度在训练期间和识别期间之间从原来一个位置或角度变化时，或者相机24和陪替氏培养皿35的相对位置改变时，也可以精确检测到菌落。
(2)甚至当菌落的颜色根据微生物种类变化时，例如，大肠杆菌菌落是淡红色，酵母菌带绿色，通过使用分类器45中同样的算法可以精确检测到微生物(细菌)菌落。
(3)由乳化铁之类的金属成分的氧化产生的沉积物，有时会呈现出与菌落类似的颜色。在训练步骤，在开始培养之后产生的沉积物的噪声N的学习数据等累积起来，并采集沉积物噪声N的噪声数据。在这种情况下，判定沉积物的检查点之类属于培养基类别C1。即使检测出所述检查点不属于培养基类别C1，而是检测为可能是菌落的检测到的对象，根据它们的形状、颜色和位置，可以从检测到的对象中作为噪声排除这些检查点。因此，可以避免沉积物之类不正确地检测成菌落，从而允许精确检测菌落。
(4)在训练步骤，检查对象(样品S)用作学习对象，选择训练周期为产生菌落之前的预定周期(从开始培养直到某一时间(比如，5小时))。因为这样，甚至当训练周期期间培养基M的颜色改变时，产生的颜色被学习成培养基M的颜色。因此，甚至当培养基的颜色改变时，也可以精确检测菌落。甚至当因为检查对象饮料有颜色，培养基的颜色根据检查对象而变化时，通过训练，为每个检查对象学习培养基的颜色，从而允许精确检测菌落。
(5)对于含有检测点xj或者映射点ψ(xj)确定为不属于培养基类别C1的一系列微生物点的闭合区域，在主区域A1内通过特征提取检测到的或者确定的检测对象和在最外围局部区域A2内通过颜色边缘检测和区域生态学操作检测到的或者确定的检测对象整合起来。标记上述检测到的对象，在这些检测到的对象中，满足所述面积条件的识别为菌落。因此，排除了有可能是噪声的检测到的对象，从而允许精确检测菌落。
(6)在检查对象含有噪声N(异物)，比如果皮的情况下，通过在辨别步骤用形状辨别、颜色辨别和位置辨别，辨别检测到的对象中的菌落和噪声。因为这样，有效防止了不准确地将噪声N检测为菌落。因此，甚至在含有与菌落类似颜色的果皮或者果泥的培养基中，也能精确检测到培养后的菌落。
(7)在训练步骤，只学习培养基。因此与对菌落进行学习的方法相比，必要的处理和操作是简单的。在对菌落进行学习的方法中，操作人员需要指定菌落，在计算机38上输入和指明指定菌落的区域。从这个方面来说，根据当前实施例的只在培养基M上进行学习的方法，用于指定和输入菌落区域的操作不是必须的，计算机38可以自动学习。
(8)以直到产生菌落之前的预定时间(例如，5小时)的在选中的培养基上的训练周期和在所述预定时间之后的用以识别(检测)微生物的识别周期进行检查。因为可以用检查对象(样品S)进行训练，提高了菌落检测的精度。在进行菌落学习的方法中，在检查对象(样品S)的培养周期期间不进行训练。因为这样，会降低菌落检测的精度，因为训练对象与检查对象不同。另外，训练周期与检查周期分开提供，从而增加了训练和识别所需的时间。从这个方面来说，根据当前实施例，在菌落生成之前的周期可以用于训练，从而减少了训练和识别所需的时间。
(9)围绕菌落CL的标记70叠加在显示在监视器33上的样品S的图像上。因为这样，检测到的菌落是可见地显示的，操作人员可以容易地从视觉上判定菌落繁殖的状态。
(10)在食品之类的制造场合，需要了解加工的卫生条件，并需要迅速装货。如上文所描述那样，通过在食品之类的制造场合应用当前实施例的检查设备19，可以迅速、精确地检测到菌落。因为这样，可以实现对加工的卫生条件的了理解并提示装货。当微生物检查加快时，可以在早些阶段判断，避免装运劣质产品。因此，在风险控制方面是非常有用的。
(第二实施例)
现在根据图12描述第二实施例。第二实施例是在训练步骤(S20)对培养基和微生物(菌落)都进行训练的例子。检查设备19(图1和3)和检测处理装置40(图2)的构造和微生物检测处理过程(图9至11)中的实质处理基本上和第一实施例中的相同。
图12描述的是当分类器是SVM时，从输入空间到高维特征空间的映射。在图12中，培养基x1中的输入点(培养基点)和菌落x2中的输入点(微生物点)示于输入空间中。如图12所示，由将培养基点x1映射到高维特征空间获得的特征向量所规定的培养基点集合ψ(x1)和由将输入点x2映射到高维特征空间获得的特征向量所规定的微生物点集合ψ(x2)是线性可分离的。
线性分离部53用一个超平面将高维特征空间内的培养基点集合ψ(x1)和微生物点集合ψ(x2)分离，所述超平面设置在使与各支持向量的边缘最大化的位置(最近点)。因此，归类出培养基类别C1和菌落(微生物)类别C2。
在这种情况下，以与第一实施例相同的方式，在培养基上对分类器45进行训练。另一方面，在菌落上对分类器45的训练如下。即，使用含有同种菌落的培养基，操作人员在监视器33上查看培养基M时，通过输入操作部32指定菌落区域。对分类器45的训练是在指定的菌落区域上进行的。对分类器45的训练可以是在人工准备的菌落上进行。当对一个以上的类进行分类时，除了基于核方法的支持向量机(SVM)和高斯混合模型(GMM)之外，分类器45可以是神经网络(MLP)。
在识别步骤(S30)，像第一实施例一样，图2中所示的输入数据生成部43为主区域A1中的每个象素生成含有颜色数据的输入数据。然后输入数据生成部43逐次将输入数据作为学习数据发送到分类器45。分类器45中的特征提取部51使用输入数据作为输入变量，根据函数算法进行特征提取计算，从而形成特征向量xj(检查点)。当分类器45是SVM时，映射部52通过将特征向量xj所规定的检查点xj映射到图12所示的高维特征空间，形成高维特征向量ψ(x1)。判定部54判定高维特征向量ψ(xj)所规定的点ψ(xj)属于培养基类别C1或者菌落类别C2中的哪一个，从而检测微生物点。当点ψ(xj)属于菌落类别C2时，这个点检测为微生物点。图10和11基本上与第一实施例相同，除了分类器45是在培养基和菌落上进行训练(S140)以及当检查点xj或者点ψ(xj)属于菌落类别C2时，其被检测为微生物点(S250)。当分类器45是GMM或者MLP时，不映射到高维特征空间，在S250判定根据所述GMM或者MLP函数算法由特征提取计算形成的检查点xj是否属于菌落分类。
根据第二实施例，除了第一实施例中的优点(1)、(3)、(5)、(6)、(9)和(10)之外，还获得下列优点。
(11)在训练步骤，归类出培养基类别C1和菌落类别C2，培养基和菌落彼此识别开来。因为这样，与第一实施例相比，可以更精确地判定检查点xj是培养基还是微生物点。因此进一步提高菌落检测精度。
(12)在训练步骤，当分类器45是SVM时，映射部52在高维特征空间内形成培养基点集合ψ(x1)和菌落点集合ψ(x2)。线性分离部53用超平面将高维特征空间内的培养基点集合ψ(x1)和菌落点集合ψ(x2)线性分离，所述超平面将与各支持向量的边缘(距离)最大化。因为这样，将C1和C2这两类适当地用颜色分类。在识别步骤，判定通过映射检查点xj所获得的高维特征向量的点ψ(xj)是否属于菌落类别C2，从而增加识别步骤中的菌落的识别精度。
(第三实施例)
现在参考图13描述第三实施例。在第三实施例中，在训练步骤在培养基和微生物(菌落)中进行只在微生物上的训练。在这种情况下，以与第二实施例中分类器45在菌落区域上进行训练的方式类似的方式进行训练。检查设备19(图1和3)和检测处理装置40(图2)的构造和微生物检测处理过程中的主要处理(图9至11)基本上和第一实施例中的那些相同。
图13是描述当分类器是SVM时从输入空间到高维特征空间的映射的图形。在图13中，菌落x2中的输入点(微生物点)示于输入空间内。如图13所示，通过将微生物点x2映射在高维特征空间上获得的高维特征向量所规定的微生物点ψ(x2)是由一个超平面分离，该超平面处于点集合ψ(x2)向外阈值设置距离ΔL处，并藉此归类菌落类别C2。当分一类时，分类器45由基于核方法的支持向量机(SVM)和高斯混合模型(GMM)中的至少一个形成。
在识别步骤(S30)，像第一实施例一样，图2所示的输入数据生成部43为主区域A1中的每个像素形成含有颜色数据的输入数据。然后输入数据生成部43逐次将输入数据作为学习数据发送到分类器45。分类器45中的特征提取部51根据函数算法使用输入数据作为输入变量进行特征提取计算，从而形成特征向量xj(检查点)。当分类器45是SVM时，映射部52通过将特征向量xj规定的检查点xj映射到图13所示的高维特征空间，形成高维特征向量ψ(xj)。判定部54判定高维特征向量ψ(xj)所规定的点ψ(xj)是否属于菌落类别C2。当点ψ(xj)属于菌落类别C2时，检测点ψ(xj)被检测为微生物点。图10和11基本上与第一实施例相同，除了分类器45是在菌落上进行训练(S140)以及当检查点xj或者点ψ(xj)属于菌落类别C2时这个点被检测为微生物点(S250)。当分类器45是GMM时，不映射到高维特征空间，在步骤S250判定(识别)通过根据GMM的函数算法进行特征提取计算所形成的检查点xj是否属于菌落类。
根据第三实施例，除了第一实施例中的优点(1)、(3)、(5)、(6)、(9)和(10)之外，还获得下面的优点。
(13)因为菌落类别C2是在训练步骤进行分类，与第一实施例相比，可以更为精确地判定检查点xj是否是微生物点。因此进一步提高菌落检测精度。
(14)因为在整个培养周期，通过培养学习对象样品S可以在训练步骤预先学习菌落的颜色变化，甚至在识别步骤中当检查对象样品S中产生菌落的颜色随着时间改变时，也可以精确识别菌落。
(第四实施例)
在上述实施例中，分类器的输入数据是颜色数据。在当前实施例中，形状数据加在颜色数据上。例如，细菌菌落(大肠杆菌之类)具有大约为圆形的形状，比如为圆形和椭圆形，使得它们可以与果皮或者沉积物这样的噪声(异物)的形状辨别开。修改一个例子可以包括第二实施例，其中除了各培养基和菌落的颜色数据之外，还将菌落的形状数据作为输入数据发送到分类器45。另一个修改例可以包括第三实施例，其中除了菌落的颜色数据之外，还将菌落的形状数据发送到分类器45，作为输入数据。在前一种情况下，分类器45可以是SVM、MLP和GMM，在后一种情况下，分类器45可以是SVM和GMM。
在训练步骤，操作人员基于含有菌落的培养基M的彩色图像，通过进行输入操作或者图像处理对菌落进行说明。对识别为菌落的区域的形状进行标准化，以获得形状数据。含有菌落的颜色数据和形状数据的输入数据从输入数据生成部43发送到分类器45作为学习数据。分类器45中的特征提取部51根据函数算法，使用输入数据作为输入变量，进行特征提取计算，从而形成特征向量x2＝(xr，xg，xb，xshape)(微生物点)。当分类器45是SVM时，映射部52通过将特征向量所规定的微生物点x2映射到高维特征空间获得高维特征向量ψ(x2)。线性分离部53在与特征向量的点集合x2向外有一定距离的位置处(在MLP和GMM的情况下)，或者在与高维特征向量的点集合ψ(x2)(在SVM的情况下)有一个阈值设置值ΔL的距离(预定距离)的位置处定义阈值作为超平面。所述超平面允许基于颜色和形状特征归类出菌落类别C2。
在识别步骤，通过图像处理，基于颜色辨别培养基及其它(异物，菌落之类)。在非培养基区域的形状进行计算，对计算出的形状进行标准化，以获得形状数据。非培养基的区域的颜色数据是通过对所述区域上的像素的颜色进行平均而获得的。输入数据生成部43为每个区域形成含有颜色数据和形状数据的输入数据。输入数据生成部43将输入数据作为学习数据发送到分类器45。分类器45中的特征提取部51根据函数算法，使用输入数据作为输入变量，进行特征提取计算，形成特征向量xj＝(xr，xg，xb，xshape)(检查点)。
当分类器45是SVM时，映射部52通过将特征向量xj规定的检查点xj映射到高维特征空间，形成高维特征向量ψ(xj)。然后，通过比较特征向量xj规定的点xj和阈值(在MLP和GMM的情况下)，或者通过比较高维特征向量ψ(xj)规定的点ψ(xj)与阈值(在SVM的情况下)，判定点xj或者点ψ(xj)是否属于菌落类别C2。当所述点xj或者点ψ(xj)属于C2类时，识别出所述检查点xj是菌落。
在上述方法中，在共同特征空间上形成颜色数据和形状数据的特征向量。但是，本发明不局限于此。例如，颜色数据和形状数据的特征向量可以分开地形成在不同特征空间上，以进行训练和识别。在这种情况下，分别在菌落的颜色数据和形状数据上进行训练，Ccolor和Cshape类菌落分别在不同的特征空间进行分类。在所述识别步骤，特征提取部51首先根据函数算法使用输入到分类器45中作为输入变量的颜色数据(R，G和B值)进行特征提取计算，形成特征向量xj＝(xr，xg，xb)(检查点)。当分类器45是SVM时，通过将特征向量规定的点xj映射到高维特征空间，形成高维特征向量ψ(xj)。这接下来是判定所获得的点xj(在MLP和GMM的情况下)或者点ψ(xr，xg，xb)(在SVM的情况下)是否属于Ccolor类菌落。当点xj或者点ψ(xr，xg，xb)属于Ccolor类时，识别出点xj是候选菌落。然后将候选菌落的形状数据输入到分类器45上。特征提取部51根据函数算法使用形状数据作为输入变量进行特征提取计算，形成特征向量xj＝(xshape)(检查点)。当分类器45是SVM时，通过将特征向量规定的点xj映射到高维特征空间，形成高维特征向量ψ(xj)。然后判定所获得的点xj(在MLP和GMM的情况下)或者点ψ(xshape)(在SVM的情况下)是否属于Cshape类菌落。当点xj或者点ψ(xshape)属于Cshape类时，所述点xj识别为菌落。
在上面两种方法中，识别步骤中因为形状差异识别出菌落和异物(果皮之类)。因为这样，可以忽略所述辨别步骤。另外，与使用辨别步骤相比，提高了菌落检测的精度。
上述实施例不局限于以上，可以进行下列修改。
输入数据的额外元素可以是面积数据。与第四实施例中的形状数据相同的方式规定的区域面积(例如，像素数目)可以被确定。含有面积数据的输入数据作为元素输入到分类器45。然后获得特征向量x＝(xr，xg，xb，xshape，xarea)或者x＝(xr，xg，xb，xarea)(输入点或者检查点)。分类器45中的特征提取部51从含有至少面积数据和颜色数据的输入数据形成特征向量xj(检查点)。当分类器45是SVM时，映射部52通过将特征向量规定的检查点xj映射到高维特征空间形成高维特征向量点ψ(xj)。判定由所获得的特征向量所规定的点xj(在MLP和GMM情况下)或者高维特征向量所规定的点ψ(xj)(在SVM的情况下)是否属于菌落类，并且基于判定结果识别出菌落。
在辨别步骤，可以采用形状辨别、颜色辨别和位置辨别中的至少一个。也可以采用形状辨别、颜色辨别和位置辨别中的一个或两个。所述辨别步骤也可以省略。
用于学习培养基的对象不局限于在检查对象(样品S)中产生菌落之前的预定周期期间(训练周期)的培养基。用于学习培养基的对象可以是(a)要检查的图像中的部分培养基，(b)具有相同变化的实际菌落图像(已经预先培养并含有菌落的样品的图像，或者过去捕获到的劣质样品的图像)中的部分培养基或者(c)在人工制备的菌落的图像中的部分培养基。用于学习菌落的对象可以包括(a)在具有相同变化的实际菌落的图像(已经预先培养并含有菌落的样品的图像或者过去捕获到的劣质样品图像)中的部分菌落或者(b)人工制备的菌落的图像中的一部分菌落。
检查对象区域不局限于主区域A1，可以是培养基区域的整个区域。
输入数据不局限于像素单元的输入数据，可以是含有多于一个像素的区域单元的输入数据。
微生物检测方法可以用于检查之外的其它目的。可以用于实验数据是在食物和饮料的研发期间获得的应用中。
训练可以在培养基的整个区域进行。当培养基不含有噪声N时，例如，分类器45的学习可以在培养基的整个区域上进行。
除了像监视器这样的显示装置，发布菌落检测结果的通知的通知装置可以是扬声器、灯、打印机之类。
搬运机械手可以是3-轴正交机械手。3-轴正交机械手具有可以沿着大搁架在水平方向(x方向)上行进的行进平台、可以相对于行进平台在垂直方向(z方向)上升和下降的升降平台、以及可以从升降平台在朝向搁架的方向(Y方向)进出运动的把持构件(卡头构件)。通过使用3-轴正交机械手，可以将样品送到搁架的任何区，以及将样品从搁架的任何区排放。
微生物可以不仅是真细菌和古细菌，还可以是真核生物(藻类、原生生物、真菌、黏菌)之类。微生物的大小可以是菌落可以被肉眼看见或者需要显微镜观察到的大小。
第一至第四实施例可以结合起来使用。例如，在第二实施例中，可以像第一实施例中那样在培养基点上对分类器进行训练。

Claims (14)

1.一种用于检测培养基中培养的微生物菌落的微生物检测方法，该方法的特征在于训练步骤和识别步骤，其中
所述训练步骤包括：
捕获培养基区域内有或无微生物菌落的学习对象的彩色图像，将捕获到的所述彩色图像内的至少一部分培养基区域设置为训练对象区域；
获得所述训练对象区域内的培养基点和微生物点中任一种或者两者的颜色数据作为学习数据；
将所述学习数据提供给分类器以获得所述颜色数据的特征向量；及
所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和微生物类别中的至少一种，并且
所述识别步骤包括：
将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查所述培养基区域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量；
所述分类器判定所述特征向量所规定的点属于所述训练步骤中所归类出的类别中的哪一类；及
基于所述判定结果识别菌落。
2.根据权利要求1的微生物检测方法，其特征在于，
在所述训练步骤：
在所述捕获到的培养基区域内无微生物菌落的学习对象的彩色图像中的所述训练对象区域内的培养基点的颜色数据作为学习数据提供给所述分类器，以获得所述颜色数据的特征向量，
通过在与所述特征向量所规定的点集合向外一预定距离的位置设置阈值，所述分类器归类出所述培养基类，
在所述识别步骤：
所述捕获到的检查对象的彩色图像中的所述检查对象区域内的每个检查点的颜色数据被提供给所述训练过的分类器，以获得所述颜色数据的特征向量，
所述分类器判定所述特征向量所规定的检查点是否属于所述培养基类，及
基于已经判定为不属于所述培养基类的所述检查点识别出菌落。
3.根据权利要求1的微生物检测方法，其中
在所述训练步骤：
在所述捕获到的学习对象的彩色图像内的所述训练对象区域内的培养基点的颜色数据和微生物点的颜色数据被提供给所述分类器作为学习数据，以获得所述颜色数据的特征向量，及
所述特征向量所规定的培养基点集合和微生物点集合由所述分类器分离，以归类出所述培养基类别和微生物类别，并且
在所述识别步骤：
在所述捕获到的检查对象的彩色图像中的检查对象区域内的每个检查点的颜色数据被提供给所述训练过的分类器，以获得所述颜色数据的特征向量，
所述分类器判定所述特征向量所规定的检查点属于所述培养基类和所述微生物类中的哪一个，及
基于所述已经判定为属于微生物类的检查点识别菌落。
4.根据权利要求1至3任意一项权利要求的微生物检测方法，其特征在于，在所述训练步骤和识别步骤，除了所述颜色数据之外，还提供给所述分类器形状数据和面积数据中的至少一种。
5.根据权利要求1至4任意一项权利要求的微生物检测方法，其特征在于，
在所述训练步骤，与所述类别的分类独立地，采集所述培养基区域内的噪声点的噪声数据，并且
在所述识别步骤，基于所述噪声数据辨别属于所述微生物类别的检查点是否是噪声点，及
基于已经辨别为不是所述噪声点的检查点识别菌落。
6.根据权利要求1至5任意一项权利要求的微生物检测方法，其特征在于，
在所述识别步骤，所述培养基区域被分成外围区域和中心区域，
所述识别是使用所述培养基的中心区域作为所述检查对象区域进行的，并
基于颜色边缘检测所检测到的颜色边缘来为所述外围区域检测菌落。
7.根据权利要求2至6任意一项权利要求的微生物检测方法，其特征在于，
在所述训练步骤，所述检查对象在从培养开始直到产生菌落之前的预定周期期间用作所述学习对象，以训练所述分类器学习所述培养基点，藉此归类出培养基类别，并且
在所述识别步骤，使用所述检查对象在所述预定周期之后被捕获到的彩色图像。
8.一种用于检测培养基中存在或不存在微生物菌落的微生物检测设备，该设备的特征在于训练装置和识别装置，其中，
训练装置
捕获培养基区域内有或无微生物菌落的学习对象的彩色图像，将捕获到的所述彩色图像内的至少一部分培养基区域设置为训练对象区域，
获得所述训练对象区域内的培养基点和微生物点中任一种或者两者的颜色数据作为学习数据，
具有分类器，及
将所述学习数据提供给所述分类器以获得所述颜色数据的特征向量；
其中所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和微生物类别中的至少一类；并且
所述识别装置
将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查培养基区域内存在或不存在微生物菌落，以此获得所述颜色数据的特征向量；
所述分类器判定所述特征向量所规定的点属于所述训练装置中归类出的类别中的哪一类；
基于所述判定结果识别菌落。
9.一种用于使计算机执行微生物检测过程以检测培养基中培养的微生物菌落的程序，该程序使所述计算机执行训练步骤和识别步骤，其中，
所述训练步骤包括：
捕获培养基区域内有或无微生物菌落的学习对象的彩色图像，将捕获到的所述彩色图像内的至少一部分培养基区域设置为训练对象区域，
获得所述训练对象区域内的培养基点和微生物点中任一种或者两者的颜色数据作为学习数据，
将所述学习数据提供给所述分类器以获得所述颜色数据的特征向量，及
所述分类器分离所述特征向量所规定的点集合，以归类出培养基类别和微生物类别中的至少一类；并且所述识别步骤包括：
将与捕获到的检查对象的彩色图像中的至少一部分培养基区域对应的检查对象区域内的每个检查点的颜色数据提供给所述训练过的分类器，以检查所述培养基区域内存在或不存在微生物菌落，从而获得所述颜色数据的特征向量，
所述分类器判定所述特征向量所规定的点属于所述训练步骤中所归类出的类别中的哪一类，及
基于所述判定结果识别菌落。
10.根据权利要求1至7任意一项权利要求的微生物检测方法，其特征在于，
在所述识别步骤，
判定与含有已判定属于所述微生物类别的一系列检查点的闭合区域对应的候选菌落的面积，及
当所述面积满足根据微生物种类所限定的面积条件时，所述候选菌落识别为菌落。
11.根据权利要求4至7任意一项权利要求的微生物检测方法，其特征在于：
在所述训练步骤和识别步骤，至少提供给所述分类器所述颜色数据和所述形状数据，
在所述训练步骤，所述菌落的颜色数据和形状数据被提供给所述分类器作为学习数据，以获得所述颜色数据和形状数据的特征向量，所述分类器通过将所述特征向量所规定的点集合分离来归类出所述菌落类别，以及
在所述识别步骤，所述检查点是所述检查对象区域内用颜色区别的区域所表示的候选菌落点，该候选菌落点的颜色数据和形状数据被提供给所述训练过的分类器，以获得所述颜色数据和形状数据的特征向量，所述分类器判定所述特征向量所规定的点是否属于所述菌落类别，并基于所述判定结果识别菌落。
12.根据权利要求1至7任意一项权利要求的微生物检测方法，其特征在于所述分类器具有基于核方法的支持向量机、神经网络和高斯混合模型其中的至少一个。
13.根据权利要求1至7和10至12任意一项权利要求的微生物检测方法，其特征在于
所述分类器是基于核方法的支持向量机，
在所述训练步骤，通过使用所述分类器的映射部，根据核方法将所述培养基点或者微生物点中的一种或者两者的颜色数据的特征向量映射在高维特征空间，获得高维特征向量，并且所述分类器线性分离由所述高维特征向量所规定的点集合，以归类出培养基类别和微生物类别其中的至少一类，
在所述识别步骤，通过使用所述分类器的映射部，根据核方法将所述检查点的颜色数据的特征向量映射在高维特征空间，获得高维特征向量，所述分类器判定所述高维特征向量所规定的点属于在所述训练步骤所归类出类别中的哪一类，并基于所述判定结果识别菌落。
14.根据权利要求8的微生物检测设备，其特征在于，还包括：
图像捕获装置，用于获得所述彩色图像；和
通知装置，在所述识别装置识别出菌落时发布检测到菌落的通知。
CN201180040926.8A 2010-06-23 2011-06-20 微生物检测方法、微生物检测设备和程序 Active CN103080331B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-143161 2010-06-23
JP2010143161 2010-06-23
PCT/JP2011/064078 WO2011162213A1 (ja) 2010-06-23 2011-06-20 微生物検出方法、微生物検出装置及びプログラム

Publications (2)

Publication Number Publication Date
CN103080331A true CN103080331A (zh) 2013-05-01
CN103080331B CN103080331B (zh) 2014-07-09

Family

ID=45371396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180040926.8A Active CN103080331B (zh) 2010-06-23 2011-06-20 微生物检测方法、微生物检测设备和程序

Country Status (7)

Country Link
US (1) US8831313B2 (zh)
EP (1) EP2586873B1 (zh)
JP (1) JP5707399B2 (zh)
KR (1) KR101783836B1 (zh)
CN (1) CN103080331B (zh)
TW (1) TWI499669B (zh)
WO (1) WO2011162213A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447527A (zh) * 2015-12-31 2016-03-30 四川木牛流马智能科技有限公司 采用图像识别技术将环境微生物进行分类的方法和系统
CN105579568A (zh) * 2013-09-30 2016-05-11 富士通株式会社 菌落图像检查程序、菌落图像检查方法以及菌落图像检查装置
CN105593359A (zh) * 2013-09-24 2016-05-18 富士通株式会社 菌落检查程序、菌落检查装置以及菌落检查方法
CN107287109A (zh) * 2017-07-25 2017-10-24 浙江大学 微生物培养箱的自动检测系统及带该系统的微生物培养箱
CN108192814A (zh) * 2017-01-23 2018-06-22 英特科学公司 用于菌落计数的方法和装置
CN108368532A (zh) * 2015-09-16 2018-08-03 默克专利股份公司 用于微生物菌落的早期检测和标识的方法、用于执行该方法的装置和计算机程序
CN110088263A (zh) * 2016-11-04 2019-08-02 伯克顿迪金森公司 用于选择菌落的系统和方法
CN110879955A (zh) * 2018-09-06 2020-03-13 埃森哲环球解决方案有限公司 使用具有深度学习的计算机视觉的数字质量控制
CN111415709A (zh) * 2020-03-16 2020-07-14 北京君立康生物科技有限公司 菌落生长图像的预测方法、装置、电子设备及存储介质
CN112689841A (zh) * 2018-09-07 2021-04-20 韦务拓客公司 微生物信息提供装置及方法
CN113518827A (zh) * 2019-03-01 2021-10-19 安格瑞卡姆有限公司 用于检测微生物的方法、装置和系统
CN110879955B (zh) * 2018-09-06 2024-05-14 埃森哲环球解决方案有限公司 使用具有深度学习的计算机视觉的数字质量控制

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518224B (zh) * 2011-03-04 2017-05-17 Lbt创新有限公司 用于分析微生物生长的方法
JP2014513332A (ja) * 2011-03-04 2014-05-29 エルビーティー イノベーションズ リミテッド 分類器の分類結果を改善する方法
US9710695B2 (en) 2013-03-15 2017-07-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
JP6471689B2 (ja) * 2013-04-17 2019-02-20 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6337885B2 (ja) * 2013-04-17 2018-06-06 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
WO2015080001A1 (ja) * 2013-11-27 2015-06-04 大日本印刷株式会社 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP6143365B2 (ja) * 2014-03-05 2017-06-07 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JP6500358B2 (ja) * 2014-07-10 2019-04-17 大日本印刷株式会社 コロニー検出システム、コロニー検出方法、及び、プログラム
JP6490365B2 (ja) * 2014-08-29 2019-03-27 株式会社エヌテック 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
PL225872B1 (pl) * 2015-04-10 2017-05-31 Bioavlee Spółka Z Ograniczoną Odpowiedzialnością Sposób badania mikroorganizmów hodowanych na podłożach stałych i układ pomiarowy do badania mikroorganizmów hodowanych na podłożach stałych
CN105337108B (zh) 2015-08-12 2018-02-02 富士康(昆山)电脑接插件有限公司 电连接器
CN105322383B (zh) 2015-08-13 2018-08-10 富士康(昆山)电脑接插件有限公司 电连接器
US10563164B1 (en) 2015-10-08 2020-02-18 Charm Sciences, Inc. Plate reader
US10495563B1 (en) 2016-04-28 2019-12-03 Charm Sciences, Inc. Plate reader observation methods and operation
EP3553165A4 (en) 2016-12-06 2019-12-25 Fujifilm Corporation CELL IMAGE EVALUATION DEVICE AND CELL IMAGE EVALUATION CONTROL PROGRAM
US10311573B2 (en) * 2017-05-02 2019-06-04 Techcyte, Inc. Training and machine learning classification of mold in digital microscopy images
KR101924285B1 (ko) * 2017-05-24 2018-11-30 한국산업기술대학교산학협력단 미생물 자동 카운팅 방법 및 장치
KR101963415B1 (ko) * 2017-09-26 2019-03-29 농업회사법인(주)클팜 클로렐라 제조장치
JP7021519B2 (ja) * 2017-11-30 2022-02-17 コニカミノルタ株式会社 画像検査装置、画像形成システムおよびプログラム
KR102207945B1 (ko) * 2019-04-17 2021-01-26 주식회사 더웨이브톡 미생물 정보 제공 장치 및 방법
KR102306135B1 (ko) * 2019-03-27 2021-09-28 서강대학교산학협력단 금속 나노 구조체를 부착한 미생물의 공기/물 계면에서의 응집을 활용한 미생물 검출 방법
KR102587495B1 (ko) * 2019-04-17 2023-10-12 주식회사 더웨이브톡 미생물 정보 제공 장치 및 방법
CN110066724A (zh) * 2019-06-04 2019-07-30 天津市恒奥科技发展有限公司 微生物培养实时监测装置和检测方法
JP7361511B2 (ja) * 2019-07-04 2023-10-16 合同会社Ｈ．Ｕ．グループ中央研究所 検査支援方法、第１検査支援装置、第２検査支援装置およびコンピュータプログラム
KR102306136B1 (ko) * 2019-08-28 2021-09-29 서강대학교산학협력단 양전하를 가지는 소수성 나노 구조체를 활용한 미생물의 정량적 검출 방법 및 장치
WO2021234513A1 (en) * 2020-05-18 2021-11-25 3M Innovative Properties Company Microorganic detection system using a deep learning model
KR102466257B1 (ko) * 2020-09-10 2022-11-14 주식회사 더웨이브톡 다중 광원을 활용한 분광 장치
KR102454880B1 (ko) * 2021-02-05 2022-10-14 박병진 학습된 딥러닝 모델을 이용한 cfu 인식 방법
WO2022241245A2 (en) * 2021-05-13 2022-11-17 Fluid-Screen, Inc. Techniques for spore separation, detection, and quantification
US11490852B1 (en) 2021-08-09 2022-11-08 hemal b kurani Wearable device for detecting microorganisms, sterilizing pathogens, and environmental monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187270A (ja) * 1996-01-11 1997-07-22 Nishi Nippon Shinku Tank Kk 細菌類の分析方法および同分析装置
JP2003116593A (ja) * 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置
CN1717693A (zh) * 2002-11-27 2006-01-04 3M创新有限公司 自动化选择图像处理样式的生物培养板扫描装置
JP2006345750A (ja) * 2005-06-15 2006-12-28 N Tech:Kk コロニーの計数方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058209A (en) 1991-09-27 2000-05-02 E. I. Du Pont De Nemours And Company Method for resolving redundant identifications of an object
JPH11221070A (ja) 1998-02-03 1999-08-17 Hakuju Inst For Health Science Co Ltd 微生物などの検査方法およびその装置
JP2000069994A (ja) 1998-08-28 2000-03-07 Konica Corp 微生物検出方法および微生物検出システム
US6251624B1 (en) * 1999-03-12 2001-06-26 Akzo Nobel N.V. Apparatus and method for detecting, quantifying and characterizing microorganisms
JP2001022929A (ja) * 1999-07-07 2001-01-26 Meidensha Corp 群体微生物検出方法および装置
DK1432786T3 (da) * 2001-09-06 2009-10-26 Rapid Micro Biosystems Inc Hurtig detektion af replikerede celler
US20050276456A1 (en) 2004-05-27 2005-12-15 Toshiyuki Yamato Cell-operating device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187270A (ja) * 1996-01-11 1997-07-22 Nishi Nippon Shinku Tank Kk 細菌類の分析方法および同分析装置
JP2003116593A (ja) * 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置
CN1717693A (zh) * 2002-11-27 2006-01-04 3M创新有限公司 自动化选择图像处理样式的生物培养板扫描装置
JP2006345750A (ja) * 2005-06-15 2006-12-28 N Tech:Kk コロニーの計数方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593359A (zh) * 2013-09-24 2016-05-18 富士通株式会社 菌落检查程序、菌落检查装置以及菌落检查方法
CN105579568A (zh) * 2013-09-30 2016-05-11 富士通株式会社 菌落图像检查程序、菌落图像检查方法以及菌落图像检查装置
CN108368532B (zh) * 2015-09-16 2022-04-26 默克专利股份公司 用于微生物菌落的早期检测和标识的方法、用于执行该方法的装置和计算机程序
CN108368532A (zh) * 2015-09-16 2018-08-03 默克专利股份公司 用于微生物菌落的早期检测和标识的方法、用于执行该方法的装置和计算机程序
CN105447527A (zh) * 2015-12-31 2016-03-30 四川木牛流马智能科技有限公司 采用图像识别技术将环境微生物进行分类的方法和系统
CN110088263B (zh) * 2016-11-04 2023-09-29 伯克顿迪金森公司 用于选择菌落的系统和方法
CN110088263A (zh) * 2016-11-04 2019-08-02 伯克顿迪金森公司 用于选择菌落的系统和方法
CN108192814A (zh) * 2017-01-23 2018-06-22 英特科学公司 用于菌落计数的方法和装置
CN108192814B (zh) * 2017-01-23 2022-02-25 英特科学公司 用于菌落计数的方法和装置
CN107287109A (zh) * 2017-07-25 2017-10-24 浙江大学 微生物培养箱的自动检测系统及带该系统的微生物培养箱
CN107287109B (zh) * 2017-07-25 2024-01-16 浙江大学 微生物培养箱的自动检测系统及带该系统的微生物培养箱
CN110879955A (zh) * 2018-09-06 2020-03-13 埃森哲环球解决方案有限公司 使用具有深度学习的计算机视觉的数字质量控制
CN110879955B (zh) * 2018-09-06 2024-05-14 埃森哲环球解决方案有限公司 使用具有深度学习的计算机视觉的数字质量控制
CN112689841A (zh) * 2018-09-07 2021-04-20 韦务拓客公司 微生物信息提供装置及方法
CN113518827A (zh) * 2019-03-01 2021-10-19 安格瑞卡姆有限公司 用于检测微生物的方法、装置和系统
CN111415709A (zh) * 2020-03-16 2020-07-14 北京君立康生物科技有限公司 菌落生长图像的预测方法、装置、电子设备及存储介质
CN111415709B (zh) * 2020-03-16 2023-05-30 北京君立康生物科技有限公司 菌落生长图像的预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2011162213A1 (ja) 2013-08-22
KR20130038334A (ko) 2013-04-17
WO2011162213A1 (ja) 2011-12-29
EP2586873A4 (en) 2013-12-18
EP2586873A1 (en) 2013-05-01
CN103080331B (zh) 2014-07-09
US8831313B2 (en) 2014-09-09
TWI499669B (zh) 2015-09-11
US20130109051A1 (en) 2013-05-02
TW201202415A (en) 2012-01-16
EP2586873B1 (en) 2015-11-18
KR101783836B1 (ko) 2017-10-10
JP5707399B2 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
CN103080331B (zh) 微生物检测方法、微生物检测设备和程序
AU2022200171B2 (en) Colony contrast gathering
AU2021202750B2 (en) Method and system for automatically counting microbial colonies
JP5430122B2 (ja) 微生物の検出方法、装置およびプログラム
JP6490365B2 (ja) 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
CN104651462A (zh) 基于显微图像分析的稻瘟病菌孢子检测方法
CN103502422A (zh) 图像捕捉和照明设备
JP7416136B2 (ja) コロニー検出装置
Zhang et al. Yeast cell detection and segmentation in bright field microscopy
KR20210095955A (ko) 세균 콜로니의 세균 성장을 모니터링하고 콜로니 생물량을 예측하기 위한 시스템 및 방법
Yoshihara et al. Object Detection as Campylobacter Bacteria and Phagocytotic Activity of Leukocytes in Gram Stained Smears Images.
CN109409402A (zh) 一种基于暗通道先验直方图的图像污染检测方法及系统
Liu et al. Development and Test of an Auto Seedling Detection System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant