CN113240640A - 菌落计数方法、装置及计算机可读存储介质 - Google Patents
菌落计数方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113240640A CN113240640A CN202110523572.8A CN202110523572A CN113240640A CN 113240640 A CN113240640 A CN 113240640A CN 202110523572 A CN202110523572 A CN 202110523572A CN 113240640 A CN113240640 A CN 113240640A
- Authority
- CN
- China
- Prior art keywords
- colony
- counting
- image
- unit
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 230000001580 bacterial effect Effects 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000005192 partition Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 135
- 238000012545 processing Methods 0.000 claims description 111
- 238000012795 verification Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 238000011161 development Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 239000002609 medium Substances 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 241000894006 Bacteria Species 0.000 description 2
- 241000588724 Escherichia coli Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 235000014655 lactic acid Nutrition 0.000 description 1
- 239000004310 lactic acid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种菌落计数方法、装置及计算机可读存储介质。其中，方法包括预先通过训练轻量化卷积神经网络得到菌落计数模型；将获取的待计数菌落图像输入至菌落计数模型；菌落计数模型对待计数菌落图像进行菌落检测，并基于包含有菌落类别和菌落位置信息的菌落检测结果和预设菌落划分方式对待计数菌落图像中的菌落进行计数，最后根据菌落计数模型的输出得到待计数菌落图像的计数结果，从而可有效提高菌落识别和菌落计数的精度和速度，在菌落培养过程中实现高频次动态精细计数。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种菌落计数方法、装置及计算机可读存储介质。
背景技术
菌落是由接种在固体培养基的单个细菌形成的，其由单个微生物细胞或一堆同种细胞在适宜固体培养基表面或内部生长繁殖到一定程度，形成以母细胞为中心的一团肉眼可见的、有一定形态、构造等特征的子细胞集团。菌落种类多种多样，例如包括但并不做限制为总大肠菌群、耐热大肠菌群、大肠埃希氏菌群、乳酸菌群等。由于菌落数量对食物、饮水的可食用性，对药物的有效性等均具有重要影响，在供水、食品、医学和刑侦等不同领域都需要进行高频次的菌落的计数。
可以理解的是，不同种类菌落在颜色和形状上会存在一定的相似性，这给菌落的自动识别与计数带来了难度。在很长一段时间内，菌落的计数大都是通过人工进行判断并计数，此种方法极大依赖于检测人员的经验，增加了工作时间和检测成本。随着计算机技术的发展，传统图像处理的方法应用到菌落计数中，相关技术通常通过灰度图像的滤波、二值化、膨胀和腐蚀及阈值分割等操作提取菌落并基于提取的菌落图像进行计数。但是，上述相关技术只能得到菌落总数，不能对菌落类别加以区分。
发明内容
本申请提供了一种菌落计数方法、装置及计算机可读存储介质，有效提高了菌落识别和菌落计数的精度和速度，在菌落培养过程中实现高频次动态精细计数。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种菌落计数方法，包括：
预先通过训练轻量化卷积神经网络得到菌落计数模型；
将获取的待计数菌落图像输入至所述菌落计数模型；所述菌落计数模型用于对所述待计数菌落图像进行菌落检测，并基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数；所述菌落检测结果包括菌落类别和菌落位置信息；
根据所述菌落计数模型的输出得到所述待计数菌落图像的计数结果。
可选的，所述菌落计数模型包括特征提取模块，特征融合与菌落检测模块，菌落计数模块；
所述特征提取模块包括多个相连的特征处理单元，各特征处理单元对输入图像特征图进行特征处理后输出尺寸缩小的图像特征图；
所述特征融合与菌落检测模块包括特征融合单元和检测单元，所述特征融合单元用于将所述特征提取模块输出特征进行由低分辨率特征到高分辨率特征、再由高分辨率特征到低分辨率特征的多尺度逐步融合，并将融合后的输出特征分别经过卷积操作输出至所述检测单元；所述检测单元用于输出所述待计数菌落图像中包含的菌落类别、菌落在所述待计数菌落图像中的坐标信息和置信度信息；
所述菌落计数模块用于根据所述检测单元的输出数据和预设菌落划分方式统计菌落数量。
可选的，所述特征提取模块包括第一特征处理单元、第二特征处理单元、第三特征处理单元、第四特征处理单元和第五特征处理单元；所述第二特征处理单元的输入端与所述第一特征处理单元的输出端相连，所述第三特征处理单元的输入端与所述第二特征处理单元的输出端相连，所述第四特征处理单元的输入端与所述第三特征处理单元的输出端相连，所述第五特征处理单元的输入端与所述第四特征处理单元的输出端相连；
所述第一特征处理单元为Focus模块，所述Focus模块用于通过切片索引的方式在保留图像像素信息的同时降低图像尺寸为原始尺寸的一半；
所述第二特征处理单元、所述第三特征处理单元和所述第四特征处理单元均采用CSP模块，所述CSP模块用于将输入特征图按照通道数一分为二分别进行卷积；
所述第五特征处理单元采用所述CSP模块和SPP模块；所述SPP模块用于对输入特征图进行不同尺度的最大值池化。
可选的，所述特征融合单元用于将输入特征在通道上连接，再经过所述CSP模块将经过尺度变换后的不同分辨率的特征进行融合；
所述特征融合单元包括第一融合单元、第二融合单元、第三融合单元和第四融合单元；所述第一融合单元和所述第二融合单元用于执行低分辨率特征到高分辨率特征的融合操作，所述第三融合单元和所述第四融合单元用于执行高分辨率特征到低分辨率特征的融合操作；
所述第三特征处理单元的输出端还与所述第二融合单元的输入端相连接，所述第四特征处理单元的输出端还与所述第一融合单元的输入端相连接，所述第五特征处理单元的输出端分别与所述第一融合单元和第四融合单元的输入端相连；所述第一融合单元的输出端分别与所述第三融合单元和所述第二融合单元的输入端相连，所述第二融合单元的输出端与所述第三融合单元的输入端，所述第三融合单元的输出端与所述第四融合单元的输入端相连。
可选的，所述检测单元包括多个不同尺度特征图分辨率的第一检测单元、第二检测单元和第三检测单元；
所述第二融合单元的输出端与所述第一检测单元的输入端相连，所述第三融合单元的输出端与所述第二检测单元的输入端相连，所述第四融合单元的输出端与所述第三检测单元的输入端相连。
可选的，所述菌落检测结果还包括置信度信息，所述基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数包括：
基于预设的置信度阈值、根据菌落检测输出的置信度信息对所述菌落检测结果进行过滤处理；
对过滤后的菌落检测结果进行非极大值抑制处理，得到优化菌落检测结果；
根据所述优化菌落检测结果中的目标菌落的坐标信息计算所述目标菌落在所述待计数菌落图像中的面积信息；
基于相机内外参数计算所述目标菌落的真实面积，并将所述真实面积作为所述目标菌落的尺度信息；
根据所述预设菌落划分方式对所述待计数菌落图像进行菌落划分；所述预设菌落划分方式为尺度信息和/或菌落种类信息；
对所述待计数菌落图像中划分得到的每一个菌落，根据当前菌落对应的菌落划分方式对所述当前菌落进行计数。
可选的，所述通过训练轻量化卷积神经网络得到菌落计数模型包括：
将数据样本集的各样本图像以及标签划分为训练样本集、验证样本集和测试样本集，并采用预设分辨率对所述训练样本集和所述验证样本集的样本图像进行裁剪处理，同时根据原始标签生成相对应标签；所述预设分辨率小于样本图像的原始图像分辨率；
将所述训练样本集中经过裁剪处理的样本图像输入所述轻量化卷积神经网络进行训练，并根据所述验证样本集的F1得分调整所述轻量化卷积神经网络的模型参数，保存所述验证样本集中F1得分最高的轻量化卷积神经网络模型作为候选模型；所述轻量化卷积神经网络的模型损失包括预设类型样本图像的损失权重，所述预设类型样本图像包括难以识别的样本图像和具有粘连区域的样本图像；
将所述测试样本集的各样本图像输入候选模型，得到所述测试样本集的F1得分与计数结果；
若所述测试样本集的计数精度与所述验证样本集的计数精度满足预设相似条件，将所述候选模型作为所述菌落计数模型。
本发明实施例另一方面提供了一种菌落计数装置，包括：
模型训练模块，用于预先通过训练轻量化卷积神经网络得到菌落计数模型；
图像处理模块，用于将获取的待计数菌落图像输入至所述菌落计数模型；所述菌落计数模型用于对所述待计数菌落图像进行菌落检测，并基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数；所述菌落检测结果包括菌落类别和菌落位置信息；
计数模块，用于根据所述菌落计数模型的输出得到所述待计数菌落图像的计数结果。
本发明实施例还提供了一种菌落计数装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述菌落计数方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有菌落计数程序，所述菌落计数程序被处理器执行时实现如前任一项所述菌落计数方法的步骤。
本申请提供的技术方案的优点在于，利用基于轻量化卷积神经网络的菌落计数模型进行菌落检测，相比较人工计数方法与传统的图像处理方法，整个神经网络中大量使用轻量化的卷积结构，极大地减少了模型的运算量，可有效提高菌落计数速度；通过对菌落先进行识别检测再基于检测结果进行计数，可提高菌落识别和菌落计数的速度和精度，实现了在菌落培养过程中的高频次动态精细计数。
此外，本发明实施例还针对菌落计数方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种菌落计数方法的流程示意图；
图2为本发明实施例提供的一个示例性应用场景中的菌落检测结果示意图；
图3为本发明实施例提供的另一种菌落计数方法的流程示意图；
图4为本发明实施例提供的一个示例性应用场景中的菌落计数模型的结构示意图；
图5为本发明实施例提供的一个示例性应用场景中的focus模块的切片索引方式示意图；
图6为本发明实施例提供的一个菌落计数模型的训练流程示意图；
图7为本发明实施例提供的一个示例性应用场景中的裁剪后的菌落图像示意图；
图8为本发明实施例提供的菌落计数装置的一种具体实施方式结构图；
图9为本发明实施例提供的菌落计数装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种菌落计数方法的流程示意图，本发明实施例可包括以下内容：
S101：预先通过训练轻量化卷积神经网络得到菌落计数模型。
轻量化卷积神经网络是在传统卷积神经网络模型的基础上发展起来的，其可在减小网络参数的同时不损失网络性能，实现高效的网络计算方式，轻量化卷积神经网络例如可为SqueezeNet、MobileNet、ShuffleNet、Xception的任何一种或者是其他类型的轻量化模型，这均不影响本申请的实现。本实施例的菌落计数模型大量使用轻量化的卷积结构，极大地减少了模型的运算量，提高了菌落计数速度。
S102：将获取的待计数菌落图像输入至菌落计数模型。
本实施例可使用工业相机在配备有稳定光源的暗箱中获取高分辨率彩色菌落图像作为本实施例的待计数菌落图像，高分辨图像有利于提高后续图像处理精度。然后将高分辨彩色的待计数菌落图像送入训练好的菌落计数模型进行计数处理。本实施例的菌落计数模型可对待计数菌落图像进行菌落检测，得到菌落检测结果，菌落检测结果可包括识别的菌落种类和菌落的位置信息，菌落的位置信息例如可为坐标值，如图2所示为一种可视化菌落检测结果，图中的每个矩形框坐标可读取，根据每个矩形框的右上角坐标值和左下角坐标值可得到矩形框框住的菌落的位置信息，同时该矩形框内的菌落种类也会同时会输出，然后基于菌落检测结果和预设菌落划分方式对待计数菌落图像中的菌落进行计数。预设菌落划分方式为对待计数菌落图像中存在的菌落进行划分所采用的方式，例如可按照菌落种类来划分图像中的菌落，也可按照菌落尺度来划分，菌落尺度例如可为菌落半径或菌落面积，菌落面积可为真实菌落面积也可为菌落在图像中的面积。根据菌落的种类和/或尺度划分进行统计，统计结果可以excel表格形式输出，表格表明菌落划分方式以及该划分方式下的菌落计数值，实现了在菌落培养过程中的高频次动态精细计数。
S103：根据菌落计数模型的输出得到待计数菌落图像的计数结果。
在上个步骤通过菌落计数模型对待计数菌落图像进行处理并输出统计结果后，可将统计结果按照当前应用场景所需文件格式或所需数据进行转换最终生成待计数菌落图像的计数结果。
在本发明实施例提供的技术方案中，利用基于轻量化卷积神经网络的菌落计数模型进行菌落检测，相比较人工计数方法与传统的图像处理方法，整个神经网络中大量使用轻量化的卷积结构，极大地减少了模型的运算量，可有效提高菌落计数速度；通过对菌落先进行识别检测再基于检测结果进行计数，可提高菌落识别和菌落计数的速度和精度，实现了在菌落培养过程中的高频次动态精细计数。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。
在上述实施例中，对于菌落计数模型的结构并不做限定，本实施例中给出菌落计数模型的一种具体结构，基于该菌落计数模型的菌落计数流程请参阅图3所示，菌落计数模型的结构如图4所示，可包括如下内容：
菌落计数模型可包括特征提取模块，特征融合与菌落检测模块，菌落计数模块。特征提取模块用于进行输入待计数菌落图像或模型训练过程中样本图像的基础特征的提取。特征融合与菌落检测模块包括两个功能，一个是特征融合，一个是菌落类型检测。菌落计数模块用来统计菌落数量。
在本实施例中，特征提取模块可包括多个相连的特征处理单元，各特征处理单元对输入图像特征图进行特征处理后输出尺寸缩小的图像特征图；特征融合与菌落检测模块包括特征融合单元和检测单元，特征融合单元用于将特征提取模块输出特征进行由低分辨率特征到高分辨率特征、再由高分辨率特征到低分辨率特征的多尺度逐步融合，并将融合后的输出特征分别经过卷积操作输出至检测单元；检测单元用于输出待计数菌落图像中包含的菌落类别、菌落在待计数菌落图像中的坐标信息和置信度信息；菌落计数模块用于根据检测单元的输出数据和预设菌落划分方式统计菌落数量。
本实施例通过将不同尺度的特征进行融合，并且在多个不同尺度上对菌落进行检测，提高对菌落的识别和计数的速度和精度。
作为上述实施例的一种可选的实施方式，结合图4，特征提取模块可包括第一特征处理单元、第二特征处理单元、第三特征处理单元、第四特征处理单元和第五特征处理单元。第二特征处理单元的输入端与第一特征处理单元的输出端相连，第三特征处理单元的输入端与第二特征处理单元的输出端相连，第四特征处理单元的输入端与第三特征处理单元的输出端相连，第五特征处理单元的输入端与第四特征处理单元的输出端相连。
在本实施例中，特征提取模块分为五个卷积阶段，每个卷积阶段包含一系列卷积、批归一化、激活、池化等操作。经过该模块中每一个卷积阶段后，特征图的长和宽变为原来的一半，经过五个阶段后特征图的长和宽变为了原来的1/32。第一特征处理单元可采用Focus模块的结构，Focus模块用于通过切片索引的方式在保留图像像素信息的同时降低图像尺寸为原始尺寸的一半，其原理如图5所示。第一个卷积阶段F1使用了Focus模块，通过切片索引的方式在保留图像像素信息的同时，降低图像尺寸为原来的一半。第二特征处理单元、第三特征处理单元和第四特征处理单元均可采用CSP(Cross Stage Partial)模块的结构，CSP模块可用于将输入特征图按照通道数一分为二分别进行卷积。其中，CSP模块的结构可采用相关技术A new backbone thatcan enhance learning capability of cnn中所涉及到的CSPnet结构。第二、三、四个卷积阶段均使用了CSP模块，CSP模块使用将特征按照通道数一分为二分别进行卷积的策略，在保证性能的同时降低了卷积操作的计算量。第五特征处理单元采用CSP模块和SPP(Spatial PyramidPooling，空间金字塔池化)模块结合的结构，其中SPP模块采用不同尺度的池化核对特征图进行池化操作，在本实施例中，SPP模块对输入的菌落图像的特征图进行不同尺度的最大值池化。第五个卷积阶段F5在使用了CSP模块的同时使用了空间金字塔池化SPP，SPP模块通过对特征图进行不同的尺度的最大值池化，提升模型的对不同尺度的菌落的检测能力，可设置的一组具体的池化核大小为7×7、9×9、13×13。
基于上述实施例，作为本实施例的另外一种可选的实施方式，上述特征融合单元可用于将输入特征在通道上连接，再经过CSP模块将经过尺度变换后的不同分辨率的特征进行融合。特征融合单元包括第一融合单元、第二融合单元、第三融合单元和第四融合单元；第一融合单元和第二融合单元用于执行低分辨率特征到高分辨率特征的融合操作，第三融合单元和第四融合单元用于执行高分辨率特征到低分辨率特征的融合操作。
其中，特征融合单元和特征提取模块的连接关系为：第三特征处理单元的输出端还与第二融合单元的输入端相连接，第四特征处理单元的输出端还与第一融合单元的输入端相连接，第五特征处理单元的输出端分别与第一融合单元和第四融合单元的输入端相连；第一融合单元的输出端分别与第三融合单元和第二融合单元的输入端相连，第二融合单元的输出端与第三融合单元的输入端，第三融合单元的输出端与第四融合单元的输入端相连。
作为本实施例的其他可选的实施方式，上述检测单元可包括多个不同尺度特征图分辨率的第一检测单元、第二检测单元和第三检测单元。第二融合单元的输出端与第一检测单元的输入端相连，第三融合单元的输出端与第二检测单元的输入端相连，第四融合单元的输出端与第三检测单元的输入端相连。例如第一检测单元的尺度特征图分辨率大于第二检测单元的尺度特征图分辨率，第二检测单元的尺度特征图分辨率大于第三检测单元的尺度特征图分辨率，当然，各检测单元的分辨率也可为其他数值关系，这均不影响本申请的实现。
结合图4来说明：本实施例将特征提取模块的不同的卷积阶段输出的特征通过4个特征融合单元实现由低分辨率特征到高分辨率特征，再由高分辨率特征到低分辨率特征的多尺度逐步融合。特征融合模块的4个融合单元A1、A2、A3、A4可使用CSP卷积模块将经过尺度变换后的不同分辨率的特征进行融合，特征在通道上连接，再经过CSP模块进行卷积来融合特征，如A1和A2融合模块为低尺度特征到高尺度特征聚合，A3和A4融合模块为高尺度特征到低尺度特征融合。A2、A3、A4模块的输出分别经过卷积操作输出在三个不同尺度的检测结果R3、R4、R5。R3尺度特征图分辨率大，细节保留较多，用于检测小尺寸菌落；R4尺度特征图尺度居中用于检测中尺寸菌落，R5尺度特征图分辨率小，具有比较大的视野，用于检测大尺寸菌落。三个尺度均输出检测菌落的类别、菌落的坐标如图2的矩形框的左上角和右下角的坐标、置信度信息，置信度信息用于表示待识别图像为菌落的概率。
由上可知，本实施例的在特征提取模块、特征融合与菌落检测模块中大量使用了轻量化CSP卷积模块，减少了模型计算量，提升了菌落计数速度。特征提取模块包括多个卷积阶段，通过每个阶段特征图变为原来的1/2，该模块使用了Focus模块在降低图像分辨率的同时保留了图像的像素信息，使用CSP模块用于减少模型的计算量，使用了SPP模块在三个不同尺度上进行空间金字塔池化提升模型对于菌落尺度变化的鲁棒性。使用轻量化的CSP卷积结构作为特征融合模块，在三个不同尺度的特征，实现由低分辨率特征到高分辨率特征，再由高分辨率特征到低分辨率特征的多尺度逐步聚合。并且在三个不同的尺度进行菌落检测，在三个不同尺度上分别输出菌落信息，包括菌落的类别，菌落的坐标，置信度信息，从而提高菌落识别精度和识别效率。
上述实施例对如何基于菌落检测结果进行菌落计数并未进行限定，本申请还提供了一种基于菌落检测结果和预设菌落划分方式对待计数菌落图像中的菌落进行计数的实施方式，可包括：
本实施例的菌落检测结果还可包括置信度信息，在此基础上，还可基于预设的置信度阈值、根据菌落检测输出的置信度信息对菌落检测结果进行过滤处理；对过滤后的菌落检测结果进行非极大值抑制处理，得到优化菌落检测结果；根据优化菌落检测结果中的目标菌落的坐标信息计算目标菌落在待计数菌落图像中的面积信息；基于相机内外参数计算目标菌落的真实面积，并将真实面积作为目标菌落的尺度信息；根据预设菌落划分方式对待计数菌落图像进行菌落划分；预设菌落划分方式为尺度信息和/或菌落种类信息；对待计数菌落图像中划分得到的每一个菌落，根据当前菌落对应的菌落划分方式对当前菌落进行计数。
在本实施例中，菌落计数模块将特征融合与菌落检测模块在三个不同尺度检测出的菌落进行整合，设置置信度阈值对检测结果进行过滤，从而将疑似不属于菌落的结果去除，不仅有利于提高菌落识别结果，还降低了后续菌落计数的数据量，提高整体计数效率，置信度阈值可根据识别网络模型精度的要求和实际应用场景进行自由选择，本申请对此不做任何限定。然后可经过NMS(Non-MaximumSuppression，非极大值抑制)除去重复检测结果，NMS可将检测结果中的重叠框，按照置信度过滤，只保留置信度最大的一个，从而过滤掉IOU(intersection over union，交并比)大于一定阈值的重叠框，IOU指检测结果的矩形框与样本标注的矩形框的交集与并集的比值，NMS的IOU阈值可设置为0.5，输出最终的菌落检测结果。根据输出的菌落坐标信息计算出菌落在图像中的面积信息，例如菌落的外接矩形框右上角坐标为(x1，y1)，左下角坐标为(x2，y2)，根据公式(x1-x2)*(y1-y2)计算出菌落在图像中的面积信息。然后再结合相机内外参数计算出菌落在现实世界的面积作为菌落的尺度信息。根据菌落的尺度或种类信息进行划分，根据不同划分方式分别进行计数。
本实施例在三个不同尺度输出菌落信息，通过NMS操作滤除重复菌落，设置置信度阈值滤除置信度较低菌落，得到最终的菌落检测结果。根据输出的菌落坐标信息，结合菌落图像采集时相机的视野和焦距信息推算出菌落的尺度信息。根据菌落的尺度/类别信息进行划分，经过统计输出精细的计数结果。
最后，本申请还提供了菌落计数模型的一种训练方式，请参阅图6，可包括下述内容：
将数据样本集的各样本图像以及标签划分为训练样本集、验证样本集和测试样本集，并采用预设分辨率对训练样本集和验证样本集的样本图像进行裁剪处理，同时根据原始标签生成相对应标签；预设分辨率小于样本图像的原始图像分辨率；
将训练样本集中经过裁剪处理的样本图像输入轻量化卷积神经网络进行训练，并根据验证样本集的F1得分调整轻量化卷积神经网络的模型参数，保存验证样本集中F1得分最高的轻量化卷积神经网络模型作为候选模型；轻量化卷积神经网络的模型损失包括预设类型样本图像的损失权重，预设类型样本图像包括难以识别的样本图像和具有粘连区域的样本图像；当然，轻量化卷积神经网络的模型损失也包括普通样本的损失信息。也就是说，本实施例在计算损失时，除了普通样本，还考虑难以识别的样本图像和具有粘连区域的样本图像的损失，以提高模型精度。
将测试样本集的各样本图像输入候选模型，得到测试样本集的F1得分与计数结果；
若测试样本集的计数精度与验证样本集的计数精度满足预设相似条件，将候选模型作为菌落计数模型。在本步骤中，预设相似条件作为判断候选模型的精度是否达标的标准，满足预设相似条件即为测试样本集的计数精度与验证样本集的技术精度的相同或接近相同，可根据实际情况来确定接近程度。
在本实施例中，对于数据样本集的每个样本图像，需要先对其进行标注，生成标签，标签例如可以是XML文件。在对图像进行标注时，可采用PASCAL VOC通用目标检测标注格式，输出xml文件，其中标注的菌落属性包括但并不限制为菌落的类别(name)、菌落外接矩形框坐标([xmin、ymin、xmax、ymax]，其中[xmin，ymin]为外接矩形框左下角坐标，[xmax，ymax]为外接矩形框右上角坐标，是否为困难样本(difficult)，困难样本也即为难以识别的样本，是否为粘连区域样本(adhesion)。difficult和adhesion属性可以将困难样本和粘连区域样本与普通样本加以区分，在模型训练时通过加大困难样本和粘连区域样本的损失权重，可以提高困难样本和粘连区域样本的识别精度。将采集到的菌落图像以及生成的标签按照一定的比例如2：1：1划分为训练样本集，验证样本集集和测试样本集。模型的计算量跟图像的分辨率成正相关，高分辨率图像如4000×3000因对训练平台硬件性能要求太高，难以直接用于训练，可按照一定的分辨率如可采用裁剪尺寸为832×832对训练样本集、验证样本集中的样本图像进行可重叠裁剪，裁剪后的菌落图像如图7所示，并根据原标签生成相对应的标签。本实施例采用裁剪后的图像如832×832进行模型训练，降低了对模型训练平台的性能要求。可重叠裁剪是指对原始样本图像采集所得的多种图像可包括相同的图像区域，训练样本集用于模型的实际训练，验证样本集集用于模型训练参数的调节，测试样本集集用于模型最终的性能指标的验证。
菌落计数模型的训练过程可包括：
A1：将训练样本集送入轻量化卷积神经网络中得到预测结果，计算预测结果与标签的损失，并经过误差反向传播更新模型参数。
A2：每隔一定的迭代次数计算当前模型在验证样本集上的损失以及F1得分，并保存得到最高F1指标的模型。
A3：当模型在验证样本集上的损失不再下降或F1得分不再上升时，结束此次训练。
A4：调整模型超参数如学习率等，重复上述步骤即循环执行A1-A3进行多次训练，将多次训练中F1得分最高的模型保存作为最终的模型。
本实施例的菌落计数模型的模型损失函数可为：
其中，Totalloss为模型的总损失，loss(i)为样本i的损失，wd为困难样本的损失权重，wa为粘连区域样本的损失权重，wd和wa值可设置为5，s为模型检测出目标总数，样本i＝(1:m)为普通样本，样本i＝(m+1:n)为困难样本，样本i＝(n+1:s)为粘连区域目标。当wd＝wa＝1时，
为上述损失中的一种特例。
本实施例针对菌落在图像中分布密集的特点，在进行标签的标注时对图像中处于粘连区域的菌落和难以识别的菌落进行特别标注，在训练对时设置较大的权重以提升对上述菌落的分辨能力。
此外，可采用
准确率(P)、召回率(R)、真正例(TP，TruePositive)、假正例(FP，False Positive)和假负例(FN，False Negitive)的任何一种或任意组合作为模型的评价标准，所属领域技术人员可根据实际应用场景进行选择，这均不影响本申请的实现。
其中，准确率为真正例在预测为正例的比例，
召回率是指真正例在实际为正例的比例，
真正例是指标签中存在某个菌落，且该菌落的类别和边界框被正确预测，IOU>0.5。假正例是指：模型预测了图像中某一特定位置存在某种菌落，但该位置不存在该菌落，或预测类别与实际类别不匹配的情况。假负例是指：标签中存在某个菌落，但模型该菌落的边界框或无法预测正确的类别。
将测试样本集输入保存的模型，对本申请提出的菌落计数方法进行测试，得到测试集的F1得分以及计数结果。在本申请具体实施中以含大肠杆菌培养皿图像作为测试集，经过本发明提出的菌落计数方法测得的计数图像如图2所示。经过该示意性例子可证实：本申请提出的菌落计数方法F1得分在97％以上，检测计数精度较高。且本申请得到的深度网络模型使用英特尔酷睿i7 CPU推理时，一张完整菌落图像平均用时2s左右，远超手动计数速度。若在GPU上进行部署，可达到更高的推理速度。
此外，为了提高模型训练效果，在训练菌落计数模型之前，可对样本图像数据进行图像预处理，图像预处理例如可包括图像数据增强处理，如图像的随机翻转，图像的随机尺度变换，图像的马赛克数据增强，图像的饱和度、亮、色调、角度等调整。当然，在将待计数菌落图像输入菌落计数模型之前，也可将获取的待计数菌落图像进行图像增强处理，包括但不限制于图像的随机翻转，图像的随机尺度变换，图像的马赛克数据增强，图像的饱和度、亮、色调、角度等调整。
本发明实施例还针对菌落计数方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的菌落计数装置进行介绍，下文描述的菌落计数装置与上文描述的菌落计数方法可相互对应参照。
基于功能模块的角度，参见图8，图8为本发明实施例提供的菌落计数装置在一种具体实施方式下的结构图，该装置可包括：
模型训练模块801，用于预先通过训练轻量化卷积神经网络得到菌落计数模型。
图像处理模块802，用于将获取的待计数菌落图像输入至菌落计数模型；菌落计数模型用于对待计数菌落图像进行菌落检测，并基于菌落检测结果和预设菌落划分方式对待计数菌落图像中的菌落进行计数；菌落检测结果包括菌落类别和菌落位置信息。
计数模块803，用于根据菌落计数模型的输出得到待计数菌落图像的计数结果。
可选的，在本实施例的一些实施方式中，上述菌落计数模型包括特征提取模块，特征融合与菌落检测模块，菌落计数模块；
特征提取模块包括多个相连的特征处理单元，各特征处理单元对输入图像特征图进行特征处理后输出尺寸缩小的图像特征图；
特征融合与菌落检测模块包括特征融合单元和检测单元，特征融合单元用于将特征提取模块输出特征进行由低分辨率特征到高分辨率特征、再由高分辨率特征到低分辨率特征的多尺度逐步融合，并将融合后的输出特征分别经过卷积操作输出至检测单元；检测单元用于输出待计数菌落图像中包含的菌落类别、菌落在待计数菌落图像中的坐标信息和置信度信息；
菌落计数模块用于根据检测单元的输出数据和预设菌落划分方式统计菌落数量。
作为本实施例的一种可选的实施方式，上述特征提取模块包括第一特征处理单元、第二特征处理单元、第三特征处理单元、第四特征处理单元和第五特征处理单元；第二特征处理单元的输入端与第一特征处理单元的输出端相连，第三特征处理单元的输入端与第二特征处理单元的输出端相连，第四特征处理单元的输入端与第三特征处理单元的输出端相连，第五特征处理单元的输入端与第四特征处理单元的输出端相连；
第一特征处理单元为Focus模块，Focus模块用于通过切片索引的方式在保留图像像素信息的同时降低图像尺寸为原始尺寸的一半；
第二特征处理单元、第三特征处理单元和第四特征处理单元均采用CSP模块，CSP模块用于将输入特征图按照通道数一分为二分别进行卷积；
第五特征处理单元采用CSP模块和SPP模块；SPP模块用于对输入特征图进行不同尺度的最大值池化。
作为本实施例的另一种可选的实施方式，上述特征融合单元用于将输入特征在通道上连接，再经过CSP模块将经过尺度变换后的不同分辨率的特征进行融合；
特征融合单元包括第一融合单元、第二融合单元、第三融合单元和第四融合单元；第一融合单元和第二融合单元用于执行低分辨率特征到高分辨率特征的融合操作，第三融合单元和第四融合单元用于执行高分辨率特征到低分辨率特征的融合操作；
第三特征处理单元的输出端还与第二融合单元的输入端相连接，第四特征处理单元的输出端还与第一融合单元的输入端相连接，第五特征处理单元的输出端分别与第一融合单元和第四融合单元的输入端相连；第一融合单元的输出端分别与第三融合单元和第二融合单元的输入端相连，第二融合单元的输出端与第三融合单元的输入端，第三融合单元的输出端与第四融合单元的输入端相连。
作为本实施例的其他可选的实施方式，上述检测单元包括多个不同尺度特征图分辨率的第一检测单元、第二检测单元和第三检测单元；
第二融合单元的输出端与第一检测单元的输入端相连，第三融合单元的输出端与第二检测单元的输入端相连，第四融合单元的输出端与第三检测单元的输入端相连。
可选的，在本实施例的另一些实施方式中，上述图像处理模块802还可进一步用于：
菌落检测结果还包括置信度信息，基于预设的置信度阈值、根据菌落检测输出的置信度信息对菌落检测结果进行过滤处理；对过滤后的菌落检测结果进行非极大值抑制处理，得到优化菌落检测结果；根据优化菌落检测结果中的目标菌落的坐标信息计算目标菌落在待计数菌落图像中的面积信息；基于相机内外参数计算目标菌落的真实面积，并将真实面积作为目标菌落的尺度信息；根据预设菌落划分方式对待计数菌落图像进行菌落划分；预设菌落划分方式为尺度信息和/或菌落种类信息；对待计数菌落图像中划分得到的每一个菌落，根据当前菌落对应的菌落划分方式对当前菌落进行计数。
可选的，在本实施例的另一些实施方式中，上述模型训练模块801还可进一步用于：
将数据样本集的各样本图像以及标签划分为训练样本集、验证样本集和测试样本集，并采用预设分辨率对训练样本集和验证样本集的样本图像进行裁剪处理，同时根据原始标签生成相对应标签；预设分辨率小于样本图像的原始图像分辨率；
将训练样本集中经过裁剪处理的样本图像输入轻量化卷积神经网络进行训练，并根据验证样本集的F1得分调整轻量化卷积神经网络的模型参数，保存验证样本集中F1得分最高的轻量化卷积神经网络模型作为候选模型；轻量化卷积神经网络的模型损失包括预设类型样本图像的损失权重，预设类型样本图像包括难以识别的样本图像和具有粘连区域的样本图像；
将测试样本集的各样本图像输入候选模型，得到测试样本集的F1得分与计数结果；
若测试样本集的计数精度与验证样本集的计数精度满足预设相似条件，将候选模型作为菌落计数模型。
本发明实施例所述菌落计数装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了菌落识别和菌落计数的精度和速度，在菌落培养过程中实现高频次动态精细计数。
上文中提到的菌落计数装置是从功能模块的角度描述，进一步的，本申请还提供一种菌落计数装置，是从硬件角度描述。图9为本申请实施例提供的另一种菌落计数装置的结构图。如图9所示，该装置包括存储器90，用于存储计算机程序；
处理器91，用于执行计算机程序时实现如上述任一实施例提到的菌落计数方法的步骤。
其中，处理器91可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器91可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器91也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器91可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器91还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器90可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器90还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器90至少用于存储以下计算机程序901，其中，该计算机程序被处理器91加载并执行之后，能够实现前述任一实施例公开的菌落计数方法的相关步骤。另外，存储器90所存储的资源还可以包括操作系统902和数据903等，存储方式可以是短暂存储或者永久存储。其中，操作系统902可以包括Windows、Unix、Linux等。数据903可以包括但不限于菌落计数结果对应的数据等。
在一些实施例中，菌落计数装置还可包括有显示屏92、输入输出接口93、通信接口94或者称为网络接口、电源95以及通信总线96。其中，显示屏92、输入输出接口93比如键盘(Keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在菌落计数装置中处理的信息以及用于显示可视化的用户界面。通信接口94可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在该菌落计数装置与其他电子设备之间建立通信连接。通信总线96可以是外设部件互连标准(peripheralcomponent interconnect，简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图9中示出的结构并不构成对菌落计数装置的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器97。
本发明实施例所述菌落计数装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了菌落识别和菌落计数的精度和速度，在菌落培养过程中实现高频次动态精细计数。
可以理解的是，如果上述实施例中的菌落计数方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有菌落计数程序，所述菌落计数程序被处理器执行时如上任意一实施例所述菌落计数方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了菌落识别和菌落计数的精度和速度，在菌落培养过程中实现高频次动态精细计数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种菌落计数方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种菌落计数方法，其特征在于，包括：
预先通过训练轻量化卷积神经网络得到菌落计数模型；
将获取的待计数菌落图像输入至所述菌落计数模型；所述菌落计数模型用于对所述待计数菌落图像进行菌落检测，并基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数；所述菌落检测结果包括菌落类别和菌落位置信息；
根据所述菌落计数模型的输出得到所述待计数菌落图像的计数结果。
2.根据权利要求1所述的菌落计数方法，其特征在于，所述菌落计数模型包括特征提取模块，特征融合与菌落检测模块，菌落计数模块；
所述特征提取模块包括多个相连的特征处理单元，各特征处理单元对输入图像特征图进行特征处理后输出尺寸缩小的图像特征图；
所述特征融合与菌落检测模块包括特征融合单元和检测单元，所述特征融合单元用于将所述特征提取模块输出特征进行由低分辨率特征到高分辨率特征、再由高分辨率特征到低分辨率特征的多尺度逐步融合，并将融合后的输出特征分别经过卷积操作输出至所述检测单元；所述检测单元用于输出所述待计数菌落图像中包含的菌落类别、菌落在所述待计数菌落图像中的坐标信息和置信度信息；
所述菌落计数模块用于根据所述检测单元的输出数据和预设菌落划分方式统计菌落数量。
3.根据权利要求2所述的菌落计数方法，其特征在于，所述特征提取模块包括第一特征处理单元、第二特征处理单元、第三特征处理单元、第四特征处理单元和第五特征处理单元；所述第二特征处理单元的输入端与所述第一特征处理单元的输出端相连，所述第三特征处理单元的输入端与所述第二特征处理单元的输出端相连，所述第四特征处理单元的输入端与所述第三特征处理单元的输出端相连，所述第五特征处理单元的输入端与所述第四特征处理单元的输出端相连；
所述第一特征处理单元为Focus模块，所述Focus模块用于通过切片索引的方式在保留图像像素信息的同时降低图像尺寸为原始尺寸的一半；
所述第二特征处理单元、所述第三特征处理单元和所述第四特征处理单元均采用CSP模块，所述CSP模块用于将输入特征图按照通道数一分为二分别进行卷积；
所述第五特征处理单元采用所述CSP模块和SPP模块；所述SPP模块用于对输入特征图进行不同尺度的最大值池化。
4.根据权利要求3所述的菌落计数方法，其特征在于，所述特征融合单元用于将输入特征在通道上连接，再经过所述CSP模块将经过尺度变换后的不同分辨率的特征进行融合；
所述特征融合单元包括第一融合单元、第二融合单元、第三融合单元和第四融合单元；所述第一融合单元和所述第二融合单元用于执行低分辨率特征到高分辨率特征的融合操作，所述第三融合单元和所述第四融合单元用于执行高分辨率特征到低分辨率特征的融合操作；
所述第三特征处理单元的输出端还与所述第二融合单元的输入端相连接，所述第四特征处理单元的输出端还与所述第一融合单元的输入端相连接，所述第五特征处理单元的输出端分别与所述第一融合单元和第四融合单元的输入端相连；所述第一融合单元的输出端分别与所述第三融合单元和所述第二融合单元的输入端相连，所述第二融合单元的输出端与所述第三融合单元的输入端，所述第三融合单元的输出端与所述第四融合单元的输入端相连。
5.根据权利要求4所述的菌落计数方法，其特征在于，所述检测单元包括多个不同尺度特征图分辨率的第一检测单元、第二检测单元和第三检测单元；
所述第二融合单元的输出端与所述第一检测单元的输入端相连，所述第三融合单元的输出端与所述第二检测单元的输入端相连，所述第四融合单元的输出端与所述第三检测单元的输入端相连。
6.根据权利要求1至5任意一项所述的菌落计数方法，其特征在于，所述基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数包括：
基于预设的置信度阈值、根据菌落检测输出的置信度信息对所述菌落检测结果进行过滤处理；
对过滤后的菌落检测结果进行非极大值抑制处理，得到优化菌落检测结果；
根据所述优化菌落检测结果中的目标菌落的坐标信息计算所述目标菌落在所述待计数菌落图像中的面积信息；
基于相机内外参数计算所述目标菌落的真实面积，并将所述真实面积作为所述目标菌落的尺度信息；
根据所述预设菌落划分方式对所述待计数菌落图像进行菌落划分；所述预设菌落划分方式为尺度信息和/或菌落种类信息；
对所述待计数菌落图像中划分得到的每一个菌落，根据当前菌落对应的菌落划分方式对所述当前菌落进行计数。
7.根据权利要求1至5任意一项所述的菌落计数方法，其特征在于，所述通过训练轻量化卷积神经网络得到菌落计数模型包括：
将数据样本集的各样本图像以及标签划分为训练样本集、验证样本集和测试样本集，并采用预设分辨率对所述训练样本集和所述验证样本集的样本图像进行裁剪处理，同时根据原始标签生成相对应标签；所述预设分辨率小于样本图像的原始图像分辨率；
将所述训练样本集中经过裁剪处理的样本图像输入所述轻量化卷积神经网络进行训练，并根据所述验证样本集的F1得分调整所述轻量化卷积神经网络的模型参数，保存所述验证样本集中F1得分最高的轻量化卷积神经网络模型作为候选模型；所述轻量化卷积神经网络的模型损失包括预设类型样本图像的损失权重，所述预设类型样本图像包括难以识别的样本图像和具有粘连区域的样本图像；
将所述测试样本集的各样本图像输入候选模型，得到所述测试样本集的F1得分与计数结果；
若所述测试样本集的计数精度与所述验证样本集的计数精度满足预设相似条件，将所述候选模型作为所述菌落计数模型。
8.一种菌落计数装置，其特征在于，包括：
模型训练模块，用于预先通过训练轻量化卷积神经网络得到菌落计数模型；
图像处理模块，用于将获取的待计数菌落图像输入至所述菌落计数模型；所述菌落计数模型用于对所述待计数菌落图像进行菌落检测，并基于菌落检测结果和预设菌落划分方式对所述待计数菌落图像中的菌落进行计数；所述菌落检测结果包括菌落类别和菌落位置信息；
计数模块，用于根据所述菌落计数模型的输出得到所述待计数菌落图像的计数结果。
9.一种菌落计数装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述菌落计数方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有菌落计数程序，所述菌落计数程序被处理器执行时实现如权利要求1至7任一项所述菌落计数方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110523572.8A CN113240640A (zh) | 2021-05-13 | 2021-05-13 | 菌落计数方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110523572.8A CN113240640A (zh) | 2021-05-13 | 2021-05-13 | 菌落计数方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240640A true CN113240640A (zh) | 2021-08-10 |
Family
ID=77134130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110523572.8A Pending CN113240640A (zh) | 2021-05-13 | 2021-05-13 | 菌落计数方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240640A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495865A (zh) * | 2024-01-03 | 2024-02-02 | 深圳零一生命科技有限责任公司 | 菌落计数样本的优化方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017042812A2 (en) * | 2015-09-10 | 2017-03-16 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
| US20170213127A1 (en) * | 2016-01-24 | 2017-07-27 | Matthew Charles Duncan | Method and System for Discovering Ancestors using Genomic and Genealogic Data |
| CN107486562A (zh) * | 2017-11-09 | 2017-12-19 | 西北师范大学 | 植物源性多糖提取物还原金属盐制备金属纳米材料的方法及应用 |
| CN109919229A (zh) * | 2019-03-08 | 2019-06-21 | 杭州麦乐克科技股份有限公司 | 基于人工蜂群和神经网络的监测有害气体预测方法及系统 |
| CN110322438A (zh) * | 2019-06-26 | 2019-10-11 | 杭州上池科技有限公司 | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 |
| US20200074186A1 (en) * | 2018-08-28 | 2020-03-05 | Beihang University | Dense crowd counting method and apparatus |
| CN111402235A (zh) * | 2020-03-16 | 2020-07-10 | 北京君立康生物科技有限公司 | 菌落图像的生长记录方法、装置、电子设备及存储介质 |
| CN111414995A (zh) * | 2020-03-16 | 2020-07-14 | 北京君立康生物科技有限公司 | 小目标菌落的检测处理方法、装置、电子设备及介质 |
| CN111443159A (zh) * | 2020-01-23 | 2020-07-24 | 华东理工大学 | 一种气敏-气相色谱多源感知和电子鼻仪器在线检测方法 |
| CN112669261A (zh) * | 2020-12-08 | 2021-04-16 | 山东省科学院海洋仪器仪表研究所 | 一种水体菌落总数的自动计数方法 |
| CN112749833A (zh) * | 2020-12-09 | 2021-05-04 | 暨南大学 | 基于朴素贝叶斯模型的大肠杆菌利福平抗性突变预测方法 |
-
2021
- 2021-05-13 CN CN202110523572.8A patent/CN113240640A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017042812A2 (en) * | 2015-09-10 | 2017-03-16 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
| US20170213127A1 (en) * | 2016-01-24 | 2017-07-27 | Matthew Charles Duncan | Method and System for Discovering Ancestors using Genomic and Genealogic Data |
| CN107486562A (zh) * | 2017-11-09 | 2017-12-19 | 西北师范大学 | 植物源性多糖提取物还原金属盐制备金属纳米材料的方法及应用 |
| US20200074186A1 (en) * | 2018-08-28 | 2020-03-05 | Beihang University | Dense crowd counting method and apparatus |
| CN109919229A (zh) * | 2019-03-08 | 2019-06-21 | 杭州麦乐克科技股份有限公司 | 基于人工蜂群和神经网络的监测有害气体预测方法及系统 |
| CN110322438A (zh) * | 2019-06-26 | 2019-10-11 | 杭州上池科技有限公司 | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 |
| CN111443159A (zh) * | 2020-01-23 | 2020-07-24 | 华东理工大学 | 一种气敏-气相色谱多源感知和电子鼻仪器在线检测方法 |
| CN111402235A (zh) * | 2020-03-16 | 2020-07-10 | 北京君立康生物科技有限公司 | 菌落图像的生长记录方法、装置、电子设备及存储介质 |
| CN111414995A (zh) * | 2020-03-16 | 2020-07-14 | 北京君立康生物科技有限公司 | 小目标菌落的检测处理方法、装置、电子设备及介质 |
| CN112669261A (zh) * | 2020-12-08 | 2021-04-16 | 山东省科学院海洋仪器仪表研究所 | 一种水体菌落总数的自动计数方法 |
| CN112749833A (zh) * | 2020-12-09 | 2021-05-04 | 暨南大学 | 基于朴素贝叶斯模型的大肠杆菌利福平抗性突变预测方法 |
Non-Patent Citations (6)
| Title |
|---|
| 周莹莉 等: "基于图像处理的菌落自动计数方法及其实现", 《数据采集与处理》, vol. 2003, no. 4, 15 December 2003 (2003-12-15), pages 460 - 464 * |
| 彭鹭 等: "超高效液相色谱——串联质谱法测定水体中的微囊藻毒素", 《2018年中国质谱学术大会（CMSC 2018）论文集》, 24 November 2018 (2018-11-24), pages 452 * |
| 王凯: "基于深度学习的蛋鸡行为检测方法研究与系统开发", 《中国优秀硕士学位论文全文数据库 农业科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 050 - 306 * |
| 苗英杰 等: "茶多酚热超声联合处理对冬瓜沙门氏菌数量的影响及其自适应神经网络生长模型的构建", 《食品与发酵工业》, vol. 46, no. 9, 10 April 2020 (2020-04-10), pages 101 - 107 * |
| 薛定谔的炼丹炉！: "深度学习之特征融合（高低层特征融合）", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/qq_43703185/article/details/108201970> * |
| 马月莲 等: "水样菌落总数测定不确定度的研究", 《中国食品工业》, vol. 2013, no. 3, 15 March 2013 (2013-03-15), pages 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495865A (zh) * | 2024-01-03 | 2024-02-02 | 深圳零一生命科技有限责任公司 | 菌落计数样本的优化方法、装置、设备及存储介质 |
| CN117495865B (zh) * | 2024-01-03 | 2024-05-17 | 深圳零一生命科技有限责任公司 | 菌落计数样本的优化方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378297B (zh) | 基于深度学习的遥感图像目标检测方法、装置、及存储介质 | |
| US10817741B2 (en) | Word segmentation system, method and device | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN113160257B (zh) | 图像数据标注方法、装置、电子设备及存储介质 | |
| EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN111178355B (zh) | 印章识别方法、装置和存储介质 | |
| CN112508975A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| CN105117740B (zh) | 字体识别方法及装置 | |
| CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN112037180B (zh) | 染色体分割方法及装置 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN113420673B (zh) | 垃圾分类方法、装置、设备及存储介质 | |
| CN111310746A (zh) | 文本行检测方法、模型训练方法、装置、服务器及介质 | |
| CN114627116B (zh) | 一种基于人工智能的织物疵点识别方法及系统 | |
| CN111079480A (zh) | 身份证信息的识别方法、装置及终端设备 | |
| CN114462469B (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
| CN113240640A (zh) | 菌落计数方法、装置及计算机可读存储介质 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
| CN116434346B (zh) | 无人值守商店内顾客行为的检测方法、装置及存储介质 | |
| CN112464744A (zh) | 一种鱼姿态识别方法 | |
| CN111163332A (zh) | 视频色情度检测方法、终端及介质 | |
| CN114092947B (zh) | 一种文本检测方法、装置、电子设备及可读存储介质 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |