CN105593359A - 菌落检查程序、菌落检查装置以及菌落检查方法 - Google Patents

Abstract

获取部(111)经由I/F从各终端装置获取计数数据，并存储至存储部。计数部(112)以作为图像数据存储的各培养皿图像为基础对培养皿所包含的菌落数进行计数。另外，计数部(112)计算各培养皿图像的图像特征量。计算部(113)基于作为图像特征量数据存储的各培养皿图像的图像特征量，来计算对应的培养皿图像间的相似度。判定部(114)基于培养皿间的菌落数的差异、以及培养皿图像间的相似度来判定检查对象的培养皿是否混入了菌。判定部(114)在判定为检查对象的培养皿混入了菌的情况下，输出警报。

Description

菌落检查程序、菌落检查装置以及菌落检查方法

技术领域

本发明涉及菌落检查程序、菌落检查装置以及菌落检查方法。

背景技术

作为有关食品的检查，除了检查菌类的混入的卫生检查以外，有时为了检验卫生检查本身是否被准确地进行，还进行检查品质的调查。在这样的检查品质调查中，例如，为了确认在检查室内每天进行的检查的步骤、检查设备、试剂类是否存在问题，有选择调查用检体，按照每个一定期间或者一定检查件数来进行测定的情况。另外，在每天的卫生检查业务中，也有确认检查品质的情况。有从对培养皿进行拍摄的图像中自动地计数菌落数的装置。

专利文献1：日本特开2011-239683号公报

专利文献2：日本特开2011-212013号公报

若使用上述的自动地计数菌落数的装置，则除了卫生检查以外，也能够进行检查品质本身的调查。例如，在相同检体的相同条件下制造出的多个培养皿间，菌落数应该相等。因此，若针对卫生检查中处理过的相同检体在相同条件下制造出的多个培养皿间的菌落数的差处于一定范围内，则能够判断为卫生检查的品质没有问题。然而，在上述技术中，有不能够适当地评价检查品质的情况。

即，只是使用菌落自动计数装置来对多个培养皿内的菌落数进行比较的话，有对于适当地评价检查品质不充分的情况。原因是因为有仅通过菌落数的信息不能发现培养的过程中的事故(污染)、检查环境的缺陷的情况。例如，即使多个培养皿间菌落数相等，在某一个培养皿在培养的过程中被检查员的手指触摸而被污染的情况下，有时在该培养皿内发育的菌的种类、大小也不同。即使在这样的情况下，也有在多个培养皿间菌落数相等的情况下，在通过菌落数的比较进行的检查品质的调查中，判断为卫生检查的品质没有问题的情况。

发明内容

在一个侧面，本发明的目的在于提供一种能够适当地评价检查品质的菌落检查程序、菌落检查装置以及菌落检查方法。

在第一方案中，菌落检查程序使计算机执行获取对包含细菌菌落的多个培养皿的每一个培养皿拍摄到的图像，并在多个图像之间计算相似度的处理。并且，菌落检查程序使计算机执行基于计算出的相似度，来控制是否输出警报的处理。

能够适当地评价卫生检查的品质。

附图说明

图1是表示实施例1的系统整体的结构的图。

图2是表示实施例1的菌落检查装置的结构的功能框图。

图3是表示检查DB的数据结构的一个例子的图。

图4是表示颜色直方图的第一例的图。

图5是表示颜色直方图的第二例的图。

图6是表示菌落面积的分布直方图的第一例的图。

图7是表示菌落面积的分布直方图的第二例的图。

图8是表示判定画面中的警报显示的第一例的图。

图9是表示判定画面中的警报显示的第二例的图。

图10是表示菌落检查装置的处理矩阵的一个例子的图。

图11是表示菌落检查装置输出警报之前的处理动作的第一例的图。

图12是表示菌落检查装置输出警报之前的处理动作的第二例的图。

图13是表示菌落检查装置输出警报之前的处理动作的第三例的图。

图14是表示菌落检查装置所涉及的计算机的硬件结构的一个例子的图。

具体实施方式

以下，基于附图对本申请所公开的菌落检查程序、菌落检查装置以及菌落检查方法的实施例进行详细说明。此外，并不是通过该实施例来限定本发明。各实施例能够在不使处理内容相矛盾的范围内适当地组合。

实施例1

(系统整体的结构)

接下来，对实施例1的系统整体的结构进行说明。图1是表示实施例1的系统整体的结构的图。如图1所示，系统10具有拍摄装置200a～200c、终端装置300a～300c、网络50、以及菌落检查装置100。

拍摄装置200a与终端装置300a连接。另外，拍摄装置200b与终端装置300b连接。另外，拍摄装置200c与终端装置300c连接。在这里，将各拍摄装置拍摄到的培养皿的图像称为培养皿图像。各拍摄装置200拍摄所设置的培养皿的图像，并将图像数据发送至各自的终端装置300。终端装置300经由网络50将图像数据发送至菌落检查装置100。菌落检查装置100基于从各终端装置300发送出的图像数据来判定培养皿在检查过程中是否有缺陷。菌落检查装置100在判定为培养皿存在缺陷的可能性较高的情况下，输出警报。

此外，在实施例1中，例示各拍摄装置200拍摄培养皿图像，菌落检查装置100从培养皿图像中计数菌落数的例子，但各终端装置300也可以以培养皿图像为基础来计数菌落数。另外，有关菌落检查装置100输出警报的处理的详细内容将在后面描述。

(检查部门的培养皿的制作)

接下来，对设置于各拍摄装置200的培养皿的制作进行说明。检查部门是在食品制造工厂中进行卫生检查的部门。属于检查部门的检查员实施卫生检查。另一方面，属于相同的检查部门的负责人进行检查员所进行的卫生检查的最终判定，并且对检查员所进行的卫生检查的品质进行评价。

检查部门的检查员为了对出厂的食品进行卫生检查，而从食品中采集检体，并用规定的方法制造培养皿。

例如，检查员以如下方式制作培养皿。首先，检查员对从检查对象的食品中采集到的检体附上用于与其它检体相区分的识别编号即检查No。接着，将与附于检体的检查No相同的编号，分别标记到2个培养皿的盖上。接着，检查员对检体进行研磨并加入稀释水来制作试样原液。用滴管提取试样原液的一部分，加入到2个培养皿中，进一步加入稀释水稀释到规定浓度，稀释一次制作2个培养皿。接着，检查员向培养皿倒入琼脂等培养基并在培养皿中混合。

接着，检查员在琼脂固化之后将盖朝下倒置，通过恒温箱将2个培养皿内的温度保持在规定温度，将各培养皿放置1～2日左右。由此，将相同检体利用相同条件在2个培养皿中培养菌。此外，将从食品中采集的检体的一部分冷冻保存，用于再检查。接着，检查员将生成的培养皿设置于各拍摄装置200。此外，在上述从最初开始就对制作同一稀释阶段的2个培养皿的内容进行了说明，但也可以将连续的2～3个阶段的稀释的培养皿各制作2个，选择适当的一个稀释阶段来计数菌落数。

(关于菌落自动计数装置的利用)

此外，菌落数的计数作业一般通过目视观察来进行。然而，为了检查员高精度地进行计数作业，需要检查员具有一定程度的实务经验。因此，检查部门不能向实务经验不充分的检查员委托计数作业。另外，由于检查部门需要由有限的检查员人数来完成固定的业务，所以存在具有检查实务经验的检查员向其它检查员传授计数作业的经验很困难的情况。并且，检查部门也有由于各检查员的实务经验的差异而在计数上出现误差，所以很难将计数作业中的检查水平保持一定的问题。根据这样的情况，若检查部门使检查员通过目视观察来进行计数作业，则很难将作业品质保持一定。

因此，检查员将自动地计数培养皿内的菌落数的菌落自动计数装置用于检查的情况增多。由于菌落自动计数装置自动地计数菌落数所以即使是实务经验较少的检查员也能够使用。另外，检查部门通过使检查员使用菌落自动计数装置，很容易将检查水平保持一定。因此，检查部门使检查员使用菌落自动计数装置的情况逐渐增多。

(菌落检查装置的功能结构)

对实施例1的菌落检查装置100的功能结构的一个例子进行说明。图2是表示实施例1的菌落检查装置的结构的功能框图。如图2所示，菌落检查装置100具有I/F(Interface：接口)101、显示部102、控制部110、以及存储部120。I/F101与网络50连接，是用于经由网络50向各终端装置300发送数据的通信接口。显示部102将由菌落检查装置100完成的处理结果显示于监视器。另外，显示部102显示从菌落检查装置100输出的警报。

(存储部的各结构)

存储部120存储检查DB(Database：数据库)121、图像数据122、图像特征量数据123、以及阈值数据124。存储部120例如与RAM(RandomaccessMemory：随机存取存储器)、ROM(ReadOnlyMemory：只读存储器)、闪存(FlashMemory)等半导体存储器件、硬盘、光盘等存储装置对应。

检查DB121是用于每次检查时将与检查有关的数据、培养皿图像间的相似度以及判定结果建立对应关系并存储的数据库。图3是表示检查DB的数据结构的一个例子的图。如图3所示，检查DB121对检查No、检体1、检体2、检查日、检体名称、cfu、稀释倍率、计数数1、计数数2、相似度、以及判定结果建立对应关系。“检查No”是对检查日中的每个检体唯一赋予的编号。另外，“检查No”对由同一培养皿生成的检体的组赋予一个。“检体1”表示由同一培养皿生成的多个的两个检体中的一方的检体1的图像。“检体2”表示由同一培养皿生成的多个的两个检体中的另一方的检体2的图像。“检查日”表示进行检查的日子。“检体名称”表示采集了检体的食品名称。“cfu”表示每克检体的菌的个数。“稀释倍率”表示对原溶液稀释的倍率。“计数数1”表示检体1所包含的菌落数。“计数数2”表示检体2所包含的菌落数。“相似度”表示检体1以及检体2的图像间的相似度。“相似度”用0～1来表示，在进行比较的图像相同的情况下为1。“判定结果”表示负责人判定的结果。例如，在对于检查员计数的cfu，负责人判断为收敛在每个食品组规定的规定值内的情况下，“判定结果”为“规定内”。另外，在负责人判断为超过每个食品组规定的规定值的情况下，“判定结果”为“规定外”。另外，在负责人判断为检查品质有问题的情况下，“判定结果”为“L.A.(LaboratoryAccident：实验室事故)”。

图像数据122是从各终端装置300接收到的培养皿图像的数据。如后所述，菌落检查装置100将通过对检查对象的检体进行分割而制作的2个培养皿的图像数据在检查DB121中建立对应关系并作为图像数据122存储。此外，图像数据122的文件形式例如是GIF文件、JPEG文件、BMP文件等。

图像特征量数据123是与对应的各培养皿图像的图像特征量有关的数据。菌落检查装置100通过各种方法来获取图像特征量数据123。例如，菌落检查装置100制作与各培养皿图像对应的颜色直方图。而且，菌落检查装置100将制作出的颜色直方图作为图像特征量数据123存储至存储部120。另外，菌落检查装置100以培养皿图像为基础来计算菌落的面积的平均值。而且，菌落检查装置100将菌落面积的平均值作为图像特征量数据123存储至存储部120。另外，菌落检查装置100计算各培养皿图像的SIFT(Scale-InvariantFeatureTransform：尺度不变特征变换)特征量。而且，菌落检查装置100将SIFT特征量作为图像特征量数据123存储至存储部120。此外，菌落检查装置100也可以通过SURF(SpeedUpRobustFeatures：快速鲁棒特征)或者HOG(HistogramofOrientedGradients：方向梯度直方图)来计算图像特征量。上述是通过菌落检查装置100计算的图像特征量的一个例子，菌落检查装置100也可以通过其它方法来计算图像特征量。另外，与图像特征量的计算有关的详细内容将在后面描述。

阈值数据124是表示菌落检查装置100判定是否输出警报时使用的各阈值的数据。如后所述，菌落检查装置100计算对应的培养皿图像间的相似度，并根据相似度是否是阈值以上来判定是否输出警报。例如，菌落检查装置100在对蔬菜类的培养皿图像进行比较的情况下，基于阈值数据124将阈值设定为“0.6”。此外，菌落检查装置100也可以基于来自负责人的反馈适当地更新阈值。另外，与阈值的更新有关的详细内容将在后面描述。

(控制部的各结构)

控制部110具有获取部111、计数部112、计算部113、以及判定部114。控制部110的功能例如能够通过CPU(CentralProcessingUnit：中央处理器)执行规定的程序来实现。另外，控制部110的功能例如能够通过ASIC(ApplicationSpecificIntegratedCircuit：专用集成电路)、FPGA(FieldProgrammableGateArray：现场可编程门阵列)等集成电路来实现。此外，判定部114是输出部的一个例子。

获取部111经由I/F101从各终端装置300获取计数数据，并存储至存储部120。例如，获取部111从各终端装置300接收通过对作为检查对象的检体进行分割而制作的2个培养皿图像。接着，获取部111用一个检查No对对应的2个培养皿图像建立对应关系并存储至检查DB121。此外，获取部111每次检查都从各终端装置300接收检查日、检体名称、cfu以及稀释倍率的数据，并将这些数据与相同的检查No建立对应关系并存储。

计数部112以作为图像数据122存储的各培养皿图像为基础对培养皿所包含的菌落数进行计数。另外，计数部112计算各培养皿图像的图像特征量。例如，计数部112以从各终端装置300接收到的培养皿图像为基础，分别对培养皿所包含的菌落数进行计数。接着，计数部112在将由相同检体制作而成的一方的培养皿的图像作为图像1，将另一方作为图像2时，将图像1的菌落数插入检查DB121的“计数数1”，将图像2的菌落数插入“计数数2”。此外，计数部112在培养皿内的菌落重叠的情况下，也可以通过图像处理分离菌落再计数。

接着，计数部112计算颜色直方图、菌落的面积的平均值或者SIFT特征量等作为图像1以及图像2的图像特征量。例如，计数部112在求出颜色直方图作为图像1以及图像2的图像特征量的情况下，以如下方式进行处理。首先，计数部112将图像1以及图像2所包含的各像素的红色成分R、绿色成分G、蓝色成分B各种颜色成分减少到4种颜色，红色成分R、绿色成分G、蓝色成分B的组合为64种。接着，计数部112对与64种对应的各种颜色附上从第0到第63的编号作为bin编号。接着，计数部112对图像1以及图像2内包含几个与bin编号对应的像素进行计数，并制作颜色直方图。

图4是表示颜色直方图的第一例的图。如图4所示，颜色直方图分别示有图像1中的与0-63的bin编号对应的像素数。例如，颜色直方图示出在图像1中bin编号0的像素约有5000个。另外，颜色直方图示出在图像1中bin编号10的像素约有25000个。另外，颜色直方图示出在图像1中bin编号20的像素约有1000个。此外，颜色直方图也示出在图像1中在其它bin编号上与各bin编号对应的像素数。

图5是表示颜色直方图的第二例的图。如图5所示，颜色直方图与图4相同分别示有图像2中的与0-63的bin编号对应的像素数。例如，颜色直方图示出在图像2中bin编号0的像素约有4000个。另外，颜色直方图示出在图像2中bin编号10的像素约有23000个。另外，颜色直方图示出在图像2中bin编号20的像素约有2000个。此外，颜色直方图也示出在图像2中在其它bin编号上与各bin编号对应的像素数。

接着，计数部112将图4的图像1的颜色直方图和图5的图像2的颜色直方图作为图像特征量数据123分别存储至存储部120。此外，有关使用了颜色直方图的相似度的计算将在后面描述。

此外，计数部112制作的直方图并不限于颜色直方图，也可以制作其它直方图。例如，计数部112也可以按照以下的步骤制作菌落面积的分布直方图。首先，计数部112进行图像1的边缘提取处理，将封闭的部分检测为菌落。接着，计数部112计算图像1所包含的各菌落的面积。此外，计数部112以同样的方式计算图像2所包含的各菌落的面积。

接着，计数部112根据面积的大小将图像1的菌落划分为N个阶段，并计数属于各阶段的菌落数。例如，计数部112在将菌落的面积划分为7个阶段的情况下，计数属于第一阶段面积最小的范围的菌落的个数。另外，计数部112计数属于第二阶段面积第二小的范围的菌落的个数。像这样，计数部112计数属于各阶段的菌落的个数。接着，计数部112在纵轴取菌落数、在横轴取菌落的面积，制作图像1的菌落面积的分布直方图。此外，计数部112以同样的方式，制作图像2的菌落面积的分布直方图。

图6是表示菌落面积的分布直方图的第一例的图。图6所示的菌落面积的分布直方图与图像1对应。另外，菌落面积的分布直方图在纵轴向取菌落数，在横轴向取菌落面积。另外，菌落面积的分布直方图将菌落面积划分为7个阶段，示有各阶段的菌落数。例如，一方面，菌落面积的分布直方图示出第一阶段的菌落数约是30。另外，菌落面积的分布直方图示出第二阶段的菌落数约是23。菌落面积的分布直方分别图示有属于其它阶段的菌落数。另一方面，图7是表示菌落面积的分布直方图的第二例的图。图7所示的菌落面积的分布直方图与图像2对应。此外，有关使用了菌落面积的分布直方图的相似度的计算将在后面描述。

另外，计数部112也可以利用其它方法来计算图像特征量。例如，计数部112也可以计算菌落面积的平均值作为图像特征量数据。具体而言，计数部112进行图像1以及图像2的边缘提取处理，将封闭的部分作为菌落来检测。此外，计数部112也可以通过封闭的部分的面积、颜色、大小等来检测菌落。接着，计数部112对检测出的各菌落的像素数进行计数求出菌落的总面积。接着，计数部112通过将菌落的总面积除以菌落数来求出菌落的面积的平均值。而且，计数部112将菌落的面积的平均值作为图像特征量数据123存储至存储部120。

或者，计数部112也可以计算图像1以及图像2的SIFT特征量，并作为图像特征量数据123存储至存储部120。此外，SIFT是用于物体识别等的算法，可以说在图像的旋转、放大缩小、照明变化方面很强。计数部112通过从图像内检测特征点，并计算每个该特征点的亮度变化来求出SIFT特征量。而且，计数部112将求出的各SIFT特征量作为图像特征量数据123存储至存储部120。

计算部113基于作为图像特征量数据123存储的各培养皿图像的图像特征量，来计算对应的培养皿图像间的相似度。例如，计算部113在计数部112计算图像1以及图像2的颜色直方图作为图像特征量的情况下，通过HistogramIntersection(直方图相交)的方法，按照下述的步骤对直方图进行比较。此外，各bin编号的值表示与各bin编号相当的像素数。首先，计算部113对图像1和图像2的颜色直方图中的bin编号0的值进行比较，将值小的一方加到合计值。例如，若将图像1的bin编号0的值设为“5000”、将图像2的bin编号0的值设为“4000”，则计算部113将较小的一方的“4000”加到合计值“0”，使合计值成为“4000”。接着，若将图像1的bin编号1的值设为“2000”、将图像2的bin编号1的值设为“1500”，则计算部113将较小的一方的“1500”加到合计值“4000”，使合计值成为“5500”。接着，若将图像1的bin编号2的值设为“1000”、将图像2的bin编号2的值设为“1500”，则计算部113将较小的一方的“1000”加到合计值“5500”，使合计值成为“6500”。此外，直到bin编号3-63，计算部113以同样的方式将值较小的一方加到合计值，来计算合计值。另外，计算部113在图像2中也以同样的方式来计算合计值X1。另外，在将图像1的bin编号i的值设为H1[i]、将图像2的bin编号i的值设为H2[i]时，由计算部113计算的合计值X1能够通过以下的公式来表示。

[公式1]

$X_1=\underset{i=0}{\overset{63}{\Σ}}\min (H_1\[i\],H_2\[i\])\mathrm{...}\left(1\right)$

而且，计算部113通过将求出的合计值除以图像1或者图像2的总像素数，来计算在0～1的范围表示的相似度X2。即，在将图像1的bin编号i的值设为H1[i]、将图像2的bin编号i的值设为H2[i]时，相似度X2能够通过以下的公式来表示。

[公式2]

$X_2=\frac{{\Σ}_{i=0}^{63}\min (H_1\[i\],H_2\[i\])}{{\Σ}_{i=0}^{63}{H}_1\[i\]}\mathrm{...}\left(2\right)$

另外，上述的利用HistogramIntersection的直方图的比较方法是一个例子，计算部113也可以通过其它方法对直方图进行比较。例如，计算部113也可以按照以下的步骤通过Bhattacharyya距离对直方图进行比较。首先，计数部112通过将图像1的直方图的各bin编号的值除以图像1的总像素数来进行正规化。由此，图像1的直方图能够用出现概率分布来表示。接着，计数部112按照相同的步骤用出现概率分布来表示图像2的直方图。

接着，计算部113对于各bin编号，将图像1以及图像2的出现概率的积的平方根的和设为图像1以及图像2的相似度X3。由此，相似度取0～1的值。即，在该情况下，相似度X3在将图像1的bin编号i的出现概率设为p[i]、将图像2的bin编号i的出现概率设为q[i]时，能够通过以下的公式来表示。

[公式3]

$X_3=\underset{i=0}{\overset{63}{\Σ}}\left\{\sqrt{p\[i\]\·q\[i\]}\right\}\mathrm{...}\left(3\right)$

另外，计算部113在计数部112计算了图像1以及图像2的菌落面积的直方图作为图像特征量的情况下，也可以按照以下的步骤来计算相似度。首先，计算部113对图像1和图像2的菌落面积的直方图中的第一阶段的值进行比较，并将值较小的一方加到合计值。接着，计算部113对图像1和图像2的菌落面积的直方图中的第二阶段的值进行比较，并将值较小的一方加到合计值。直到作为菌落面积最大的范围的第七阶段，计算部113反复进行上述计算来计算合计值。接着，计算部113通过将计算出的合计值除以图像1或者图像2的总菌落数，来计算图像1以及图像2的相似度X4。即，在该情况下，在将图像1的第i阶段的菌落数设为H1[i]、将图像2的第i阶段的菌落数设为H2[i]时，相似度X4能够通过以下的公式来表示。

[公式4]

$X_4=\frac{{\mathrm{\Σ}}_{i=0}^{N}min(H_1\[i\],H_2\[i\])}{{\mathrm{\Σ}}_{i=0}^N{H}_1\[i\]}\mathrm{...}\left(4\right)$

另外，计算部113也可以根据图像1以及图像2的菌落的面积的平均值来计算相似度。例如，计算部113通过将菌落面积的平均值较小的图像1除以平均值较大的图像2来计算相似度。相似度在两个培养皿存在相同种类的菌落的情况下，认为相似度接近1。

另外，计算部113也可以根据图像1以及图像2的SIFT特征量来计算相似度。例如，计算部113根据图像1以及图像2的SIFT特征量分别生成特征向量，并基于各个特征向量的比较来计算相似度。

判定部114基于培养皿间的菌落数的不同、以及培养皿图像间的相似度，来判定检查品质是否较低。判定部114在判定为检查品质较低的情况下，输出警报。例如，判定部114在培养皿间的菌落数的差异是阈值以上的情况下，判定为检查对象的培养皿在检查过程中有缺陷，并输出警报。另外，判定部114在培养皿图像间的相似度是阈值以下的情况下，判定为检查对象的培养皿在检查过程中有缺陷，并输出警报。具体而言，判定部114在判定为检查对象的培养皿在检查过程中有缺陷的情况下，使负责人判定检查结果的画面显示培养皿在检查过程中有缺陷的可能性较高的意思的警报。此外，阈值按照每个食品组、检查项目来设定。另外，与针对判定画面的显示有关的详细内容将在后面描述。

使用图3，对判定部114的警报的输出的有无进行说明。例如，判定部114在培养皿间的菌落数的计数存在“7”以上的差异的情况下、或者培养皿图像间的相似度是“0.6”以下的情况下，输出警报。在这种情况下，由于在图3的检查DB121的检查No“105”中相似度是“0.55”，相似度是“0.6”以下，所以判定部114判定为满足警报的条件，在判定画面400中输出警报。另外，由于在检查No“106”中计数数1与计数数2的差异是“12”，是“7”以上，所以判定部114判定为满足警报的条件，在判定画面400上输出警报。另外，由于在检查No“108”中计数数1与计数数2的差异是“1”，计数数比“7”小，并且相似度是“0.71”，相似度比“0.6”大，所以判定为不满足警报的条件，在判定画面400上不输出警报。另外，由于在检查No“109”中相似度是“0.55”，相似度是“0.6”以下，所以判定部114判定为满足警报的条件，并在判定画面400上输出警报。此外，关于检查No是“107”的情况下的警报的输出将在后面描述。

另外，判定部114也可以根据培养皿间的菌落数的计数比来判定是否输出警报。例如，判定部114也可以在培养皿间的菌落数的计数比是4倍以上的情况下、或者培养皿图像间的相似度是“0.6”以下的情况下输出警报。在这种情况下，判定部114在计数数1是“4”，计数数2是“17”的情况下，由于计数数2是计数数1的4倍以上所以判定为满足警报条件，并在判定画面400上输出警报。另一方面，判定部114在计数数1是“4”，计数数2是“15”，并且培养皿图像间的相似度比“0.6”大的情况下，判定为不满足警报条件，不在判定画面400上输出警报。

(判定画面中的警报显示例)

图8是表示判定画面中的警报显示的第一例的图。另外，图9是表示判定画面中的警报显示的第二例的图。图8与图3中检查No“105”的图像1的显示对应。另外，图9与图3中检查No“105”的图像2的显示对应。判定画面400例如在选择标签402a的状态的情况下，如图8所示那样将图像1的培养皿图像显示于图像显示部401a。另一方面，判定画面400在选择标签402b的状态的情况下，如图9所示那样将图像2的培养皿图像显示于图像显示部401b。另外，显示部102在判定画面400的检查信息显示栏410显示“检查No”、“检查日”、“检体名称”、“cfu”、“稀释倍率”、“计数数1”、以及“计数数2”。另外，显示部102在判定部114判定为在检查过程中有缺陷的可能性较高的情况下，如图8以及图9所示，在检查信息显示栏410内的警报显示部411显示“存在检查品质有问题的可能性”这样的内容的警报。

另外，显示部102在判定画面400的下部显示规定内按钮421、规定外按钮422、L.A.按钮423以及确定按钮430。菌落检查装置100在由检查部门的负责人按下规定内按钮421，并且按下确定按钮430的情况下，将是“规定内”的意思的判定结果存储至检查DB121。另外，菌落检查装置100在由检查部门的负责人按下规定外按钮422，并且按下确定按钮430的情况下，将是“规定外”的意思的判定结果存储至检查DB121。另外，菌落检查装置100在由检查部门的负责人按下L.A.按钮423，并且按下确定按钮430的情况下，将是“L.A.”的意思的判定结果存储至检查DB121。

此外，检查部门在判定结果是“规定内”的情况下，判断为检查出的检体的菌落数收敛在规定的规定值内。另外，检查部门在判定结果是“规定外”的情况下，判断为检查出的检体的菌落数超过规定的规定值，并立即对制造生产线等检查请求方进行报告。另外，检查部门在判定结果是“L.A.”的情况下，判断为需要再次检查，将使用冷冻保存的相同的检体再次制作培养皿的意思的指示通知给检查员。并且，为了改善检查业务而指导检查员。

像这样，菌落检查装置100在检查过程中有缺陷的可能性较高的情况下，在判定画面400上输出警报，从而能够提供对判定检查品质是否有问题有用的信息。此外，显示部102并不限于在判定画面400上输出警报，也可以通过显示弹出来输出警报。另外，菌落检查装置100也可以通过向负责人发送邮件来输出警报。

(菌落检查装置的处理矩阵)

接下来，使用图10的处理矩阵对由菌落检查装置100进行的处理内容进行说明。图10是表示菌落检查装置的处理矩阵的一个例子的图。判定部114在计数部112计数的培养皿间的菌落数的差异是阈值以上的情况下，判定在哪个培养皿中在检查过程中有缺陷的可能性较高。在该情况下，显示部102在判定画面400上输出警报。

另外，判定部114在培养皿间的菌落数的差异是阈值以内，且培养皿图像间的相似度是阈值以上的情况下，判定为检查品质没有问题。在该情况下，显示部102不在判定画面400上输出警报。另外，判定部114在培养皿间的菌落数的差异是阈值以内，且培养皿图像间的相似度是阈值以下的情况下，预测菌落数的发育状况不同，所以判定在哪个培养皿中在检查过程中有缺陷的可能性较高。在该情况下，显示部102在判定画面400上输出警报。

(菌落检查装置中的处理的流程)

接下来，对菌落检查装置100中的处理的流程进行说明。图11是表示菌落检查装置输出警报之前的处理动作的第一例的图。首先，获取部111在将一个检体以相同稀释倍率分割为2个培养皿之后，分别获取通过将每一个培养皿在相同环境下培养而制作成的2个培养皿的图像(步骤S10)。获取部111用一个检查No对对应的两个培养皿图像建立对应关系并存储至检查DB121。

接着，计数部112根据检查DB121所存储的对应的各培养皿图像分别计算菌落数(步骤S11)。接着，计数部112根据对应的两个培养皿图像分别计算图像特征量(步骤S12)。例如，计数部112分别计算两个培养皿图像的颜色直方图作为图像特征量。计数部112将计算出的图像特征量作为图像特征量数据123存储至存储部120。

接着，计算部113计算两个培养皿图像的相似度(步骤S13)。例如，计算部113对与两个培养皿图像对应的颜色直方图的各bin编号的值进行比较，并加上各bin编号的值中较小的一方来求出合计值。而且，计算部113通过将求出的合计值除以两个培养皿图像中的一方的总像素数来计算相似度。

接着，判定部114在计数部112计数出的培养皿间的菌落数的差异是阈值M以上的情况下(步骤S14：是)，输出警报(步骤S16)，并结束处理。另一方面，判定部114在计数部112计数出的培养皿间的菌落数的差异比阈值M小的情况下(步骤S14：否)，移至步骤S15的处理。

接着，判定部114在步骤S15中图像相似度比阈值N小的情况下(步骤S15：否)，输出警报(步骤S16)，并结束处理。另一方面，判定部114在步骤S15中图像相似度是阈值N以上的情况下(步骤S15：是)，不输出警报，并结束处理。

(效果)

即，菌落检查装置100具有获取对包含细菌菌落的多个培养皿分别拍摄的图像的获取部111、以及在多个图像之间计算相似度的计算部113。并且，菌落检查装置100具有基于计算出的相似度，来变更是否输出警报的判定部114。

另外，判定部114在计算出的相似度表示规定值以上的差分的情况下，输出警报。

另外，菌落检查装置100还可以具有对多个图像的每一个所包含的细菌菌落的个数进行计数的计数部112。而且，判定部114也可以在对多个图像的每一个图像计数的值中有预先决定的个数以上的差分的情况、以及相似度表示规定值以上的差分的情况下，输出警报。

由此，菌落检查装置100能够考虑对应的两个培养皿图像的菌落数的差异以外的要素，来适当地评价检查品质。

(与实施例1相关的其它实施例)

在实施例1中，菌落检查装置100计算各培养皿的菌落数以及各培养皿图像的图像特征量。并不局限于此，图1的各终端装置300也可以基于拍摄装置200拍摄到的各培养皿图像，计算各培养皿的菌落数、以及各培养皿图像的图像特征量的一方或者两方，并将计算出的数据发送至菌落检查装置100，菌落检查装置100使用该数据。

在实施例1中，显示部102在判定部114判定为在检查培养皿的过程中有缺陷的可能性较高的情况下，在判定画面400上输出警报。并不局限于此，判定部114也可以通过与判定画面400分开地显示弹出来输出警报。另外，判定部114也可以通过向负责人等发送邮件来输出警报。

在实施例1中，对计数部112计算SIFT特征量的内容进行了说明。并不局限于此，计数部112也可以通过SURF(SpeedUpRobustFeatures)或者HOG(HistogramofOrientedGradients)来计算图像特征量。

在实施例1中，对计数部112计算颜色直方图、菌落面积的直方图、菌落的面积的平均值或者SIFT特征量作为培养皿图像的图像特征量的内容进行了说明。并不局限于此，计数部112也可以以如下的方式来计算图像特征量。例如，计数部112对培养皿图像的各坐标位置分别照射包含多个波长光的光，并对透过光进行傅立叶变换。接着，计数部112基于各坐标中的每个波长的透过光的光量，来制作矩阵。接着，计算部113以制作出的矩阵为基础来计算培养皿图像间的相似度。

在实施例1中，对计数部112计算颜色直方图、菌落面积的直方图、菌落的面积的平均值或者SIFT特征量的任意一个作为培养皿图像的图像特征量的内容进行了说明。并不局限于此，菌落检查装置100也可以以如下的方式对检查品质进行评价。例如，计数部112计算颜色直方图、菌落面积的直方图、菌落的面积的平均值以及SIFT特征量作为图像特征量。接着，计算部113计算颜色直方图、菌落面积的直方图、菌落的面积的平均值以及SIFT特征量的每一个的相似度。然后，判定部114通过判定全部的相似度是否是分别设定的阈值以上，来判定检查对象的培养皿在检查过程中是否有缺陷。

另外，对食品制造工厂的检查部门为了改善检查品质而使用菌落检查装置100的内容进行了说明，但其他部门的品质管理部门也可以为了监察检查部门的检查品质而使用菌落检查装置100。另外，公共机关、外部的第三者机关也可以使用菌落检查装置100来监察检查部门的检查。

(针对相似度的阈值的更新)

判定部114根据相似度是否是阈值以上来判定检查对象的培养皿在检查过程中是否有缺陷。阈值按照每个食品组、检查项目来设定。阈值也可以由负责人适当地更新。

例如，菌落检查装置100也可以在以下的情况下更新阈值。显示部102在相似度是阈值以下的情况下输出警报。此时，菌落检查装置100也可以在负责人对判定结果选择了“规定内”的情况下，将阈值更新为比当前的值低的值。这样，菌落检查装置100对负责人进行的判定结果进行反馈并反映在阈值数据123上，通过基于判定结果适当地学习阈值，能够设定更加适当的阈值。

(防止相同图像的混淆)

在实施例1中，判定部114在培养皿图像间的相似度是第一阈值以下的情况下，判定为检查对象的培养皿在检查过程中有缺陷。并且，判定部114也可以在培养皿图像间的相似度是比第一阈值大的第二阈值以上的情况下，判定为培养皿图像相同。由此，菌落检查装置100能够防止由于负责人的误认而混淆相同的培养皿图像并显示于判定画面400。此外，菌落检查装置100也可以在培养皿图像间的相似度是第二阈值以上的情况下输出“所显示的培养皿图像有相同的可能性”这样的内容的警报。由此，能够防止使用相同的培养皿图像来评价检查品质这样的不当。

例如，判定部114在计数数有“7”以上的差异的情况下、或者相似度是“0.6”以下或“0.95”以上的情况下输出警报。在这种情况下，由于在图3的检查DB121的检查No“107”中，相似度是“0.99”，相似度是“0.95”以上，所以判定部114判定为满足警报的条件，并在判定画面400上输出警报。

接下来，对为了防止相同图像的混淆而输出警报的情况下的菌落检查装置100中的处理的流程进行说明。图12是表示菌落检查装置输出警报之前的处理动作的第二例的图。

首先，获取部111分别获取从一个检体分割出并以相同稀释倍率培养的2个培养皿的图像(步骤S20)。接着，计数部112根据检查DB121所存储的对应的各培养皿图像分别计算菌落数(步骤S21)。接着，计数部112根据对应的两个培养皿图像分别计算图像特征量(步骤S22)。接着，计算部113计算两个培养皿图像的相似度(步骤S23)。

接着，判定部114在计数部112计数出的培养皿间的菌落数的差异是阈值M以上的情况下(步骤S24：是)，输出警报(步骤S26)，并结束处理。另一方面，判定部114在计数部112计数的培养皿间的菌落数的差异比阈值M小的情况下(步骤S24：否)，移至步骤S25的处理。接着，判定部114在步骤S25中图像相似度比阈值N小的情况下，或比阈值O大的情况下(步骤S25：否)，输出警报(步骤S26)，并结束处理。另一方面，判定部114在步骤S25中图像相似度是阈值N以上且是阈值O以下的情况下(步骤S25：是)，不输出警报，并结束处理。此外，阈值N与第一阈值对应。另外，阈值O与第二阈值对应。

(培养皿内的菌落的总面积)

有在因一个菌落极度生长等理由而培养皿内的菌落的总面积成为一半以上的情况下，计数部112不能够高精度地计数菌落数的情况。因此，判定部114也可以在计算部113计算出的培养皿内的菌落的总面积是阈值以上的情况下，为了提示负责人追加检查而输出警报。由此，菌落检查装置100能够防止由于生长的程度较大的菌落与其它菌落重叠，而菌落数的计数的精度降低。

计数部112以如下的方式来计算菌落的总面积。例如，计数部112进行图像1以及图像2的边缘提取处理，将封闭的部分作为菌落来检测。接着，计数部112对检测出的各菌落的像素数进行计数来求出菌落的总面积。或者，计数部112也可以对载置于深色的台上拍摄到的培养皿图像所包含的白色的像素数进行计数，并基于白色的像素数占据培养皿内整体的像素数的多少比例，来计算菌落的总面积。

接下来，对计算培养皿内的菌落的总面积的情况下的菌落检查装置100中的处理的流程进行说明。图13是表示菌落检查装置输出警报之前的处理动作的第三例的图。

首先，获取部111分别获取从一个检体分割出并以相同稀释倍率培养出的2个培养皿的图像(步骤S30)。接着，计数部112根据检查DB121所存储的对应的各培养皿图像分别计算菌落数(步骤S31)。接着，计数部112根据对应的两个培养皿图像，分别计算图像特征量以及菌落总面积(步骤S32)。接着，计算部113计算两个培养皿图像的相似度(步骤S33)。

接着，判定部114在计数部112计数出的培养皿间的菌落数的差异是阈值M以上的情况下(步骤S34：是)，输出警报(步骤S37)，并结束处理。另一方面，判定部114在计数部112计数出的培养皿间的菌落数的差异比阈值M小的情况下(步骤S34：否)，移至步骤S35的处理。接着，判定部114在步骤S35中图像相似度比阈值N小的情况下(步骤S35：否)，输出警报(步骤S37)，并结束处理。另一方面，判定部114在步骤S35中图像相似度是阈值N以上的情况下(步骤S35：是)，移至步骤S36的处理。接着，判定部114在菌落的总面积是阈值P以上的情况下(步骤S36：否)，输出警报(步骤S37)，并结束处理。另一方面，判定部114在菌落的总面积比阈值P小的情况下(步骤S36：是)，不输出警报，并结束处理。

(显示终端的硬件结构)

图14是表示菌落检查装置的计算机的硬件结构的图。如图14所示那样，计算机500具有执行各种运算处理的CPU501、受理来自用户的数据输入的输入装置502、以及监视器503。另外，计算机500具有从存储介质读取程序等的介质读取装置504、用于与其它装置连接的接口装置505、以及用于通过无线与其它装置连接的无线通信装置506。另外，计算机500具有临时存储各种信息的RAM(RandomAccessMemory)507、以及硬盘装置508。另外，各装置501～508与总线509连接。

硬盘装置508中存储具有与图2所示的控制部110的获取部111、计数部112、计算部113以及判定部114的各处理部相同的功能的菌落检查程序。另外，硬盘装置508中存储用于实现菌落检查程序的各种数据。

CPU501读出硬盘装置508所存储的各程序，在RAM507中展开并执行，从而进行各种处理。另外，上述程序能够使计算机500作为图2所示的获取部111、计数部112、计算部113以及判定部114发挥功能。

此外，上述菌落检查程序无需必须存储至硬盘装置508。例如，计算机500也可以读出计算机500可读取的存储介质所存储的程序并执行。计算机500可读取的存储介质例如对应CD-ROM、DVD光盘、USB(UniversalSerialBus：通用串行总线)存储器等便携式记录介质、闪存等半导体存储器、硬盘驱动器等。另外，也可以将该程序存储至与公共线路、网络、LAN(LocalAreaNetwork：局域网)等连接的装置，计算机500从这些装置中读出程序并执行。

附图标记说明

100…菌落检查装置；101…I/F；102…显示部；110…控制部；111…获取部；112…计数部；113…计算部；114…判定部；120…存储部；121…检查DB；122…图像数据；123…图像特征量数据；124…阈值数据。

Claims (9)

1.一种菌落检查程序，其特征在于，使计算机执行如下处理：

获取对包含有细菌菌落的多个培养皿的每一个培养皿拍摄的图像；

在多个上述图像之间计算相似度；以及

基于计算出的上述相似度，来控制是否输出警报。

2.根据权利要求1所述的菌落检查程序，其特征在于，

变更是否输出上述警报的处理在计算出的上述相似度表示规定值以上的差分的情况下，输出警报。

3.根据权利要求1所述的菌落检查程序，其特征在于，

还对多个上述图像的每一个图像所包含的上述细菌菌落的个数进行计数，

变更是否输出上述警报的处理在对多个上述图像的每一个图像计数得到的值具有预先决定的个数以上的差分的情况、以及上述相似度表示规定值以上的差分的情况下，输出警报。

4.一种菌落检查装置，其特征在于，具有：

获取部，其获取对包含细菌菌落的多个培养皿的每一个培养皿拍摄的图像；

计算部，其在多个上述图像之间计算相似度；以及

输出部，其基于计算出的上述相似度，来变更是否输出警报。

5.根据权利要求4所述的菌落检查装置，其特征在于，

上述输出部在计算出的上述相似度表示规定值以上的差分的情况下，输出警报。

6.根据权利要求4所述的菌落检查装置，其特征在于，

还具有计数部，该计数部对多个上述图像的每一个图像所包含的上述细菌菌落的个数进行计数，

上述输出部在对多个上述图像的每一个图像计数得到的值具有预先决定的个数以上的差分的情况、以及上述相似度表示规定值以上的差分的情况下，输出警报。

7.一种菌落检查方法，其特征在于，

计算机执行如下处理：

获取对包含细菌菌落的多个培养皿的每一个培养皿拍摄的图像；

在多个上述图像之间计算相似度；以及

基于计算出的上述相似度，来变更是否输出警报。

8.根据权利要求7所述的菌落检查方法，其特征在于，

变更是否输出上述警报的处理在计算出的上述相似度表示规定值以上的差分的情况下，输出警报。

9.根据权利要求7所述的菌落检查方法，其特征在于，

还对多个上述图像的每一个图像所包含的上述细菌菌落的个数进行计数，

变更是否输出上述警报的处理在对多个上述图像的每一个图像计数得到的值具有预先决定的个数以上的差分的情况、以及上述相似度表示规定值以上的差分的情况下，输出警报。