以下、微生物検査装置に係る一実施形態を、図面を参照して説明する。
図1に示すように、微生物検査システム(以下、単に「検査システム11」と称す)は、周囲を壁部12で囲まれた恒温室13を備えている。恒温室13の温度は、空調機14により所定の温度に保たれている。検査システム11は、恒温室13の図1における右下部分に、投入棚15、取出棚16、及び取出棚17を備えている。投入棚15からは、検査対象物の一例である試料S(例えば、培地を収容するシャーレ)が恒温室13内へ投入される。恒温室13からは、検査結果が良品である試料Sが取出棚16より取り出され、検査結果が不良品である試料Sが取出棚17より取り出される。恒温室13内には、複数の収納棚18、試料Sを検査するための微生物検査装置(以下、単に「検査装置19」と称す)、及び搬送ロボット20が設けられている。各収納棚18には、恒温室13内へ投入された試料Sが培養のために収納される。搬送ロボット20は、各棚15〜18と検査装置19との間で試料Sを搬送する。各棚15〜17には、恒温室13の内側と外側とを繋ぐコンベア15a〜17aがそれぞれ設けられている。試料Sを投入及び取出す際は、コンベア15a〜17aの外側の端部と中間部とに設けられた二重のシャッタ21,22が片方ずつ順番に開放される。こうすることで、外部から恒温室13内への微生物等の浸入が防止される。
搬送ロボット20は、恒温室13内の床面に配置された回転式の本体20aと、本体20aから延出する複数の間接を有するアーム20bとを有している。試料Sは、アーム20bの先端部のチャック部20cにより把持されて、各棚15〜18と検査装置19との間を搬送される。
検査装置19は、培養後の培地層中に生成された微生物のコロニーを検出するものである。検査装置19は、試料Sを載置するための検査台23(検査用ステージ)と、検査台23上の試料Sを撮影するためのカメラ24とを備えている。収納棚18に収納された試料Sは、培養期間中に例えば定期的に検査装置19により検査される。検査装置19は、カメラ24で撮影した試料Sのカラー画像に基づいて、試料Sの培地における微生物のコロニーを検出する。例えば、検査装置19は、培養期間(通常0〜18時間)中に1つのシャーレを設定された間隔で繰り返し撮影し、シャーレ全体の微生物コロニーを検出して、良品か不良品かの判断を行う。コロニーが検出されないまま所定の培養期間を終えた試料Sは、良品用の取出棚16から搬出される。一方、コロニーが検出された試料Sは、不良品用の取出棚17から搬出される。
検査システム11は、恒温室13の外側に、コントローラ25とパーソナルコンピュータ26とを備えている。コントローラ25は、空調機14、搬送ロボット20、コンベア15a〜17a及びシャッタ21,22などを制御する。検査装置19を構成するパーソナルコンピュータ26には、カメラ24により撮影された試料Sのカラー画像データが入力される。パーソナルコンピュータ26は、所定のアルゴリズムにより、色情報を用いて試料Sの培地と微生物とを識別してコロニーを検出する微生物検出処理を行う。また、パーソナルコンピュータ26は、所定のアルゴリズムにより、検査装置19の微生物コロニーの検出精度を検証する検証処理を行う。
図3に示すように、検査装置19は、検査台23と、検査台23上の試料Sを照明する環状の光源28と、反射板29と、検査台23上の試料Sを撮影するカメラ24と、微生物検出処理装置(以下、単に「検出処理装置40」と称す)とを有している。反射板29は、光源28に対して検査台23と反対側に配置されている。検出処理装置40は、カメラ24からの画像データが取り込まれるパーソナルコンピュータ26の本体31に内蔵されている。
検査台23は、ガラス等の透光性材料からなる。検査台23は、不図示の支持部により可動な状態に支持されている。光源28は、環状を有しており、カメラ24と検査台23との間に配置されている。光源28の中心軸は、カメラ24の光軸と一致している。カメラ24は、光源28の開口を通じて、検査台23上の試料Sの全体を撮影する。反射板29は、例えば拡散板からなる。反射板29は、光源28から照射された光を拡散光として反射する。そのため、検査台23上の試料Sの像だけがカメラ24により撮像される。
試料Sは、培地M(寒天培地等)を収容するシャーレ35(例えばガラスシャーレ)である。シャーレ35は、皿部35aに蓋35bを被せてから上下反転させた状態で、蓋35bをカメラ24と反対側に向けて、検査台23上に載置されている。これは、蓋35bを外すことにより恒温室13内の微生物が培地Mに混入することを防止するためである。恒温室13の清浄度が十分高ければ、蓋35bを外して検査してもよい。
皿部35aには、検査対象である飲料液が所定割合で混合された培地Mが収容されている。シャーレ35内の培地Mは、恒温室13内において所定の温度条件下で所定の培養期間、培養される。シャーレ35は、検査装置19により、培養開始時と培養期間中の複数の設定時期とにそれぞれ検査される。
カメラ24は、R(Red)・G(Green)・B(Blue)用の3つの撮像素子36を備えた3板式のカラーカメラである。撮像素子36として、CCD(Charge Coupled Device)イメージセンサ又はCMOSイメージセンサ等が使用される。カメラ24は、自動合焦(オートフォーカス)機能及びズーム機能を有するレンズユニット37を備えている。カメラ24は、検査台23上の試料S(シャーレ35)を所定の倍率で撮像する。レンズユニット37を通じたカメラ24内への入射光は、不図示のダイクロイックミラー又はダイクロイックプリズムによりRGB3原色の光に分離される。分離されたRGBの各光は、各撮像素子36にそれぞれ受光される。カメラ24として、単板式カラーカメラを用いることもできる。
パーソナルコンピュータ26は、本体31と、マウス32m及びキーボード32kよりなる入力操作部32と、モニタ33(表示部)とを備えている。カメラ24は、本体31に接続されている。カメラ24内の各撮像素子36から出力されたアナログ信号は、カメラ24内でA/D変換されてから、RGBカラー画像データとして本体31へと入力される。本体31に内蔵された検出処理装置40は、カメラ24から入力した試料Sのカラー画像データに基づいて培地M中の微生物コロニーを検出する。なお、本実施形態では、検査装置19を構成する検出処理装置40の検証機能を実現する装置部分が、検証装置の一例を構成する。そして、この検証装置によって検査装置19の検出精度が検証される。
本体31の内部には、CPU(中央処理装置)及びメモリ(例えばRAM)を有するマイクロコンピュータ(以下、単に「コンピュータ38」という。)(図2参照)が内蔵されている。本体31内のメモリには、微生物検出処理用のプログラムが記憶されている。コンピュータ38は、メモリから読み出したプログラムを実行することにより、検証機能を備えた検出処理装置40として機能する。検出処理装置40による微生物検出機能及びその検出精度の検証機能の詳細は、後述する。
図2に示すように、本体31内のコンピュータ38は、カメラ24及び光源28と接続されている。コンピュータ38は、カメラ24の撮影制御(フォーカス制御及びズーム制御など)と、光源28による照明の制御とを行う。また、コンピュータ38は、入力操作部32及びモニタ33と接続されている。コンピュータ38は、入力操作部32の操作により入力された各種設定データをメモリ42に記憶する。また、コンピュータ38は、カメラ24が撮影した試料Sの画像、試料Sに対するコロニーの検出結果及び検証結果などをモニタ33に表示する。
図2において、検出処理装置40内に示された各機能ブロックは、コンピュータ38が微生物検出処理用プログラム及び検証用プログラムを実行することにより実現される。検出処理装置40は、制御部41、メモリ42、入力情報生成部43、分類器45、トレーニング処理部46、識別処理部47及び検証処理部48を備えている。検出処理装置40は、コロニー検出のための処理として、画像入力、良品期間におけるトレーニング処理、良品期間終了後の識別期間における識別処理と判別処理、コロニー検出精度の検証処理、結果出力などを行う。なお、コロニー検出精度の検証処理は、全試料Sに対して行われるのではなく、検証の実施が設定されている試料Sに対してのみ行われる。
制御部41は、検出処理及び検証処理の全体を制御したり、設定データをメモリ42に記憶したりする。また、制御部41は、カメラ24が撮影した試料Sの画像、コロニー検出結果及びその検出精度の検証結果などをモニタ33に表示する。制御部41は、モニタ33に設定画面を表示する。作業者は、入力操作部32を操作して、培養期間、トレーニング期間T1(学習期間)、識別期間T2(検査期間)、学習間隔時間(学習サンプリング間隔)、識別間隔時間(識別サンプリング間隔)、検証期間T3などの期間条件に係る各種設定データを入力してこれらをメモリ42に記憶させる。さらに制御部41は、ノイズ収集の有無、閾値設定用距離、最外周検出の有無、判別の有無、コロニー識別条件(面積条件又は径の条件)などの検出や識別に係る各種設定データを入力してこれらをメモリ42に記憶させる。
また、制御部41は、検出精度の検証実施の有無、検証で使用するサンプル画像の指定などの検証に係る各種設定データを入力してこれらをメモリ42に記憶させる。メモリ42には、ハードディスクやRAMの一部の記憶領域が使用される。そして、メモリ42には、コロニー検出精度の検証処理に使用されるコロニーのサンプル画像が記憶されている。本例では、検査装置19の工場導入時に、例えば試料Sの培地に入れた微生物(菌)を培養し、1時間ごとにカメラ24で試料Sを撮影し、分類器45のトレーニング終了後の識別期間T2におけるカメラ画像をサンプル画像として利用する。サンプル画像は、例えば果皮などの異物や乳化鉄等の析出物を含まない培地を使用して培養した試料Sを撮影したものを使用する。
制御部41は、計時部41aを備えている。計時部41aは、培養開始から培養期間の終了までの経過時間を計時する。培養期間は、培養開始から所定時間を経過するまでの「トレーニング期間」と、所定時間を経過してから培養期間終了までの「識別期間」とに分けられる。培養期間は、検出対象の微生物の品種などに応じて定められた期間であって、例えば、10〜30時間の範囲内の値(例えば18時間)に定められている。制御部41は、計時部41aの計時時間に基づいて、現在がトレーニング期間T1と識別期間T2のどちらに属するか、学習及び検査の各サンプリング時期に達したこと、培養期間の終了などを把握する。また、本例では、識別期間T2を検証期間T3とし、識別期間T2における検査のサンプリング時期と、検証期間T3における検証のサンプリング時期とが同じになるようにしている。このため、識別期間T2(つまり検証期間T3)では1時間毎に識別処理と検証処理とが実施される。
ここで、培養開始からの一定期間(例えば5時間)をコロニーが発生しない良品期間とする。トレーニング処理部46は、この良品期間を「トレーニング期間」として、分類器45のトレーニングを行う。つまり、トレーニング処理部46は、各試料S(シャーレ)に対して、培養開始から一定のトレーニング期間T1中に、分類器45に色分類に係るトレーニングを行わせる。また、このトレーニング期間中に検出したものは良品情報として登録して、不良検出しないようにする。そして、識別処理部47は、トレーニング期間終了以後に、色分類や差分の手法を用いて菌コロニーの検出を行う。すなわち、識別処理部47は、検出結果とトレーニング期間に登録した良品情報とを比較することによって、良品か不良品かを判断する。識別処理部47は、検出に際して、形状を判別する形状判別、色を判別する色判別、位置を判別する位置判別などの判別処理を行って、良品か不良品かを判断する。検出処理装置40は、検出した結果をモニタ33の画面に表示し、結果ファイルと画像をメモリ42に保存する。
図2に示す入力情報生成部43は、カメラ24から入力したカラー画像データ(入力画像)から、分類器45に入力すべき入力情報を取得する。入力情報生成部43は、カメラ24に予め決められた所定回数(例えば5回)撮影させて取得した所定枚数(例えば5枚)の画像から、1枚のカラーの検査画像を作成する。検査画像に基づく入力情報には、色情報が少なくとも含まれ、その他に、形状情報と位置情報とが含まれる。詳しくは、入力情報生成部43は、カメラ24から入力したカラー画像データのうち指定範囲内の画素の色情報(RGB階調値)を1画素ずつ取得する。色情報は、R・G・Bを256階調で表現した階調値として与えられる。色情報の階調数は適宜変更してよい。
図2に示す分類器45は、カーネル法に基づくサポートベクターマシン(SVM:Support VectorMachine)、ニューラルネットワーク(MLP:Multi−Layer Perceptron)、ガウス混合分布モデル(GMM:Gaussian Mixture Models)のうち少なくとも1つのアルゴリズムからなる。分類器45は、SVM、MLP、GMMのうち2つ又は3つを備えている。作業者がSVM、MLP、GMMのうちからマニュアルで選択してもよく、検出処理装置40がSVM、MLP、GMMのうち検出対象に適切と判定したものを自動で選択してもよい。
分類器45は、特徴抽出部51、写像部52、線形分離部53、及び判定部54(識別部)を備えている。特徴抽出部51は、上記のSVM、MLP、GMMのうち少なくとも1つの公知の関数アルゴリズムにより構成されている。特徴抽出部51は、入力情報生成部43からの入力情報を入力変数とし、関数アルゴリズムに従って特徴抽出演算を行う。これにより、特徴ベクトル(特徴ベクトルデータ)xが生成される。画素の色情報(RGB階調値)を用いる場合、特徴ベクトルxは、RGB3色の特徴ベクトル成分(xr,xg,xb)を含む3次元のベクトルで表される。特徴ベクトルxは、RGB色と、RGB色空間以外の他の色空間(例えば、HSV色空間)の少なくとも一部の色成分情報とを組み合わせて用いてもよい。以下、色情報を、RGB階調値の3次元情報として説明する。
写像部52は、分類器45がサポートベクターマシン(SVM)である場合に備えられる。写像部52は、特徴抽出部51から出力された特徴ベクトルで規定される入力点xを、カーネル法による演算アルゴリズムに従って高次元特徴空間へと写像する。そして、写像部52は、高次元特徴ベクトル(高次元特徴ベクトルデータ)を生成し、この高次元特徴ベクトルで規定される出力点(写像点)ψ(x)を出力する。以下、分類器45を、カーネル法に基づくサポートベクターマシン(SVM)として説明する。
図4は、入力空間(特徴空間)から高次元特徴空間への写像を説明するグラフである。図4における左側は、特徴ベクトルで規定される入力点x=(xr,xg,xb)が存在する入力空間を示している。図4における右側は、高次元特徴ベクトルで規定される出力点(写像点)ψ(x)(=ψ(xr,xg,xb))が存在する高次元特徴空間を示している。図4では、SVMの特徴を説明する便宜上、入力空間に、培地の入力点x1(培地点)と微生物の入力点x2(微生物点)とを示している。入力点xは、色特徴量(xr,xg,xb)を含む3次元データからなる。説明の便宜上、図4では、R・G2色の色特徴量を座標軸とする2次元の入力空間(特徴空間)として示している。
入力空間における3次元の入力点x1,x2は、写像部52により追加次元(Additional Dimension)が付加された高次元空間に写像されて、高次元特徴ベクトルで規定される出力点ψ(xr,xg,xb)として出力される。出力点ψ(xr,xg,xb,…)は、n(n>3)次元の特徴ベクトルデータであり、n個の成分(ψxr,ψxg,ψxb,…)を有する。(xr,xg,xb)と(ψxr,ψxg,ψxb,…)は、各ベクトルの終点の座標である。
図4に示す入力空間では、培地の点群x1と微生物の点群x2とは線形分離不可能である。しかしながら、写像先の高次元特徴空間では、培地点x1を写像した点群ψ(x1)と微生物点x2を写像した点群ψ(x2)とが、マージン最大化により設定される超平面によって線形分離可能となる。但し、本実施形態では、入力点xは培地点x1のみであるため、マージン最大化によるのではなく点群ψ(x1)から外側へ規定距離(閾値設定用距離ΔL)だけ離れた閾値から規定される超平面によって、培地のクラスC1のみが分類される(図5参照)。
図2に示す線形分離部53は、図4において培地点の点群ψ(x1)と微生物点の点群ψ(x2)とのうちトレーニング期間に取得した少なくとも一方の点群ψ(x)を、超平面(分離平面)によって線形分離する。そして、線形分離部53は、培地のクラスC1と微生物のクラスC2とのうち少なくとも一方のクラスCを分類する。
図5に示すように、培地の色情報のみを学習情報として分類器45をトレーニングする本例では、入力空間に示す培地点x1のみ入力点とし、その入力点の写像先となる高次元特徴空間では、培地の点群ψ(x1)のみが生成される。線形分離部53は、点群ψ(x1)を超平面で線形分離して、培地のクラスC1のみ色分類する。このように分類すべきクラスが1つである場合、超平面を規定するための設定データとして閾値設定用距離ΔLのデータがメモリ42に記憶されている。線形分離部53は、点群ψ(x1)のうち最も外側の点(例えば、サポートベクターとなる複数点)から外側へ距離ΔLの位置に閾値を設定する。こうして、図5に示す超平面を規定することにより、線形分離部53は、培地のクラスC1を色分類する。分類するクラスが1つの場合、分類器45は、カーネル法に基づくサポートベクターマシン(SVM)、ガウス混合分布モデル(GMM:Gaussian Mixture Models)のうち少なくとも一方からなる。
図2に示す判定部54(識別部)は、識別期間T2において検査点(検査領域の一例)がどのクラスに属するかを識別する際に使用される。図2に示すトレーニング処理部46は、分類器45のトレーニングを行ううえで必要な構成として、トレーニング制御部56、培地領域検出部57及びノイズ収集部58を備えている。トレーニング制御部56は、トレーニングに必要な設定データや各種指示を分類器45に与えたり、トレーニングに必要な指示を培地領域検出部57及びノイズ収集部58に与えたりする。なお、トレーニング処理部46及び分類器45により、トレーニング手段の一例が構成されている。
ここで、図7を参照して、カメラ24が撮影した試料Sの画像について説明する。図7(a)〜(d)は、培養期間中にカメラ24が撮影した試料の画像を示す。図7(a)はトレーニング中の画像、図7(b)は識別開始時(検証開始時)の画像、図7(c)は識別中(検証中)におけるコロニー発生時の画像、図7(d)はカメラの撮影画像にコロニー検出結果を重畳させて表示したモニタ33の画像を示す。図7(a)に示す例の培地Mには、検査対象の飲料液中の不溶固形成分がノイズNとして存在する。検査対象が例えば果実等を含む飲料液の場合、その中に含まれる果皮、果肉、繊維、種子などの微小固形物が、コロニーの誤検出を誘発するノイズNとなる。
培地領域検出部57は、試料Sを撮影した画像中における培地Mの領域(以下、「培地領域MA」と称す)を検出するとともに、その培地領域MA内のトレーニング局所領域TA(図7(a)参照)を検出する。トレーニング局所領域TAとは、分類器45が培地Mの色を学習するトレーニング対象領域である。本例では、トレーニング処理の負担を軽減するため、培地領域MAの一部の領域がトレーニング局所領域TAとして設定されている。詳しくは、培地領域検出部57は、シャーレ35の領域と培地領域MAとを画像処理で区分し、さらに培地領域MA内においてノイズNを含まない局所領域を検出して、これをトレーニング局所領域TAに設定する。このとき、ノイズNと培地Mとの色の違いを利用して、色の異なる領域の境界が色エッジとして検出される。作業者が入力操作部32を操作して、トレーニング局所領域TAをマニュアルで設定してもよい。トレーニング局所領域TAの数と形状は適宜設定してよい。
ノイズ収集部58は、ノイズデータを収集する。ノイズデータは、ノイズとコロニーとの判別を位置に基づき判別する位置判別において用いられる。ノイズ収集部58は、トレーニング期間中に色エッジ検出又は分類器45を用いてノイズNを検出する。そして、ノイズ収集部58は、検出したノイズNの位置を含むノイズデータを収集する。例えば、分類器45を用いる場合、トレーニング局所領域TAでのトレーニングを少なくとも1回行って培地のクラスC1を分類した後、ノイズ収集部58は、培地領域MA内の画素毎の入力情報を分類器45に入力し、出力点として得られた点群x又は点群ψ(x)のうち培地のクラスC1に属さない点をノイズ点とする。そして、ノイズ収集部58は、ノイズ点が連続する閉領域をノイズ領域として取得し、ノイズ領域の位置を演算してノイズデータとする。ノイズデータには、ノイズ領域の面積や色濃淡値などが含まれていてもよい。
識別処理部47は、識別期間において、培地M上の各点の入力情報を基に特徴抽出部51が生成した検査点xj(GMMの場合)、或いは、検査点xjを写像部52により写像して得られる写像点ψ(xj)(SVMの場合)が、クラスに属するか否かを判定する。そして、識別処理部47は、その判定結果に基づき検査点xjが培地点であるか、或いは微生物点であるかを識別する。さらに、識別処理部47は、微生物点であると識別された点(画素)が連続して存在する閉領域を抽出する。そして、識別処理部47は、種々の判定条件に照らしてその閉領域が微生物のコロニーであるかどうかを識別する。このような識別処理を行うために、識別処理部47は、識別制御部61、培地領域分割部62、最外周検出部63、判別部64、ラベリング処理部65及びコロニー検出部66を備えている。識別処理部47及びトレーニング済み(学習済み)の分類器45により、識別部が構成されている。なお、検査点xjは、実際は領域を有しており検査領域の一例に相当する。
識別制御部61は、識別処理を行う際に、分類器45及び各部62〜66に対し指示を与える。培地領域分割部62は、最外周検出「あり」の設定の場合に起動される。この場合、培地領域分割部62は、図7(b)に示すように、画像中の培地領域MAを、中央部のメイン領域A1(内側領域)と最外周局所領域A2(周縁領域)とに分割する。メイン領域A1と最外周局所領域A2とが部分的に重なっていてもよい。
計時部41aの計時時間がトレーニング期間中にあるとき、制御部41は、トレーニング処理部46を起動させて、分類器45のトレーニングを行う。計時時間が識別期間(検査期間)に入ると、制御部41は、識別処理部47を起動させ、トレーニング済みの分類器45を用いて検査を行う。
本実施形態では、分類器45を用いた微生物の検出処理がメイン領域A1に対して行われる。分類器45の特徴抽出処理は、特徴抽出部51が、トレーニングのときと同様のアルゴリズムに従って行う。すなわち、カメラ24からの画像データ中のメイン領域A1における全画素の入力情報が、入力情報生成部43から分類器45へと1画素分ずつ順次入力される。特徴抽出部51は、入力情報を基にアルゴリズムに従って特徴ベクトルxj(検査点)を生成する。分類器45がSVMである場合、写像部52は、特徴ベクトルで規定される検査点xjを高次元特徴空間へと写像して高次元特徴ベクトルψ(xj)を生成する。そして、分類器45内の判定部54は、特徴ベクトルで規定される点xj又は点ψ(xj)が、トレーニングで分類器45が分類したクラスC(本例では培地のクラスC1)に属するか否かを判定し、その判定結果に基づいてその検査点xjが培地点であるか、或いは微生物点であるかを判定する。
図6は、分類器がSVMである場合の例であり、判定部54による判定方法を説明するグラフである。判定部54は、図6(a)に示すように、高次元特徴空間へ写像された点ψ(xj)(jは、j=1,2,…)が培地のクラスC1に属する場合、検査点xjを培地点と判定する。一方、図6(b)に示すように、点ψ(xj)が培地のクラスC1に属さない場合、判定部54は、検査点xjを微生物点と判定する。この段階では、微生物点がノイズである可能性もある。
図2に示す最外周検出部63は、最外周局所領域A2における微生物検出を、メイン領域A1とは異なる別の方法を用いて行う。これは、培地領域MAの最外周付近の環状領域が、例えば、シャーレ35の側壁部で屈折した光や側壁部の影が培地Mの色に影響を与える領域であるためである。そのため、最外周検出部63は、最外周局所領域A2内で色の異なる領域の境界(色エッジ)を検出する色エッジ検出を行う。そして、最外周検出部63は、色エッジにより囲まれた領域にモフォロジー処理を施して形状を特定したものをコロニー候補とする。
図2に示す判別部64は、判別「あり」の設定の場合に起動される。判別部64は、形状判別、色判別、位置判別を行って、メイン領域A1で検出された微生物点が連続して存在する閉領域として決定される検出物(コロニー候補)及び最外周局所領域A2で検出された検出物(コロニー候補)の中からノイズN以外のコロニーを判別する。形状判別では、特徴抽出などにより取得した検出物の面積、円形度、凸度、最小外接円などの特徴が、予め設定された又は学習したコロニーの形状条件を満たしているがどうかが判別される。判別部64は、検出部のうち上記の形状条件を満たしているものを、コロニーとして判別する。また、色判別では、検出物と培地領域の特定の色度合いをそれぞれ計算し、両者の色度合いの差が予め設定した閾値以上であるかどうかが判別される。判別部64は、色度合いの差が閾値以上である場合、その検出物をコロニーとして判別する。色判別は、検出物に対して1画素分ずつ行う。位置判別では、トレーニングステップで収集したノイズデータに基づくノイズの位置と検出物の位置とを比較してコロニーが判別される。位置判別で検出物がノイズと重なるために判別できない場合は、検出物の面積及び色濃淡値を用いて位置判別が行われる。
ラベリング処理部65は、メイン領域A1及び最外周局所領域A2内でコロニーであると検出又は判別した検出物にラベルを貼るラベリング処理を行う。このとき、ノイズNではないと検出又は判別された検出物にはラベルが貼られるが、ノイズNであると検出又は判別された検出物にはラベルが貼られない。
コロニー検出部66は、ラベリングされた検出物の面積が予め設定された面積条件を満たすかどうかを判定し、面積条件を満たす検出物をコロニーとして検出する。例えば、検出物の面積Sdが、下限Slowerと上限Supperとを用いて規定される面積条件Slower≦Sd≦Supperを満たせば、その検出物はコロニーとして検出される。面積条件として、下限だけ又は上限だけを設定してもよい。
制御部41は、識別処理部47から取得したコロニー検出結果をモニタ33に表示する。コロニーが検出されなければ、検出コロニー個数の表示は「0」のままである。コロニーが検出されれば、検出されたコロニーの個数が表示される。それとともに、図7(d)に示すように、モニタ33に表示される培地Mの画像には、検出されたコロニーを囲むマーク70が重畳表示される。
トレーニング期間を終えると、検証処理部48は、トレーニング期間T1の終了後の識別期間T2において、識別処理部47による識別処理が行われる所定間隔(例えば1時間)毎にコロニー検出精度の検証処理を行う。菌個数が既知のサンプル画像からコロニーを、識別処理に使用する運用中の検査対象画像に組み込む画像合成処理を行って検証画像を作成し、その検証画像に対して識別処理と同様の作業を行う。コロニーのサンプルの画像の作成方法、微生物検査装置19(検出処理装置40)のコロニー検出精度の検証方法は後述する。検証処理部48は、メモリ42に記憶されたサンプル画像を読み出して取得する。ここで、サンプル画像とは、コロニーを撮影した撮影画像であったり、人工的に描画により作成された画像であったりする。検証処理部48は、補正処理部71、サンプル情報取得部72、画像合成部73、サンプル検出部74及び検証部75を備えている。
図8に示すように、トレーニング期間T1(図8(a)〜(b))は、コロニーCLが発生しない良品期間である。この期間は、検査対象の試料Sの培地Mの画像を用いて分類器45のトレーニングが行われる。図8の例では、0〜5時間の期間がトレーニング期間T1になっている。トレーニング期間T1終了後の次の識別期間T2では、試料Sの検査画像INに対してコロニーを識別して検出する識別処理が行われる。検証の実施が設定されているときは、識別期間T2が検証期間T3ともなり、識別処理と共に検証処理が行われる。検証処理部48によって、サンプルの一例としてのサンプルコロニーCLs(ダミーコロニー)の画像を、トレーニング期間T1中にカメラ24で撮影して取得した試料Sの培地を含むカラー画像からなるカメラ画像(検査画像)に組み込む画像合成処理を行って、検証に使用する検証画像IV(図9(e)参照)を作成する。そして、検証処理部48は、検証画像IVを用いて、検出処理装置40のコロニー検出精度を検証する検証処理を行う。
図8(c)〜図8(h)が検証画像IVである。図8(c)に示す6時間目の検証画像IVには、まだコロニーが発生していない。図8(d)に示す8時間の検証画像IVからサンプルコロニーCLsが発生しているが、まだサンプルコロニーCLsは小さい。以後、図8(e)〜図8(g)に示す12時間、13時間、14時間の検証画像IVでは、サンプルコロニーCLsが徐々に成長している。そして、図8(h)に示す18時間の検証画像IVは、サンプルコロニーCLsの成長速度が鈍化しており、14時間のものとさほど変わらない。このような図8(c)〜(h)の検証画像IVを用いて、検証処理部48による検証処理が行われる。
図2に示す検証処理部48は、日常自動で微生物コロニーの検査を行う検査装置19の運用中に、通常の識別処理の後にそのときの試料Sの培養時間と同じ時間のサンプル画像をメモリ42から読み込み、その読み込んだサンプル画像を用いて作成した各時間の検証画像IVを用いてコロニーの検出処理を実施する。
この検証処理に使用される検証画像IVは、図9に示すように、以下のように作成される。例えばP時間目(P>J)に、トレーニング期間T1(0〜J時間)内に撮影された検査画像IN(カメラ画像)を使用して行う検証処理について説明する。日常の検査でトレーニング期間T1(例えばJ時間目)に撮影された検査画像IN(図9(a))を用いる。次にメモリ42からP時間目のサンプル画像ISを読み込んで取得する。前述のように、本実施形態のサンプル画像ISは、微生物検査システム11(微生物検査装置19)の工場導入時にテストのため、培地に菌を付けたテスト試料Sを用意し、そのテスト試料Sを撮影した画像を使用する。培養期間のうち良品期間(0〜J時間目)以外の期間、つまり(J+1)時間目(例えば6時間)から(J+K)時間目(例えば18時間)までの識別期間T2のK枚のサンプル画像ISが予めメモリ42に記憶されている。
図2に示す補正処理部71は、カメラ画像Icの明るさ、色合いでサンプル画像ISを補正する。例えばサンプル画像ISの培地の明るさ及び色合いを、カメラ画像である検査画像INの培地の明るさ及び色合いに合わせる補正処理を行う。つまり、補正処理部71は、補正処理として明度補正処理と色補正処理とを行う。このような明るさや色合いを補正する理由は、サンプルコロニー(ダミーコロニー)の色はそれ自体の色ではなく、培地の色と合成した色で発色しており、培地の明るさや色合いに合わせる補正を行うことで、組み込み先の培地の色と合成されたときに発色する色に補正しておくためである。ここで、培地の明るさや色合いは、培地の種類や厚さに依存して変化する。また、カメラ24や光源28等の光学系の経年変化に起因する光学的特性変化によっても、カラー画像中のコロニーの発色の仕方等が異なる。このため、サンプル画像ISの培地の明るさ及び色合いを検査画像INに合わせる補正処理をサンプル画像ISの全体に施すことで、サンプルコロニーも一緒に補正する。こうして、培地の種類や厚さの影響、及び検査装置19の光学的特性も加味された明るさ及び色合いに補正されたサンプルコロニーCLsを含む補正画像IR(図9(c))が作成される。なお、本実施形態では、サンプルコロニーの組み込み先のベース画像として使用するカメラ画像として、トレーニング期間T1の検査画像INを用いる。この検査画像INには、例えばトレーニング期間T1中の最後に撮影されたJ時間目(本例では5時間目)のカメラ画像を使用する。
サンプル情報取得部72は、図9(c)に示す補正画像IRから、図9(d)に示すようなサンプルコロニーCLsの形状情報、色情報及び位置情報等のサンプル情報を取得する。
画像合成部73は、サンプル情報取得部72が取得した形状情報、色情報及び位置情報等のサンプル情報に基づき、検査画像IN(図9(a))におけるシャーレ35中の培地Mの領域に、形状情報から決まる形状かつ色情報から決まる色のサンプルコロニーCLsを、位置情報に基づく位置に組み込む画像合成を行う。画像合成部73は、この画像合成によって検査装置19の機能を確認する検証に使用する検証画像IV(図9(e))を作成する。
サンプル検出部74は、サンプルコロニーCLsを組み込んだ検証画像IVに対して、識別処理部47と同様の処理を検出処理として行う。すなわち、識別処理部47は検査対象の検査画像INに対して識別処理を行うのに対して、サンプル検出部74は、検証画像IVに対して識別処理と同様の処理を検出処理として行う。サンプル検出部74は、識別処理部47が備える各部61〜66と同様の機能を有する、識別制御部、培地領域分割部、最外周検出部、判別部、ラベリング処理部及びコロニー検出部(いずれも図示略)を備えている。なお、サンプル検出部74は、識別処理部47の各部61〜66のうちの一部又は全部を利用する構成でもよい。
検証部75は、サンプル検出部74で検出された検出コロニー数と既知のサンプルコロニー数との比較結果に基づいて、検査装置19の検出精度を検証する。このとき、コロニー検出位置とサンプルコロニーCLsの組込み位置とを比較し、検出されたコロニーがノイズではなくサンプルコロニーCLsであるかどうかも検証される。例えばサンプルコロニーCLsの全てがコロニーとして検出されれば、検査装置19の検出精度を合格とし、サンプルコロニーCLsの1つでも検出されなければ不合格とする。また、サンプルコロニーCKs以外の例えばノイズNをコロニーとして検出した場合も、不合格とする。そして、検証部75は、その検証結果をモニタ33に出力するとともに、不合格である場合はさらに警告音や警告灯等により作業者にその旨を知らせる。
次に、コンピュータ38の微生物検出処理について図11〜図13に示すフローチャートを参照して説明する。微生物検出処理は、ソフトウェアにより、図2に示す検出処理装置40によって行われる。
図11に示すように、まずステップS10では、作業者は、培養開始前に入力操作部32を操作して、ノイズ収集の有無、閾値設定用距離、最外周検出の有無、判別の有無、面積条件など設定値を、パーソナルコンピュータ26に入力する。入力された各種の設定値は、メモリ42に記憶される。そして、作業者が入力操作部32を用いて検査開始操作を行うと、コンピュータ38(検出処理装置40)により微生物検出処理が開始される。
ステップS10では、コンピュータ38は、メモリ42から、ノイズ収集の有無、閾値設定用距離、最外周検出の有無、判別の有無、面積条件、検証実施の有無などの設定値を読み出す。
ステップS20では、コンピュータ38は、トレーニング期間T1において、カメラ24が撮影した培地Mの画像を用いて、分類器45に培地の少なくとも色を学習させる。ステップS20のトレーニング処理がトレーニングステップの一例に相当する。このトレーニング期間T1では、検査開始時(0時間目)にカメラ24で試料Sを撮影し、その後、1時間毎に試料Sを取り出して検査装置19にセットするとともにカメラ24でその試料Sを撮影して試料Sのカラー画像を取得する。そして、1時間毎の培地領域の少なくとも一部の領域(本例ではトレーニング局所領域)のカラー画像を使って分類器45をトレーニングする。トレーニング期間T1における1時間毎のカラー画像のデータはメモリ42に記憶される。こうして0時間目〜J時間目までの培地のカラー画像を用いてカラー画像中の一部の領域内の各点の少なくとも色情報を分類器45に入力することで、カラー画像中の培地の色で分類器45をトレーニングする。
ステップS30では、コンピュータ38は、識別期間において、培地領域における微生物コロニーの有無を識別する識別処理を行う。ステップS30の識別処理が識別ステップの一例に相当する。
次のステップS40〜S100の処理が、検査装置19のコロニー検出精度(検出機能)を検証する検証処理となる。以下、検証処理について説明する。
ステップS40では、検証を実施するか否かを判断する。検証を実施する場合はステップS50に進み、以下の検証のためのステップS50〜ステップS100の各処理を実行する。一方、検証を実施しない場合はステップS110に進んで、識別期間が終了したか否かを判断する。まだ識別期間が終了していなければ、つまり識別期間中であれば(S110で否定判定)、ステップS30に進み、識別期間が終了すれば(S110で肯定判定)当該ルーチンを終了する。
つまり、検証の実施が設定されていない場合は、ステップS110で識別期間が終了と判断されるまで、ステップS30の識別処理を設定時間(本例では1時間)毎に実施する。一方、検証の実施が設定されている場合は、設定時間(本例では1時間)毎に、ステップS30の識別処理と、ステップS50〜S100の検証のための各処理とを実行することになる。このように本実施形態では、検証を実施する場合、通常検査のトレーニング後に、トレーニングした分類器45を用いて、通常検査の識別処理を行うときに一緒に検証のための各処理を行う。検証を実施する場合(S40で肯定判定)、以下の処理が行われる。
まずステップS50では、サンプル画像を取得する。コンピュータ38は、メモリ42からそのときの検査対象の種類とそのときの時間に応じたサンプル画像ISを読み出す。メモリ42には、図8に示す検証画像IVを生成するためのトレーニング期間T1終了後のJ+1時間目からJ+P時間目までの合計P枚のサンプル画像ISが記憶されている。例えば今回がK時間目であれば、K時間目のサンプル画像ISをメモリ42から読み出す。例えば図9(b)に示すサンプル画像ISをメモリ42から読み出して取得する。
次のステップS60では、補正処理を行う。この補正処理では、サンプル画像ISの培地M1の明るさ及び色合いを、検査画像INの培地Mの明るさ及び色合いに合わせる処理を、培地領域の全体に施す。つまり、本例では、補正処理として明度補正処理と色補正処理とを行う。明度補正処理は、培地M中にノイズNが存在する場合は、ノイズNの領域を検出してこれを避けて培地のみの領域を取得し、その培地のみの領域の明度を取得する。次に、サンプル画像ISの培地M1のみの領域を取得し、その培地M1のみの領域の明度を、先に取得した培地Mの明度に合わせる明度補正をサンプル画像ISの少なくともサンプルコロニーCLsを含む領域(例えば画像全体又は培地領域全体)に施す。また、色補正処理は、例えばRGB別に行う。まず検査画像INの培地M中にノイズNが存在する場合は、ノイズNの領域を検出してこれを避けて培地のみの領域を取得し、その培地のみの領域のRGB値を取得する。そして、その培地のみの領域のRGBの色別の平均値を取得する。
次に、明度補正後のサンプル画像ISの培地M1のみの領域を取得し、その培地M1のみの領域のRGB値の色別の平均値を取得する。そして、培地M1のみの領域のRGB値の色別の平均値と、先に取得した培地MのRGBの色別の平均値との差分を取得する。さらに、その培地M1のみの領域のRGB値を、先に取得したRGB値の色別の平均値の差分に相当する分だけ、培地MのRGB値に近づける色補正処理をサンプル画像ISの少なくともサンプルコロニーCLsを含む領域(例えば画像全体又は培地領域全体)に施す。
この補正処理をサンプル画像ISに施すことにより、図9(c)に示す補正画像IRが得られる。この補正画像IRでは培地M2の色合い及び明るさが、検査画像INの培地Mの色合い及び明るさと同じになることで、サンプルコロニーCLsは、それ自体の色に検査画像IN中の培地Mの色の影響を受けた色になる。つまり、サンプルコロニーCLsの色が、サンプル画像ISの培地M1の色の影響を受けた色から、検査画像INの培地Mの色の影響を受けた色になる。こうして補正処理により補正画像IRが取得される。
ステップS70では、サンプル情報を取得する。つまり、コンピュータ38は、補正画像IRからサンプルコロニーCLsの形状情報、色情報及び位置情報を取得する。
ステップS80では、サンプルの画像合成処理を行う。すなわち、コンピュータ38は、サンプルコロニーCLsの形状情報及び色情報に基づくサンプルコロニーCLsを、検査画像INに対して位置情報に基づく位置に組み込む画像合成処理を行う。この処理により検査画像INの培地M中の位置情報に基づく各位置に、複数のサンプルコロニーCLsがそれぞれ形状情報に基づく形状かつ色情報に基づく色で組み込まれることにより、検証画像IVが生成される。このとき、サンプルコロニーCLsの色は組込み先の培地Mの色との合成色にはならず、補正画像IRのときのサンプルコロニーCLsと同じ色になる。
ここで、図9の例では、サンプルコロニーCLsをサンプル画像ISの培地M1における元の位置と同じ位置に組み込む例としたが、ステップS70で位置情報は取得せず、ステップS80で、培地Mにおける予め決められた位置にサンプルコロニーCLsを組み込んでもよい。なお、ステップS50〜S80の各処理により、画像合成ステップの一例が構成される。
ステップS90では、サンプル検出処理を行う。つまり、コンピュータ38は、検証画像IVに対して、検査画像INに対して行われる識別処理(S30)と同様の処理を検出処理として行う。このため、コンピュータ38は、分類器45を用いて検証画像IVに対して識別処理を行う。この結果、分類器45が適正に設定されたものであれば、サンプルコロニーCLsの全てがコロニーとして検出(識別)される。なお、S90のサンプル検出処理が、検出ステップの一例に相当する。
ステップS100では、検証処理を行う。時間毎のサンプルコロニーCLsの数は既知でメモリ42に記憶されている。コンピュータ38は、メモリ42から今回の時間に対応するサンプルコロニーCLsの数を読み出し、そのサンプルコロニーCLsの数とコロニー検出数との比較結果に基づいて検証する。例えばサンプルコロニーCLsの数とコロニー検出数とが一致した場合は、検査装置19の検出精度が合格であると判定され、一方、サンプルコロニーCLsの数とコロニー検出数とが不一致の場合は、検査装置19の検出精度が不合格であると判定される。このとき、コンピュータ38は、検出コロニーの位置情報とサンプルコロニーCLsの位置情報とに基づいて、その検出コロニーがサンプルコロニーCLsであるかどうか、検出コロニーの中にサンプルコロニーCLs以外のノイズが含まれていないかどうかを判定する。また、コンピュータ38は、サンプルコロニー数に対する検出コロニー数の割合(%)を時間別に計算する。さらに、検証の結果が不合格であるときなど、検出できなかったサンプルコロニーCLsを検出できるようにするための適正な設定値又はその設定範囲、及びノイズをコロニーとして検出しないようにする適切な設定値又はその設定範囲などを含む適切な設定条件(判定条件)を解析する。そして、コンピュータ38は、これらの検証結果及び設定条件の解析結果をモニタ33に出力する。このとき、識別処理の結果として表示される図7(d)に示す試料Sの画像と同様に、モニタ33に図9(e)に示す検証画像IVが表示され、図7(d)におけるコロニーCLに付されたものと同様のマーク70が、検証画像IV中のサンプルコロニーCLsに付される。この結果、作業者はモニタ33の検証結果の画面を見ることで、どのようなサンプルコロニーCLsがコロニーとして検出されず、どのようなノイズNがコロニーとして誤検出されたかを視覚的に確認できる。また、コンピュータ38は、解析した設定条件(検出用判定条件)を検査装置19に設定することもできる。例えば解析結果から得られた各種の閾値や、コロニー識別条件(面積条件又は径の条件)、設定データの1つである閾値設定用距離ΔLなどを含む設定条件が適切な値に変更される。
図10(a),(b)は、検証期間T3における検証結果の一例を示す。これらのグラフでは、横軸が経過時間(hr)で縦軸がコロニー数(個)である。各グラフにおいて黒三角マークがサンプル菌数(サンプルコロニー数)を示し、白抜きの四角マークが検出菌数(検出コロニー数)である。図10に示すように、トレーニング期間T1はコロニーが発生しない良品期間であり、この期間で培地の画像を用いて分類器45のトレーニングが行われる。つまり、0時間目〜5時間目では、分類器45が培地を学習する。こうして通常検査のトレーニング期間T1で試料Sの培地が学習される。そして、検証期間T3(本例では識別期間T2でもある)では、トレーニングされた分類器45を用いて、1時間毎に検証処理を行う。このように本実施形態では、通常検査の運用中に検証処理を行う。これらのグラフでは、検証期間の全ての時間でサンプル菌数と検出菌数が100%で一致しており、検査装置19の検証結果は合格となる。一方、この中の1つの時間でも、サンプル菌数当たりの検出菌数の割合が100%でなかった場合は、不合格となる。但し、合否の決め方は作業者側の必要性に応じて適宜変更できる。
次に、図12及び図13を参照して、トレーニング処理及び識別処理の詳細について説明する。なお、図11におけるサンプル検出処理(検出ステップの一例)は、以下のトレーニング処理でトレーニングされた分類器45を用いて、検証画像IVに対して以下の識別処理と同様の処理を行う処理である。つまり、以下の識別処理の説明は、検査対象を試料Sのカラー画像から検証画像IVに替えれば、サンプル検出処理の説明となる。
コンピュータ38は、S20のトレーニング処理で図12に示すトレーニング処理ルーチン、S30の識別処理で図13に示す識別処理ルーチンをそれぞれ実行する。以下、トレーニング処理及び識別処理の詳細を、図12及び図13の各フローチャートに従ってそれぞれ説明する。まず、トレーニング処理部46により、カメラ24により撮影された画像データを基づき、入力情報生成部43及び分類器45を用いて、トレーニング処理が行われる。
図12におけるステップS210では、検査対象の培地Mが収容されたシャーレ35が、カメラ24により、1〜10回の範囲内の所定回数、例えば5回撮影される。
ステップS220では、撮影した画像データに基づいて、画像中の培地領域MAが検出される(図7(a)参照)。
ステップS230では、培地領域MA中に、トレーニング局所領域TAが設定される(図7(a)参照)。例えば、培地領域MA内でノイズNを探索し、ノイズNを含まない領域が、トレーニング局所領域TAとして設定される。
ステップS240では、トレーニング局所領域TAを対象に、学習アルゴリズムを用いて、分類器45のトレーニングが行われる。詳しくは、図2に示す入力情報生成部43が、トレーニング局所領域TA内の1画素ずつの色情報を含む入力情報を生成する。そして、入力情報生成部43は、入力情報を学習情報として分類器45に順次出力する。分類器45内の特徴抽出部51は、入力情報を基に、アルゴリズムに従って特徴ベクトルx1を生成する。分類器45がSVMである場合、図6に示すように、特徴ベクトルで規定される培地点x1が、写像部52により高次元特徴空間へと順次写像される。こうして、写像先の高次元特徴ベクトルで規定される点群ψ(x1)が得られる。点群ψ(x1)から外側へ閾値設定用距離ΔLだけ離れた位置に、超平面のかたちで閾値が設定される。この超平面により高次元特徴空間が線形分離されて、培地のクラスC1が色分類される。
ステップS250では、ノイズ収集の有無が判断される。ノイズ収集「あり」の設定であればステップS260に進み、ノイズ収集「なし」の設定であればステップS270に進む。
ステップS260では、ノイズデータが収集される。ノイズ収集部58は、培地領域MA内で色エッジを検出し、色エッジから培地Mと色相の異なる領域をノイズNとして検出する。ノイズ収集部58は、検出したノイズNの位置を計算してその位置情報を少なくとも含むノイズデータを生成し、メモリ42に記憶させる。
ステップS270では、追加トレーニングの有無が判断される。ここで、トレーニング期間中、トレーニングを何回でも行うことができ、追加トレーニングにより学習データを追加することができる。学習データ追加許容期間(所定時間)として、微生物群(コロニー)の生成時間より短い値であれば適宜な値を設定してもよい。追加トレーニングがあれば、S210に戻り、学習サンプリング間隔をおいた次の実施時期に、試料Sが再び検査台23に搬送される。そして、カメラ24が撮影した試料Sの画像データを用いて、S210〜S270の処理が同様に行われる。追加トレーニングがなければ、トレーニング処理ルーチンは終了する。
トレーニング処理は、培養開始(時刻0)から所定時間(例えば5時間)経過するまでのトレーニング期間に、学習サンプリング間隔(例えば30分又は1時間)毎に行われる。このトレーニングによって、分類器45は、培地のクラスC1を分類する。このため、例えば、トレーニング期間中に培地Mの色の変化が学習される。それと共に、飲料液中に含まれる乳化鉄等の金属成分が酸化して発生した析出物(酸化鉄等)に関するデータも、ノイズNとして収集される。
計時部41aの計時時間が所定時間(例えば5時間)を経過すると、トレーニング期間から識別期間へと移行する。そして、コンピュータ38は、図13に示す識別処理ルーチンを開始する。ここでは、識別処理部47により、入力情報生成部43及び分類器45を用いて、識別処理が行われる。
図13に示すように、まず、ステップS310では、検査対象の培地Mを収容したシャーレ35が、カメラ24により、トレーニングのときと同じ回数だけ撮影される。
次のステップS320では、撮影した画像データに基づいて、培地領域MAが検出される。
ステップS330では、培地領域MA中に、メイン領域A1と最外周局所領域A2とが設定される。
ステップS340では、LUT(ルックアップテーブル)による輝度変換が行われる。輝度変換では、コントラスト調整及びガンマ補正などが行われる。
次のステップS350では、メイン領域A1を対象に、分類器45により学習アルゴリズムを用いて微生物点が検出される。詳しくは、図2に示す入力情報生成部43が、メイン領域A1内の1画素ずつの色情報を含む入力情報を生成し、分類器45へと順次出力する。分類器45内において、特徴抽出部51は、入力情報を基に、特徴ベクトルxj(但し、j=1,2,…)(検査点)を生成する。分類器45がSVMである場合、図5に示す特徴ベクトルで規定される検査点xjが、写像部52により高次元特徴空間へと順次写像される。こうして、高次元特徴ベクトルで規定される写像点ψ(xj)(図6を参照)が得られる。図6(a)に示すように写像点ψ(xj)が培地のクラスC1に属する場合は、検査点xjは培地点であると判定(識別)される。一方、図6(b)に示すように写像点ψ(xj)が培地のクラスC1に属さない場合、検査点xjは微生物点であると判定(識別)される。図7(c)に示すように、識別ステップへ移行後に例えば3〜5時間経過すると、コロニーCLが発生することがある。この場合、コロニーCL中の画素の入力情報に基づく検査点xjを写像して得られた点ψ(xj)(但しSVMの場合)は、図6(b)に示すように培地のクラスC1に属することはなく、微生物点として検出される。このような検出処理は、メイン領域A1の全画素について行われる。
ステップS360では、最外周検出の有無が判断される。最外周検出「あり」の設定であればステップS370に進み、最外周検出「なし」の設定であればステップS390に進む。
ステップS370では、最外周局所領域A2内で色エッジを検出して、培地との色相の違いからコロニー領域が検出される。コロニー領域は、ノイズ領域である可能性もある検出物(コロニー候補)の領域である。
続くステップS380では、領域モフォロジー処理を行って、検出物の形状を、例えば、円形状や楕円形状に適正化する。
ステップS390では、判別処理の有無が判断される。判別処理「あり」の設定の場合はステップS400に進み、判別処理「なし」の設定の場合はステップS410に進む。
ステップS400では、形状、色、位置から検出物が判別される。メイン領域A1と最外周局所領域A2の各検出結果が統合される。そして、統合して得られた結果について、まず、微生物点が連続して存在する閉領域について特徴抽出を行い、検出物(コロニー候補)が検出される。形状判別では、まず、検出物の面積、円形度、凸度、最小外接円などが演算される。そして、特徴抽出されたこれらの特徴量がコロニーの形状条件を満たしている検出物についてはコロニー候補であると判別される。色判別では、まず、検出物と培地領域の特定の色度合いをそれぞれ計算する。そして、両者の色度合いの差が予め設定した閾値以上になった検出物についてはコロニー候補であると判別される。位置判別では、まず、メモリ42から読み出したノイズデータから決まるノイズの位置と、演算した検出物の位置とが比較される。そして、ノイズと位置が重ならない検出物についてはコロニー候補であると判別される。位置判別で検出物がノイズと重なるために判別できない場合は、検出物の面積及び色濃淡値を用いて判別される。こうして、判別ステップにより、検出物のうちノイズN等はコロニーとして判別されず、検出物(コロニー候補)はさらに絞り込まれる。
ステップS410では、検出又は判別後の検出物にラベリングが付される。つまり、メイン領域A1及び最外周局所領域A2の各検出結果を統合し、培地領域MAの全域に亘り検出又は判別された全ての検出物にラベリングが付される。このとき、S400の判別処理を行った場合、判別処理でノイズであると判別された検出物についてはラベリングの対象から除外される。
ステップS420では、面積条件に基づき検出物がコロニーであるか否かが判定される。コロニー検出部66は、ラベリングされた検出物の面積がメモリ42から読み出した面積条件を満たすか否かを調べる。検出物の面積Sdが面積条件Slower≦Sd≦Supperを満たした場合、検出物はコロニーCLであると判定される。
ステップS430では、コロニー検出結果がモニタ33に表示されると共に、コロニー検出結果に応じた制御信号が出力される。即ち、識別処理部47から受け付けたコロニー検出結果が検出数「0」であれば、制御部41は、検出コロニー個数「0」である旨をモニタ33に表示する。一方、コロニー検出結果が検出数「N」(N≧1)であれば、制御部41は、検出コロニー個数「N」をモニタ33に表示すると共に、モニタ33に表示された試料Sの画像中に、図7(d)に示すように、検出されたコロニーCLを囲むようにマーク70を重畳表示させる。このようなマーク70の表示によって、恒温室13の室外でモニタ33を見ている作業者は、検査中の試料Sで発生したコロニーの発生状況を容易に把握することができる。また、制御部41から出力された制御信号がコントローラ25へと送られる。コロニー検出数「N」(N≧1)の場合、コロニーが検出された時点で検査は中止されて、制御部41は、コントローラ25に対し、試料Sを搬出する旨の制御信号を出力する。この結果、コントローラ25は、搬送ロボット20を制御して、不良品と判別された試料Sを取出棚17へ搬送すると共に、コンベア17aを駆動してその試料Sを室外へと搬出する。一方、コロニー検出結果が検出数「0」の場合、試料Sは収納棚18に戻される。培養期間を終了してもコロニーが検出されなかった試料Sは、搬送ロボット20により良品用の取出棚16へ運ばれ、コンベア16aにより室外へと搬出される。
従来、培養期間の終了時点で検査を行いコロニーが1個でも検出された場合、飲料品の生産をロット毎中止しなければならなかった。本実施形態の検査装置19によれば、培養期間の途中でもコロニーを検出でき、コロニーを検出した時点で、早期に飲料品の生産を中止することができる。よって、飲料品の不良品数を極力少なく抑えられる。
以上詳述したようにこの第1実施形態によれば、以下の効果が得られる。
(1)サンプル画像IS中のサンプルコロニーCLsをトレーニング期間T1中の検査画像INに組み込む画像合成処理を行うことで検証画像IVを作成した。そして、検証画像IVを用いてコロニーを検出する検出処理を行い、その検出結果に基づいて検査装置19の検出精度を検証する。このように通常検査のトレーニング期間T1中にカメラ24が試料Sを撮影した検査画像IN中の培地にサンプルコロニーCLsを組み込むので、検査装置19の検出精度を高い精度で検証することができる。つまり、実際にトレーニングに使用したカラー画像を用いて検証画像IVを作成するため、実際の測定条件(設定条件)を反映した検証を行うことができ、高い検出精度を維持することができる。
(2)コロニーの経時変化を特定可能な情報の一つである色情報(色特徴量)をパラメータ情報の一例として用い、培地領域の色情報(色特徴量)がトレーニング済みである分類器45に検証画像IVの色特徴量を入力してコロニーの検出処理を行う。このため、サンプルコロニーCLsの検出結果に基づいて検査装置19の検出精度を高い精度で検証することができる。
(3)画像合成ステップ(S80)では、サンプルの画像として組み込まれたサンプルコロニーCLsが経時的に変化している複数の検証画像IVを作成する(図8(d)〜(h))。サンプルコロニーCLsが経時的に変化している複数の検証画像IVを用いて分類器45によってコロニーの検出処理が行われる。よって、検証画像IV間におけるサンプルコロニーCLsの色特徴量(パラメータ情報の一例)の経時変化から分類器45が、コロニーを一層高い精度で検出でき、ひいては検査装置19の検出精度を一層高い精度で検証することができる。
(4)トレーニングに使用する試料Sの培地の色合いは、試料の種類毎に異なるうえ、同種の試料でも培地の厚さなどによって異なるため、試料Sにコロニーが発生した場合のコロニーCLの色合いと、サンプル画像ISのコロニーCL1の色合いとが異なる。そこで、サンプル画像ISの培地M1の色合いを検査画像INの培地Mの色合いに合わせる補正処理(色補正処理)をサンプル画像ISに施して、サンプルコロニーCLsの色合いを試料Sの培地Mに発生した場合を想定した色合いに補正した。このため、サンプル画像ISと検査画像INとで培地の色合いが異なっていても、補正処理により、培地の色が異なることにより培地の色の影響を受けたコロニーを検出できなくなる不都合を回避できる。よって、日常検査で使用する試料Sとサンプル画像ISとで培地の色合いが異なっても、検査装置19の検出精度を正しく検証することができる。
(5)トレーニングに使用する試料Sの培地の明るさは、試料の種類毎に異なるうえ、同種の試料でも培地の厚さなどによって異なるため、試料Sの培地Mに発生した場合のコロニーCLの色合いと、サンプル画像ISのコロニーCL1の色合いとが異なる。そこで、サンプル画像ISの培地M1の明るさを検査画像INの培地Mの明るさに合わせる補正処理(明度補正処理)をサンプル画像ISに施して、サンプルコロニーCLsの明るさを試料Sの培地Mに発生した場合を想定した明るさに補正した。このため、サンプル画像ISと検査画像INとで培地の明るさが異なっていても、補正処理により、培地の明るさが異なることにより培地の明るさの影響を受けたコロニーを検出できなくなる不都合を回避できる。よって、日常検査で使用する試料Sとサンプル画像ISとで培地の明るさが異なっても、検査装置19の検出精度を正しく検証することができる。特に、本実施形態では、サンプル画像ISに培地M1の明るさと色合いとの両方を補正する補正処理(明度補正処理と色補正処理)を施すので、日常検査で使用する試料Sとサンプル画像ISとで培地の明るさ及び色合いが異なっても、検査装置19の検出精度を一層正しく検証することができる。
(6)トレーニング期間T1の画像にサンプルコロニーCLsの画像を組み込んで検証画像IVを生成する。サンプルは、例えば検査装置19の工場導入時に行ったテスト運行で時間毎にカメラ24で撮影したカラー画像であって、識別期間T2のどこかでコロニーが発生した画像を少なくとも一枚含むカラー画像を利用する。このため、特に検証用の専用サンプルを用意しなくて済むうえ、その検査装置19自体で撮影した画像データを用いるので、他の検査装置で撮影されたカラー画像や人工的に作成したサンプルコロニーのカラー画像を用いる場合に比べ、その検査装置19の検証精度を高くできる。
(7)検証処理は、通常の検査のときの識別処理と一緒に行うことができる。試料Sの培地領域のパラメータ情報が分類器でトレーニングされるので、識別処理とは別に検証処理だけを行う構成とした場合に比べ、検証処理に要する時間を短く済ませられる。検査装置19における単位時間当たりの日常検査の処理件数を、検証用検査の追加のために減る量を少なく済ませられる。
(8)検証ステップでは、検出ステップで検出されなかったサンプルコロニーCLsが存在する場合、コンピュータ38はサンプルコロニーCLsを検出可能な設定条件を解析し、その解析した設定条件を出力又は検査装置19に設定する。例えば作業者は、表示、印刷あるいは音声等により設定条件が出力された場合、その設定条件を検査装置19に設定する操作をすればよい。一方、検証ステップで設定条件を検査装置19に設定する場合、その設定はコンピュータ38が行うので、作業者は例えばコンピュータ38からの設定条件変更の問合せに対してその変更内容を確認して許可する操作を行う程度で済み、設定条件を入力し直して設定する面倒な操作を特にする必要がない。いずれの場合も、不合格の検証結果の場合に、適切な設定条件を見つけるためにトライアンドエラーすることなく適切な設定条件を設定できる。
(9)果皮などのノイズN(異物)が混ざった検査対象物の場合、検出ステップ(S90)中の判別ステップ(S400)において、形状判別、色判別、位置判別により、検出物のうちコロニーとノイズとが判別される。検証処理時には、コロニーと同系色の果皮や果肉等のノイズNがあっても、検査装置19の検出精度を正しく検証することができる。
(10)サンプル菌数と検出菌数との比較結果に基づいて、検出精度が合格であるかどうかを検証する。一方、サンプル菌数と菌検出数とが一致しなければ、検出精度が低い旨の検証結果が得られる。モニタ33に表示されたシャーレ35にはサンプルコロニーCLsを囲むマーク70が重畳表示される。このため、検出精度が低い場合に検出したコロニーが視覚的に表示されるため、作業者は、コロニーの発生状況を容易に視認することができる。
(11)食品等の製造現場では、各工程における衛生状況の把握、商品の早期出荷が求められている。検査装置19の検出精度の検証時には、実際の検査対象物を撮影した画像を使用するので、検査終了後に改めて検証を行うことをしなくて済む。本実施形態の検査装置19を食品等の製造現場に採用すれば、迅速かつ精度よく検査装置19の検出精度を検証することができる。また、日常検査と同時並行で検証処理を行うので、検出精度が不合格の旨の場合に日常検査を早期に中断して、検査装置19を適切な検出精度が得られる設定値に変更したうえで、日常検査を早期にやり直すことができる。
前記実施形態は、上記に限定されず、以下のように変更してもよい。
・画像合成ステップでは、サンプルを組み込む位置はサンプル画像の培地と同じ位置であることに限定されない。例えば検証に適した位置があれば、複数のサンプルコロニー(ダミーコロニー)を、サンプル画像における培地中の位置とは異なる位置に配置してもよい。例えばシャーレの周縁部は内側領域に比べ、メニスカス等の要因により培地が例えば斜状に盛り上がり、培地の内側に比べコロニーの検出が相対的に困難である。このため、このような培地の周縁領域に少なくとも一つのサンプルコロニーを組み込むことが好ましい。例えば図14に示すように、検証画像IVの培地M1のメイン領域A1(内側領域)に複数のサンプルコロニーCLsを配置し、残りの複数のサンプルコロニーCLsを最外周局所領域A2(周縁領域)に配置する。換言すれば、N個(但しNは2以上の自然数)のサンプルコロニーCLsを所定の個数割合となるように二群に分け、第1群に属するM個のサンプルコロニーCLsを培地M1のメイン領域A1内に組み込む一方、第2群に属する(N−M)個のサンプルコロニーCLsを培地M1の最外周局所領域A2内に組み込む。また、培地の最外周局所領域A2に組み込む(N−M)個のサンプルコロニーCLsは、周方向にばらつかせた位置に配置し、例えば図14のように、周方向に等間隔となる位置に配置することが好ましい。サンプルコロニーCLsの位置は、培地M1の最外周局所領域A2内の径方向にもばらつかせることが好ましい。また、培地のメイン領域A1内のM個のサンプルコロニーCLsの位置も、メイン領域A1内でばらつかせることが好ましい。例えば培地のメイン領域A1内においてM個のサンプルコロニーCLsを周方向及び径方向にばらつかせた位置に配置することが好ましい。
・前記実施形態では、培養時間の異なる時刻毎に組み込むサンプルコロニーを、それぞれ培養時間に合ったコロニーとしたが、サンプルコロニーとして培養時間の異なるコロニーを混在させた状態で画像の培地領域内に組み込んでもよい。図15に示すように、例えば8時間の相対的に小さなサンプルコロニーCLs1と、14時間又は18時間の相対的に大きなサンプルコロニーCLs2とを混在させて培地領域内に組み込んでもよい。この場合も、図14におけるメイン領域A1と最外周局所領域A2に少なくとも大小1つずつのサンプルコロニーCLs1,CLs2を配置することが好ましい。
・サンプルは、サンプルコロニーに限定されない。例えば図16に示すように、サンプルは異物N(ノイズ)でもよい。ダミーの異物Nの画像を検査画像INの培地Mの領域内に組み込んだ検証画像IVを用いて検証を行ってもよい。ここで、異物としては、果皮、果肉、繊維等の経時変化しない異物N1、経時変化する泡N2などの異物を挙げることができる。例えば泡N2は、発生・成長し、経時変化するので、コロニーと誤検出される虞があるが、このような誤検出の虞のある異物Nの画像をサンプルとして培地Mの領域内に組み込んで、検証を行ってもよい。異物Nをサンプルとしてその画像を組み込む場合は図8(a),(b)に示す検査画像INにおける培地Mにダミーの異物の画像を組み込んだ検証画像を用いて分類器45のトレーニングを行う。この検証画像を生成するときには色補正と明度処理とのうち少なくとも一方、好ましくは両方を含む補正処理を行うことが好ましい。このトレーニングの結果、異物のクラスが分類される。そして、トレーニング後の検出ステップで、図8(a),(b)に示す検査画像INにおける培地にダミーの異物とサンプルコロニーとのうち少なくともダミーの異物の画像を組み込んで作成した検証画像IVに対して分類器45でコロニーの検出を行う。泡N2等のダミーの異物をコロニーと検出した場合やサンプルコロニーを異物と検出した場合は、検査装置19が適切に機能していないので不合格と検証できる。この場合、コンピュータ38は、ダミーの異物をコロニーと検出せしない設定条件とサンプルコロニーを異物と検出しなくなる設定条件とのうち少なくとも一方を解析し、その解析により取得した適切な設定条件を表示又は印刷等で出力するか、以後の検査に使用される設定条件として自動更新して検査装置19に設定する。この場合、事前にシミュレーションした更新後の設定条件でのコロニー検出結果画面(検出率含む)をモニタに表示し、検査員からの更新許可操作を受け付けると、その設定条件を更新することが好ましい。なお、サンプルコロニーCLsとダミーの異物Nの両方をサンプルとしてそれらの画像を図8(a),(b)に示す検査画像INにおける培地に組み込んで検出ステップを行うことが望ましい。
また、果肉等の異物N1が培地に混入されたシャーレ35の撮影時のセット位置の回転ずれに起因して異物をコロニーと誤検出してしまう場合、検査装置19が適切に機能していないので不合格と検証できる。この場合、コンピュータ38は、試料Sの回転ずれが原因であると判断し、試料Sのセット位置の位置精度を高くする設定条件として、例えばアーム20bやチャック部20cの試料のセット位置に影響する過程の動作速度の低速化、試料Sを撮影した画像中のコロニーや異物の検出時に許容する回転方向の位置ずれ量の拡大化などの設定条件を出力又は検査装置19に設定する。
・分類器45のトレーニングは、図17に示すように、培地及び微生物群(コロニー)の両方をトレーニングしてもよい。分類器45がSVMである場合の入力空間から高次元特徴空間への写像を説明する図17のグラフでは、入力空間に培地の入力点x1(培地点)とコロニーの入力点x2(微生物点)とが示されている。培地点x1を高次元特徴空間へ写像した特徴ベクトルで規定される培地点の点群ψ(x1)と、微生物の入力点x2を高次元特徴空間へ写像した特徴ベクトルで規定される微生物点の点群ψ(x2)とが、各々のサポートベクター(最接近点)からのマージンを最大化させる位置に設定した超平面により線形分離可能である。これにより、培地のクラスC1とコロニー(微生物)のクラスC2とが分類される。
・分類器45のトレーニングは、図18に示すように、培地と微生物群(コロニー)のうち微生物群だけをトレーニングしてもよい。分類器45がSVMである場合の入力空間から高次元特徴空間への写像を説明する図18のグラフでは、入力空間にコロニーの入力点x2(微生物点)が示されている。微生物点x2を高次元特徴空間へ写像した高次元特徴ベクトルで規定される微生物点の点群ψ(x2)が、点群ψ(x2)から外側へ閾値設定用距離ΔLだけ離れた超平面により線形分離されて、コロニーのクラスC2が分類される。分類するクラスが1つの場合、分類器45は、SVM及びGMMのうち少なくとも一方からなる。分類器45は、SVM、GMM及びMLPのうち少なくとも1つを採用することができる。
・前記実施形態では、コロニーの発生・成長と共に経時変化するパラメータ情報の一例として、色情報を用いたが、色情報、形状情報及び面積情報のうち少なくとも1つ(1種)を用いればよい。例えば形状情報のみをパラメータ情報として用いてもよいし、面積情報のみをパラメータ情報として用いてもよい。また、パラメータ情報として複数種の情報を用いてもよく、色情報と形状情報との組み合わせ、色情報と面積情報との組み合わせ、又は形状情報と面積情報との組み合わせでもよい。さらに色情報と形状情報と面積情報との組み合わせでもよい。形状情報の一例としては、例えば図17又は図18に示すようにコロニーでトレーニングする例で、円形度を挙げることができる。また、面積情報の一例としては、例えば図17又は図18に示すようにコロニーでトレーニングする例で、面積を挙げることができる。パラメータ情報として形状情報と面積情報のうち少なくとも一方を含む場合、検査点(検査領域)を、コロニー候補の領域である検査領域とし、検査領域の形状情報と面積情報とのうち少なくとも一方を分類器45に入力して、トレーニングステップ及び検証ステップを行えばよい。また、形状情報と面積情報に色情報を加えた3つの情報を含むパラメータ情報とする場合、検査領域の平均色を色情報として用いればよい。また、各検査点の色情報でトレーニングされた分類器と、コロニー候補の検査領域の形状情報と面積情報とのうち少なくとも一方でトレーニングされた分類器との複数の分類器を用いて、トレーニングステップ及び検証ステップを行ってもよい。
・検証処理は検査終了後にまとめて行うことができる。その場合、検査中に取得した検査時刻の異なる複数の検査画像をメモリ42に保存し、検査終了後にそれらの検査画像をメモリ42から読み出して使用する。また、検査員は、微生物検査装置19の入力操作部32を用いて検証指示操作を行うと、この指示を受け付けたCPUは、検証用プログラムを実行し、トレーニングステップ、画像合成ステップ、検出ステップ及び検証ステップを行う構成とする。
・前記実施形態では、P時間目の識別処理を行うときにP時間目の検出処理及び検証処理を行うことで、K回の検証を各時間(J+1〜J+K)毎に分けて行ったが、トレーニング処理の終了後の任意の時期に、K回の検証(検出処理及び検証処理)の演算をまとめて一度に行ってもよい。例えばK回分の検証の演算を、トレーニング期間T1の終了直後にまとめて一度に行ったり、識別期間T2の終了後にまとめて一度に行ったりしてもよい。また、トレーニング期間T1の途中のカラー画像を検査画像INに使用する場合は、その検査画像INを取得できた時点で、K回分の検証の演算を一度に行ってもよい。例えば識別期間T2の終了前の所定の時期にK回分の検証の演算を一度に行う場合は、識別期間T2の終了を待たずして早期に検証結果を取得でき、例えば検査装置19の検査を早期に中断してその設定変更を行って早期に検査のやり直しを行うことができる。
・サンプルの画像を組み込み先の画像としてトレーニング期間中の画像を使用したが、識別期間T2におけるP時間目(Pは、6≦P≦18の範囲内の自然数)のカメラ画像を毎回使用してもよい。この場合、識別処理で検出されたコロニー数が設定菌数より余分に検出されることになるが、識別処理で検出されたコロニー数と既知のサンプルコロニー数との和に等しい数のコロニーが検出されれば、合格とする検証方法とすればよい。この場合、識別処理でコロニーの検出漏れがあれば、サンプル検出処理でもサンプルコロニーCLsの検出漏れが発生するはずなので、正しく検証することはできる。
・K回分の検証の演算をまとめて一度に行う場合、トレーニング処理も一緒に一度にまとめて行ってもよい。例えばメモリ42に過去のトレーニング期間及び識別期間で取得した全カラー画像を記憶しておき、トレーニング処理(S20)及び検証のための演算(S50〜S100)を、メモリ42に記憶した過去のカラー画像を用いて行う。この場合、トレーニング処理用の少なくとも1枚の画像と、検証用の少なくとも2枚の画像があれば、検査装置19の検出精度を検証することができる。このように画像に補正処理を施さない構成としてもよい。但し、例えば今回の日常検査のトレーニング期間に撮影したカラー画像あるいは比較的最近(例えば3日以内)のトレーニング期間に撮影したカラー画像の培地の明るさ及び色合いのうち少なくとも一方に合わせる補正処理を、過去(例えば装置導入時)の検査画像に施して検証画像IVを取得するのが好ましい。
・前記実施形態は、識別期間T2と検証期間T3とが同じ設定であったが、識別期間T2と検証期間T3とを異なるように設定してもよい。また、識別期間T2における検査回数と、検証期間T3における検証回数とが異なってもよい。検証処理は少なくとも1回行われればよい。例えば識別期間T2の1回目の識別処理のときに検証処理を1回行うだけとしてもよいし、識別期間T2の最終回の識別処理のときに検証処理を1回行うだけでもよい。また、識別処理2回に対して1回の割で検証処理を行ってもよいし、識別処理の時間間隔(例えば1時間)の半分の時間間隔(例えば30分)毎に検証処理を行ってもよい。このように検証処理は識別期間T2内であればいつ行ってもよいし何回行ってもよい。
・検証ステップにおける検証の仕方は適宜変更できる。サンプルコロニーの全てを検出できたら合格、1つでも検出できなければ不合格とする。また、サンプルコロニーの全数のうち閾値%以上の検出ができれば合格、そうでなければ不合格とする。また、複数のランクに分け、100%であればAランク、90%以上であればBランク、80%以上であればCランク、80%未満はDランク(不合格)としてもよい。
・トレーニング期間終了後において、毎回の画像を用いて検証を行う必要はなく、少なくともトレーニング期間の画像とトレーニング期間終了後の任意の時刻の一枚の画像とを用いて、両者の画像の経時変化をみて検証を行ってもよい。このように検証は、トレーニング期間終了後の全ての画像を用いることは必須ではなく少なくとも1つ(1つの時刻)の画像を用いれば足りる。
・検証に使用する分類器のトレーニング(学習)は、初期(スタート時)の画像を用いただけの1回のトレーニングでもよい。例えば、開始後、毎回撮影される画像を用いてトレーニング期間においても、検証を行えば、トレーニング期間の終了を待たずして早期に検証結果を取得できる。この場合、検証結果がNGの場合、トレーニング期間の終了を待たずして早期に検査をやり直すことができ、検査のやり直しによる検査結果取得時期の遅れを短くすることができる。
・サンプル画像を実際のコロニーが存在する培地の撮影画像としたが、ソフトウェアが自動作成した模造のダミーコロニー、検査員が画像作成ソフトウェアで作成した模造のダミーコロニーでもよい。このような人工的に作成したコロニーであれば、実際には作ることが困難な特殊な色のコロニーをサンプルコロニーとしてカラー画像の培地に組み込んだ検証画像を生成でき、検査装置19が特殊な色のコロニーを検出できるかどうかを検証することができる。また、人工的に作成したコロニーにあれば、例えば毒性が比較的強い微生物のコロニーや過酷な環境条件の下で発生・成長する特殊な微生物のコロニーを検出できるかどうかを、実際の微生物(菌等)を使用しなくても、又は特殊な環境を作らなくても、検証することもできる。
・サンプル画像からコロニーのサンプル(ダミーコロニー)を抜き出す場合、明るさと色合いの両方でサンプル画像を補正したが、明るさと色合いのうち一方のみでサンプル画像を補正してもよい。このような明るさと色合いのうち一方のみによる補正でも、いずれの補正も行わない方法に比べ、検証の精度を高めることができる。
・サンプル画像からコロニーのサンプル(ダミーコロニー)を抜き出す場合、サンプル画像の培地の色を、検査対象画像の培地の色に合わせる色補正は必ずしも行う必要はない。例えばサンプル画像から抜き出したそのままの色のコロニーの画像を、検査対象画像の培地領域内に組み込むだけでもよい。この構成によっても、微生物検査装置(分類器)の検証を行うことはできる。
・微生物検査装置に検査対象物を撮影するカメラ24及び光源28等を含む撮影ユニットは必須ではない。例えば他の撮影ユニットで検査対象物を撮影したカラー画像データを入力してそのカラー画像データに対して検査処理を行う構成の微生物検査装置でもよい。この場合、微生物検査装置は、検出処理装置40を有するパーソナルコンピュータ26により構成されたり、検出処理装置40の微生物検査機能を実現する装置部分により構成されたりする。
・検証装置は、微生物検査装置の一部として組み込まれた構成に限らず、微生物検査装置とは独立した一つの装置であってもよい。例えば微生物検査装置のパーソナルコンピュータとデータ交換可能にケーブル等で接続されて使用される他のパーソナルコンピュータにより構成されてもよい。検証装置は、検査装置のパーソナルコンピュータからトレーニング期間のカラー画像を取得して検証画像を作成しその作成した検証画像のデータを検査装置に送って識別処理を含む検査を行わせ、検査装置から受信した検査結果に基づいて検証を行う構成でもよい。
・コロニーは、赤系の色を呈し、赤、ピンク、オレンジ、濃赤、茶などの色をとりうるので、サンプルコロニーの色を、コロニーがとりうる種々の色に補正し、異なる複数種の色のダミーコロニーを検査画像INの培地に組み込んで検証画像IVを作成してもよい。