以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、食品の製造ライン又は検査ライン(以下、「作業ライン」という。)におけるフィルム型培地を用いた衛生管理システムに対して、本発明に係る培地情報登録システム、プログラム、コロニー検出装置及び衛生管理システムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
[1]衛生管理システム
まず、図1を用いて本実施形態の衛生管理システムSについて説明する。なお、図1は、本実施形態の衛生管理システムSの構成を示す構成図である。
本実施形態の衛生管理システムSは、フィルム型の培地(すなわち、フィルム型培地)60を用いるとともに、当該培地に関する情報(以下、「培地情報」という。)をデータ管理することによって、食品の製造上又は検査上の衛生状態を検査するためのシステムである。
また、本実施形態の衛生管理システムSは、加工中又は加工後の食品を製造する製造工程又は当該食品を検査する検査工程を有する作業ライン80において、製造中又は製造後の食品を検体として抽出し、フィルム型培地60で検体に発生している一般性菌又は大腸菌等の予め特定した菌を培養させた際の培養状況をデータ管理するためのシステムである。
そして、衛生管理システムSは、食品の衛生状態をデータ上で管理及び判定するために、食品の製造又は検査における作業に関する情報(以下、「作業情報」という。)と、当該抽出した検体に発生する菌(コロニー)を培養する前後において携帯用通信端末装置10によって取得されるフィルム型培地60の培地情報と、を対応付けてサーバ装置40(具体的には、データベース400)に登録することが可能な構成を有している。
具体的には、本実施形態の衛生管理システムSは、培養開始から所定の時間経過後に、フィルム型培地60が画像化された培地画像について、当該培地画像を構成する各ピクセルの輝度値等の色に関する特徴量を抽出するとともに、当該各ピクセルの特徴量に基づいて、一以上のピクセルによって画像化された菌の塊であるコロニーの検出及びその計数を実行する構成を有している。そして、衛生管理システムSは、検出したコロニー数を少なくとも含む培地情報をデータベース400に記憶するための構成を有している。
特に、衛生管理システムSは、菌の塊であるコロニー(すなわち、対象物)の検出を実行する際に、ゴミなどのコロニー以外の非対象物を排除し、当該検出の正確性を向上させてコロニーの誤検出を防止すること、及び、コロニー検出を含めた培地に関する情報を的確に登録することが可能な構成を有している。
通常、コロニーの画像を構成するピクセル及び当該ピクセルが連結して構成されるピクセル群の輝度、明度又は階調値等の色に関する特徴量と、ゴミ等のコロニー以外の計数の対象とならなない非対象物の画像を構成するピクセル及び当該ピクセルが連結して構成されるピクセル群の色に関する特徴量と、が類似する場合には、培養後の培地画像からでは、画像処理としては、非対象物と対象物のコロニーを区別することは難しい。
そこで、本実施形態においては、ゴミなどのコロニー以外の非対象物を排除してコロニーの検出における正確性を向上させてコロニーの誤検出を防止し、コロニー検出を含めた培地情報を的確に登録するために、培養前の培地画像(以下、「第1培地画像」という。)に基づいて培養後の培地画像(以下、「第2培地画像」という。)の変化を検出して、当該変化に基づいてコロニーを特定しつつ、その計数を行うようになっている。
このような構成を実現するために、本実施形態の衛生管理システムSは、図1に示すように、各フィルム型培地60に関する培地情報を登録する際に用いる複数の携帯用通信端末装置10と、当該衛生管理システムSを管理する管理者端末装置20と、ネットワーク30と、データベース400を有し、かつ、携帯用通信端末装置10又は管理者端末装置20と連動し、培地情報の登録管理を含む各種の処理を実行するサーバ装置40と、を有している。
また、本実施形態の作業情報は、製造工程又は検査工程に係わる各種の情報の他に、検体として製造工程又は検査工程から抽出された食品及び当該検体に発生するコロニーの培養に関する情報を含み、作業毎に、固有の識別情報(以下、「作業ID」という。)を用いてデータベース400に登録されるようになっている。
具体的には、各作業情報には、
(1)作業IDと、
(2)検体を抽出すべき作業ライン80の識別情報(以下、「ラインID」という。)又は作業ライン80が複数の工程を有している場合には、ラインID及び工程の識別情報(以下、「工程ID」という。)71bと、
(3)検体としての食品の製品名、ロットの識別情報(以下、「ロットID」という。)及びロット名と、
(4)一般性菌又は大腸菌等の検体から検出する菌の種別(以下、「検査種別」という。)と、
(5)希釈倍率、希釈液の種別、培養温度、培養湿度及び培養時間等の検体の培養条件と、
(6)検体の培養開始時刻と、
(7)検体の培養開始から所定の時間経過後の時刻(以下、「培養検査時刻」ともいう。)と、
(8)インキュベータ番号及びインキュベータ内の段数等の位置等の検体の培養場所と、
(9)作業開始時刻及び終了時刻を示す作業日時と、
(10)作業者ID(社員ID)及び作業者名と、
が含まれる。そして、作業情報の各情報は、種別毎にかつ作業毎にデータベース400に登録されている。
携帯用通信端末装置10は、例えば、通信機能を有するデジタルカメラ、タブレット型情報端末装置、スマートフォン又は携帯用電話機等、静止画像等の撮像機能又は録画機能(以下、単に「カメラ機能」という。)を有し、かつ、作業者によって携帯可能な通信端末装置である。
特に、携帯用通信端末装置10は、カメラ機能によって、フィルム型培地60を画像化して画像データ(以下、「培地画像データ」という。)を生成するとともに、作業指示書70を画像化して指示書画像を生成することが可能な構成を有している。そして、携帯用通信端末装置10は、画像化された指示書画像のデータ(以下、「指示書画像データ」という。)及びフィルム型培地60の培地画像データから作業ID71及び培地ID66を取得し、当該取得した作業ID71及び培地ID66と、培地画像データと、当該培地画像データのメタデータと、を培地情報として、サーバ装置40のデータベース400に登録することが可能な構成を有している。
また、携帯用通信端末装置10は、培地情報をサーバ装置40に送信する際には、BLUETOOTH(登録商標)、ワイヤレスLAN(WLAN:Wireless Local Area Network)又はワイヤレスPAN(WPAN:Wireless Personal Area Network)等の近距離無線用の通信規格を用いて直接若しくはアクセスポイント50を介してサーバ装置40に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置40に送信する構成を有している。そして、携帯用通信端末装置10は、XML(eXtensible Markup Language)等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を介して培地情報をサーバ装置40に送信するようになっている。
管理者端末装置20は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置20は、管理者の識別情報(以下、「管理者ID」という。)と管理者のパスワード及び作業者の識別情報(以下、「作業者ID」という。)を管理し、サーバ装置40へのアクセス権限の管理、携帯用通信端末装置10の端末IDの管理、及び、登録された培地情報の修正その他の管理を行うことができる装置として機能する。
また、管理者端末装置20は、携帯用通信端末装置10と同様に、マークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いてサーバ装置40とのデータの授受、報告書の閲覧等を実行することができる構成を有している。
なお、管理者端末装置20は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。
ネットワーク30は、例えば、携帯電話網を含む公衆電話回線網(以下、「長距離通信ネットワーク」という)、近距離無線ネットワーク等のIP(Internet Protocol)ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク30の構成は、これに限られない。
サーバ装置40は、携帯用通信端末装置10又は管理者端末装置20と連動し、ロット及び作業ライン80の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置であって、データベース400に、培養開始前の各フィルム型培地60における培地情報の登録(以下、「初期登録」という。)、及び、培養開始後の登録(以下、「培養後登録」という。)を行うことが可能な構成を有している。
具体的には、サーバ装置40は、検体(本実施形態においては食品)に発生する菌を培養するためのフィルム培地60を画像化した培地画像を有する培地画像データに基づいて、当該フィルム型培地60に関する情報を培地情報として登録するための装置であって、
(1)例えば、菌の培養開始前(具体的には、菌の培養開始直後で検体のみ載置されており、いずれの菌も培養開始されていないタイミング(第1タイミング))のフィルム型培地60を画像化した第1培地画像を有する培地画像データ(以下、「第1培地画像データ」という。)と、例えば、当該菌の培養開始後の所定のタイミング(第2タイミング)で当該フィルム型培地60を画像化した第2培地画像を有する画像データ(以下「第2画像データ」という。)とを取得し、
(2)第1培地画像及び第2培地画像を構成する各ピクセルの色に関する特徴量をそれぞれ抽出し、
(3)抽出した第1培地画像の各ピクセルの特徴量と抽出した第2培地画像の各ピクセルの特徴量とに基づいて、第2培地画像に生じた変化を検出し、
(4)第2培地画像に生じた変化に基づいて、菌の塊としてのコロニーを特定しつつ、当該コロニーの数を計数し、
(5)計数したコロニーの数を少なくとも含む培地に関する情報を培地情報としてデータベース400に登録する
構成を有している。
そして、本実施形態のサーバ装置40は、以下の3つの具体的な処理(以下、「コロニー特定計数処理」という。)によって第2培地画像に生じた変化を検出し、コロニーを特定しつつ、その数を計数する構成を有している。
なお、本実施形態においては、菌の培養開始前のフィルム型培地60を画像化した第1培地画像は、初期登録時の培地画像ではなく、検体をフィルム型培地60に載置した直後に携帯用通信端末装置10によって撮像された培地画像を示す。
また、本実施形態においては、「菌の培養開始前」として、菌の培養開始直後で検体のみ載置されており、いずれの菌も培養開始されていないタイミングを用いて説明するが、菌が培養されているものの、目視では認識できない、すなわち、画像化した際に菌を認識できない状態も含む。そして、本実施形態においては、「菌の培養開始前」を第1タイミング及び「菌の培養開始後の所定のタイミング」を第2タイミングとして説明するが、第2タイミングが第1タイミングの後であれば、これに限られない。
(第1のコロニー特定計数処理)
サーバ装置40は、第1のコロニー特定計数処理としては、予め定められた条件を具備する特徴量を有する第1培地画像のピクセルを第1特徴ピクセルとして検出するとともに、当該条件を具備する特徴量を有する第2培地画像のピクセルを第2特徴ピクセルとして検出し、検出した第1特徴ピクセルと第2特徴ピクセルとに基づいて、第2培地画像に生じた変化を検出する構成を有する。
そして、サーバ装置40は、検出した第1特徴ピクセルに基づいて、当該第1培地画像上の画像化されたゴミ等のコロニーでないと想定される対象物(以下、「非コロニー」という。)を特定するとともに、検出した第2特徴ピクセルに基づいて、当該第2培地画像上の画像化された非コロニーを含むコロニーの候補となる対象物(以下、「コロニー候補」という。)を特定し、第1培地画像及び第2培地画像にそれぞれ特定される対象物の数の変化を、第2培地画像に生じた変化として、検出する構成を有している。
また、この場合においては、サーバ装置40は、第1培地画像及び第2培地画像においてそれぞれ特定される対象物の検出数の差、すなわち、コロニー候補の数と非コロニーの数の差をコロニーの数として計数する、構成を有している。
(第2のコロニー特定計数処理)
サーバ装置40は、第2のコロニー特定計数処理としては、
(A)予め定められた第2条件を具備する特徴量を有する第1培地画像のピクセルを第1特徴ピクセルとして検出するとともに、当該第2条件を具備する特徴量を有する第2培地画像のピクセルを第2特徴ピクセルとして検出し、
(B)検出した第1特徴ピクセルに基づいて、当該第1培地画像上の画像化された第1対象物(非コロニー)を特定するとともに、検出した第2特徴ピクセルに基づいて、当該第2培地画像上の画像化された第2対象物(コロニー候補)を特定し、
(E)第1対象物と第2対象物との培地上の座標位置、色に関する特徴量、及び、それぞれの対象物を画像化する際に用いる特徴ピクセルの特性の少なくともいずれか一方を比較し、
(D)比較結果に基づいて、第1対象物と第2対象物との非同一性を判定して第1培地画像及び第2培地画像にてそれぞれ特定される対象物の変化を、第2培地画像に生じた変化として、検出する、
構成を有している。
そして、サーバ装置40は、第1培地画像及び第2培地画像にそれぞれ特定される対象物の数の変化を、第2培地画像に生じた変化として、検出する構成を有している、
特に、サーバ装置40は、(E)の処理においては、
(E11)第2対象物と培地上の同一の座標位置又は同一の範囲内に存在する第1対象物を特定し、
(E12)第2対象物と特定した第1対象物とにおけるそれぞれを画像化する際に用いた特徴ピクセルの特性に基づいて、第2対象物と特定した第1対象物の同一性を判定し、
(E13)判定の結果、第2対象物を特定した第1対象物と非同一と判定した場合に、当該第2対象物を前記コロニーと特定する、
ようになっている。
また、サーバ装置40は、(E)の処理においては、上記に代えて
(E21)各第2対象物における第1対象物との色に関する特徴量を比較して当該第1対象物との同一性を判定し、
(E22)判定の結果、前記第1対象物と非同一と判定した第2対象物をコロニーと特定する、
ようになっていてもよい。
なお、本実施形態においては、第1対象物及び第2対象物を画像化する際に用いられる特徴ピクセルの特性には、各特徴ピクセルの数、当該各特徴ピクセルの培地上の座標位置、及び、当該各特徴ピクセルの色に関する特徴量の少なくともいずれかが含まれる。
(第3のコロニー特定計数処理)
サーバ装置40は、第3のコロニー特定計数処理としては、抽出した第1培地画像のピクセル毎に、当該ピクセルの培地上の座標が一致する第2培地画像の各ピクセルとの抽出した特徴量の差分を、第2培地画像に生じたピクセルの特徴量の変化として、検出することも可能な構成を有している。
そして、この場合には、サーバ装置40は、検出した各ピクセルの特徴量の差分に基づいて、コロニーを特定しつつ、当該コロニーの数を特定する、構成を有している。
このような構成により、本実施形態の衛生管理システムSにおいては、培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の非対象物を特定することができるので、当該特定によって培養後の培地画像(すなわち、第2培地画像)の変化によって、対象物としてのコロニーを特定しつつ、計数することができるようになっている。
したがって、本実施形態の衛生管理システムSにおいては、コロニー以外の非対象物を排除し、コロニーの検出における正確性を向上させてコロニーの誤検出を防止することができるとともに、コロニー検出を含めた培地情報を的確に登録することができるようになっている。
特に、本実施形態の衛生管理システムSは、第1のコロニー特定計数処理においては、同一の条件である第1条件に基づいて、第1特徴ピクセル及び第2特徴ピクセルを培養前後のそれぞれの培地画像から検出することができるので、培養前の培地画像においてコロニーと類似する色特性を有する非対象物を構成するピクセルを検出することができるようになっている。
したがって、本実施形態の衛生管理システムSは、当該培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の非対象物を特定することができるようになっている。
また、本実施形態の衛生管理システムSにおいては、第2のコロニー特定計数処理においては、培養前の培地画像においてコロニーと類似する色特性を有する第1対象物(すなち、非コロニー)を検出することができるので、培養前の画像化された第1対象物と培養後に画像化された第2対象物との非同一性を判定すれば、当該培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の第2対象物(すなわち、コロニー候補)をコロニーとして特定することができるようになっている。
また、本実施形態の衛生管理システムSにおいては、第3のコロニー特定計数処理においては、培養前後の培地画像から差分画像を生成することによって、第2培地画像に生じた変化を示す画像を生成し、当該画像に基づいてコロニーを特定することができるので、当該培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の非対象物を排除しつつ、コロニーを特定することができるようになっている。
そして、本実施形態の衛生管理システムSにおいては、培地情報をデータ管理することができるので、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベースに登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができるようになっている。
[2]フィルム型培地
次に、図2を用いて本実施形態のフィルム型培地60について説明する。なお、図2は、本実施形態に用いるフィルム型培地60の一例である。
本実施形態に用いるフィルム型培地60は、フィルム又はシ−ト状の乾燥培地によって作業ライン80の各工程から検出した検体としての食品に発生した菌を培養するための培地である。例えば、フィルム型培地60は、一般生菌用、大腸菌群用及び黄色ブドウ球菌用を培養する培地として用いられる。なお、カビや酵母、リステリア菌、水質用微生物、乳酸菌、タンパク質等の各種の菌、物質又は微生物を培養する培地として用いてもよい。
また、フィルム型培地60は、例えば、図2に示すように、フィルムによって形成される基材シート61と、基材シート61の中心を基準に当該基材シート61上に形成される円形の枠(以下、「円形枠」という。)62と、該枠内に設けられる菌を培養する培養層63と、当該培養層63を被覆するカバーシート64と、基材シート61の左側に形成された培地ID66と、を有している。
例えば、培地ID66は、2次元バーコード等のバーコード又は英数字で形成されており、フィルム型培地60の撮像時に一緒に画像化され、バーコード認識機能又はOCR(Optical Character Recognition)機能などの画像解析機能を用いて、携帯用通信端末装置10又はサーバ装置40におい取得される。
基材シート61は、フィルム状又はシート状の基材であれば特に限定されず、例えば、プラスチックフィルムや紙等を用いることができる。プラスチックフィルムの例としては、ポリエチレン、ポリプロピレン、ポリエチレンテレフタレート、ポリエチレンナフタレート、ポリメタクリレート、ポリメチルメタクリレート、ポリメチルアクリレート、ポリエステル、ポリカーボネート等の樹脂フィルムを好ましく挙げることができる。ポリエチレンテレフタレート、ポリプロピレン系の合成紙等が好ましく挙げることができる。なお、ポリプロピレン系合成紙は、ポリプロピレンを主原料とするフィルム合成紙である。
なお、フィルム型培地60は、培地ID66を記憶させたICタグを有し、携帯用通信端末装置10が有する近距離無線通信インターフェース140(例えば、ICタグリーダ)によって当該携帯用通信端末装置10に培地ID66を取得させてもよい。
[3]作業指示書
次に、図3を用いて本実施形態の作業指示書70について説明する。なお、図3は、本実施形態に用いる作業指示書70の一例である。
本実施形態の作業指示書70は、同一条件によって製造又は検査された食品群毎、すなわち、ロット毎に、一以上の製造工程又は検査工程の作業名称及びその内容と、使用する作業ライン80と、製造又は検査される食品(加工食品)名称、数量その他の情報と、が記載された指示書である。
また、本実施形態の作業指示書70は、左上に印刷その他の方法によって形成された指示書ID71aと、所定の領域に印刷その他の方法によって形成された複数の工程ID71bと、を有している。指示書ID71a及び各工程ID71bは、作業ID71として用いられ、例えば、2次元バーコード等のバーコード又は英数字で形成されている。そして、指示書ID71a及び各工程ID71bは、フィルム型培地60の登録が実行される際に当該フィルム型培地60と同様に画像化され、携帯用通信端末装置10又はサーバ装置40において解析することによって認識される。
なお、作業指示書70は、フィルム型培地60と同様に、指示書ID71a又は工程ID71bの作業ID71を記憶させたICタグを有し、タグリーダなどの携帯用通信端末装置10が有するインターフェース(近距離無線通信インターフェース140)によって当該携帯用通信端末装置10に作業ID71を取得させてもよい。また、以下の説明においては、特別に言及しない場合には、作業ID71とは、指示書ID71a又は工程ID71bを示す。
[4]携帯用通信端末装置
次に、図4を用いて本実施形態の携帯用通信端末装置10の構成について説明する。なお、図4は、本実施形態の携帯用通信端末装置10の構成を示すブロック図である。
本実施形態の携帯用通信端末装置10は、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部100と、撮像機能を有し、フィルム型培地60の画像データその他の画像データを生成する画像データ生成部110と、サーバ装置40と連動して培地情報をサーバ装置40に初期登録及び培養直後を含む培養後登録する処理(以下、「培地情報登録処理」という。)その他の処理を実行するアプリケーション制御部120と、を備えている。
また、携帯用通信端末装置10は、サーバ装置40及び他の通信装置と通信を行うネットワーク通信部130と、ICタグその他の通信用のインターフェースとデータの授受を行う近距離無線通信インターフェース140と、現在位置を検出する現在位置検出部150と、表示部160と、表示部160を制御する表示制御部161と、ユーザの操作を入力するための操作部170と、タイマー180と、装置全体を制御する携帯端末管理制御部190と、を有している。
そして、携帯用通信端末装置10は、例えば、電話機能及び電子メール等のメール機能を有する場合には、マイク、スピーカ及び電子メールの送受信機能等の種々の必要な部材を有している。さらに、上述の各部は、バス11によって互いに接続され、データの授受が実行される。
データ記憶部100は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部101と、画像データ生成部110によって撮像されて生成された画像データが記憶される画像データ記憶部102と、携帯用通信端末装置10の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、携帯用通信端末装置10で実行される各処理において用いられるデータが記憶されるROM/RAM103と、を有している。
特に、アプリケーション記憶部101には、画像データ生成部110、操作部170、表示制御部161及び画像データ記憶部102と連動しつつ、アプリケーション制御部120によって実行されるアプリケーションプログラム(以下、「アプリ」という。)が記録されている。また、アプリケーション記憶部101には、上述のブラウジング機能を実現するためのブラウザ用のプログラムも記録されている。
画像データ記憶部102には、撮像した培地画像データ及び指示書画像データと、各画像データを管理するための画像IDと、撮像時刻等の各画像データに対応する各種のメタデータと、作業ID71と、培地ID66と、各種のフラグ情報と、が対応付けられて記憶される。なお、画像IDとは、各携帯用通信端末装置10において適宜付与される任意の識別情報である。
画像データ生成部110は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
特に、画像データ生成部110は、作業指示書70を撮像した際に、当該撮像された作業指示書70を画像化し、指示書画像データを生成する。また、画像データ生成部110は、検体に発生した菌が培養される、又は、培養されたフィルム型培地60を撮像した際に、当該撮像されたフィルム型培地60を画像化し、当該フィルム型培地60の培地画像データを培地画像データとして生成する。
アプリケーション制御部120は、所定のアプリによって培地情報登録処理を実現する。特に、アプリケーション制御部120は、アプリケーション記憶部101に記憶された培地登録アプリによって携帯用通信端末装置10の各部を制御するための各種制御プログラムを実行しつつ、ネットワーク通信部130、表示制御部161及び操作部170と連動して、又は、制御して各種の処理を実行する。
アプリケーション制御部120は、アプリケーション記憶部101に記録された培地登録アプリを実行し、画像データ生成部110を制御して撮像されたフィルム型培地60の培地画像データを取得して画像データ記憶部102に記憶する。
そして、アプリケーション制御部120は、画像化された培地画像データから培地ID66を取得し、当該取得した培地ID66とともに、培地画像データと当該培地画像データのメタデータと各種のフラグ情報を画像データ記憶部102に記憶する。なお、アプリケーション制御部120は、通信回線を介して他の通信装置又はデータベース400と連動してバーコード認識又はOCR認識を実行してもよい。
また、アプリケーション制御部120は、培地画像データの撮像後、又は、所定のタイミングによって、検体の培養開始時に培地情報をサーバ装置40に登録する初期登録及び当該検体の培養開始後に培地情報を登録する培養後登録を実行する。特に、アプリケーション制御部120は、作業者の指示に基づいて、初期登録か又は培養後登録かを特定し、当該いずれかの登録かを示す情報(フラグ情報)を培地情報に含めてサーバ装置40に送信する。
また、アプリケーション制御部120は、フィルム型培地60を撮像した際に、タイマー180から現在時刻を取得し、当該現在時刻を撮像時刻として所定の画像IDとともに培地画像データのメタデータとして画像データ記憶部102に記憶し、サーバ装置40に培地画像データを送信する際に一緒に送信する。
なお、アプリケーション制御部120は、培地ID66と、指示書ID71a及び工程ID71bである作業ID71と、がICタグに記憶されている場合には、操作部170及び表示制御部161及び近距離無線通信インターフェース140と連動して培地ID66及び作業ID71を取得する。
また、アプリケーション制御部120は、サーバ装置40によって培地ID66及び作業ID71を培地画像データ及び指示書画像データから認識する場合には、培地情報として培地画像データの他に指示書画像データを送信する。
さらに、アプリケーション制御部120は、実装上、携帯端末管理制御部190を構成するCPU(中央処理装置)が、アプリを実行した際の機能として実現されるものであってもよい。
ネットワーク通信部130は、アプリケーション制御部120及び携帯端末管理制御部190の制御の下、ネットワーク30に接続されるサーバ装置40との通信回線を構築し、培地画像データ等の種々のデータの授受を行う。
近距離無線通信インターフェース140は、アプリケーション制御部120及び携帯端末管理制御部190の制御の下、ICタグを用いた近距離無線通信を行う。
現在位置検出部150は、アプリケーション制御部120又は携帯端末管理制御部190の制御の下、ネットワーク30を介してGPS(Global Positioning System)衛生の位置を認識しつつ、当該GPS衛星から送信された衛星信号(GPS信号)を検出する。
そして、現在位置検出部150は、当該検出されたGPS信号に基づいて携帯用通信端末装置10の現在位置の緯度及び経度によって示される座標値を算出(すなわち、検出)する。また、この現在位置検出部150は、この算出された座標値を位置情報としてアプリケーション制御部120に提供する。
なお、携帯用通信端末装置10が、電話機能や近距離無線機能を有している場合には、電話や近距離無線に用いる電波を電話基地局等において受信した方角と電波強度に基づいて当該携帯用通信端末装置10の現在位置を算出(検出)してもよい。
表示部160は、所定のサイズ(例えば、5インチ、W480×H960ピクセル)の画像表示領域を有し、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部161において生成された表示データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示部160は、培地登録アプリが実行されている際に、操作部170と連動しつつ、各種の表示及び撮像されて画像化された作業指示書70とフィルム型培地60との画像を表示する。
表示制御部161は、アプリケーション制御部120又は携帯端末管理制御部190の制御の下、表示部160に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部160に出力するようになっている。
操作部170は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部160上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部170は、培地登録アプリの起動時に上述の各種の処理を実行するための操作を行う際に用いられるようになっている。
なお、本実施形態においては、操作部170は、培地ID66を直接手入力する際に用いることも可能である。
タイマー180は、画像データ生成部110がフィルム型培地を撮像するときの日付及び時刻をアプリケーション制御部120に提供する。
携帯端末管理制御部190は、主に中央演算処理装置(CPU)によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、携帯用通信端末装置10の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御するようになっている。
[5]サーバ装置
[5.1]サーバ装置の構成
次に、図5を用いて本実施形態のサーバ装置40の構成について説明する。なお、図5は、本実施形態のサーバ装置40の構成を示す構成図である。
本実施形態のサーバ装置40は、図8に示すように、作業情報及び培地情報等の各種の情報が記憶されるデータベース400と、携帯用通信端末装置10及び管理者端末装置20と通信を行う通信制御部410と、培地情報登録処理等の各種の処理を実行するデータ処理部420と、サーバ装置40の各部を制御するサーバ管理制御部430と、各部の制御に用いるROM/RAM440と、時刻管理を行うために用いるタイマー450と、を有する。なお、上述の各部は、バス41によって相互に接続され、各構成要素間におけるデータの転送が実行される。
通信制御部410は、所定のネットワークインターフェースであり、携帯用通信端末装置10又は管理者端末装置20と通信回線を構築し、携帯用通信端末装置10又は管理者端末装置20と種々のデータの授受を行う。
データベース400は、HDDにより構成され、培地情報データベース(以下、「培地情報DB」と略す。)401、ライン情報データベース(以下、「ライン情報DB」と略す。)402及びロット情報データベース(以下、「ロット情報DB」と略す。)403及び作業管理データベース(以下、「作業管理DB」と略す。)404を有する。なお、例えば、本実施形態の各DBは、本発明に係るデータベースを構成する。
培地情報DB401は、各作業ライン80の工程毎に抽出された検体のフィルム型培地60に関する培地情報が作業ID71及び培地ID66毎に格納されるデータベースである。例えば、培地情報DB401には、
(1)培地ID
(2)撮像された培地画像データ
(3)撮像時刻
(4)フラグ情報を含むその他の情報
(5)培地画像の種別、対象物(非対象物も含む)の数及び対象物の色に関する特徴量を含む対象物等の特定情報
(6)対象物(非対象物も含む)を画像化するために用いる特徴ピクセルの特性情報
(7)コロニー数
(8)培地判定結果
(9)作業ID
の9つデータが対応付けて記録される。
なお、抽出すべき検体が、同一のロットにおいて、常に同一の作業ライン80の同一の工程から抽出する場合には、作業IDは、ロットIDであればよく、抽出すべき検体が、同一のロットであっても異なる作業ライン80又は異なる工程から抽出する場合には、ラインID又は工程ID71bとなる。
また、各培地情報におけるコロニー数及び培地判定の結果は、培地情報が登録される際に登録されてもよいし、当該培地情報の登録タイミングと異なる所定のタイミングで登録されてもよい。
さらに、同一のフィルム型培地60の培地情報の撮像時刻が複数登録される場合には(すなわち、後述の培養検査時刻が複数の場合には)、同一の培地ID66において、培養検査時刻毎に培地画像、撮像時刻、コロニー数、培地判定の各培地情報が記憶される。
ライン情報DB402は、各作業ライン80に関するライン情報がラインID毎に格納されるデータベースである。例えば、ライン情報DB402には、
(1)ラインID
(2)作業ライン80が有する工程の工程ID71b及びその種別
の2つデータが対応付けて記録される。工程種別としては、材料投入、調合、充填、ボイル、包装、及び、梱包等の各工程を特定する名称が用いられる。
ロット情報DB403は、各ロットに関するロット情報がロットID毎に格納されるデータベースである。例えば、ロット情報DB403には、
(1)ロットID(指示書ID71a)
(2)ロットの製造又は検査に用いる作業ラインのラインID
(3)ロットの作業開始時刻
(4)ロットの作業終了時刻
(5)ロットの作業を実行する作業者の作業班
の5つデータが対応付けて記録される。
作業管理DB404は、作業内容に関する各種の情報が格納されるデータベースである。例えば、作業管理DB404には、
(1)作業ID
(2)検体を抽出すべき作業ラインのラインID(又はラインID及び工程ID71b)
(3)検体(食品)の種別(製品名、ロットID及び/又はロット名)
(4)検査種別(一般性菌又は大腸菌など検出する菌種)
(5)培養条件(希釈倍率、希釈液の種別、培養温度、培養湿度及び培養時間)
(6)培養開始時刻
(7)培養開始から所定の時間経過後の時刻(以下、「培養検査時刻」ともいう。)
(8)培養場所(例えば、インキュベータ番号及びインキュベータ内の段数等の位置)
(9)作業日時(作業開始時刻及び終了時刻)
(10)作業者ID(及び/又は作業者名)
の10つデータが対応付けて記録される。
なお、培養検査時刻には、単一の時刻(すなわち、検体の培養を終了させる終了時刻)だけが設定されてもよいし、培養開始時刻から法定された又は所定の時間経過後、例えば、培養開始時刻から24時間経過後、48時間経過後又は72時間経過後等の複数の時刻が設定されてもよい。
データ処理部420は、ROM/RAM440に記録されているアプリケーションに応じて各種データ処理を実行する。特に、データ処理部420は、所定のプログラムを実行することによって、
(1)通信制御部410の動作管理と、
(2)各携帯用通信端末装置10と連動して実行する培地登録処理と、
(3)培地画像を構成する各ピクセルの特徴量に基づいてコロニー及びその数を検出するコロニー検出判定処理と、
(4)登録した培地情報に基づいてロットの判定を行うロット判定処理と、
(5)判定結果を報告書形式で出力する報告処理と、
(6)データベース400の管理及び制御と、
を行う。具体的には、データ処理部420は、登録処理部421、コロニー検出判定部423、ロット判定処理部424及び報告処理部425を含む。
なお、例えば、本実施形態の登録処理部421は、本発明に係る取得手段及び登録手段を構成し、本実施形態のコロニー検出判定部423は、本発明の抽出手段、検出手段及び計数手段を構成する。さらに、本実施形態の登録処理部421、コロニー検出判定部423、ロット判定処理部424及び報告処理部425の詳細については後述する。
サーバ管理制御部430は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、サーバ装置40の各部を統合制御する。具体的には、サーバ管理制御部430は、ユーザの操作による携帯用通信端末装置10からのログイン要求に基づいて各ユーザのログイン処理、及び、その他の各種の制御を行う。
ROM/RAM440には、サーバ装置40の駆動に必要な各種のプログラムが記録されている。特に、ROM/RAM440には、各フィルム型培地60の培地判定(合否判定)、工程判定、ライン判定及びロット判定の各判定を実行する際に用いる判定基準の情報(以下、「培地判定基準情報」ともいう。)等のそれぞれの各情報が記憶される。また、ROM/RAM440は、各プログラムの実行中にワークエリアとして用いられる。
タイマー450は、培地情報の登録処理及びロット判定処理を実行する際に必要な時刻を管理するために用いられる。
[5.2]登録処理部
次に、本実施形態のサーバ装置40における登録処理部421の詳細について説明する。
本実施形態の登録処理部421は、携帯用通信端末装置10と連動し、作業ID71に対応付けつつ、各培地情報を培地情報DB401に登録する培地情報登録処理を実行する。特に、登録処理部421は、培地情報に含まれる、初期登録か又は培養後登録かを示すフラグ情報に基づいて、異なる培地情報登録処理を実行する。
(初期登録)
登録処理部421は、初期登録を示すフラグ情報が携帯用通信端末装置10から送信された培地情報に含まれている場合には、初期登録に基づく培地情報登録処理を実行する。
具体的には、登録処理部421は、通信制御部410介して培地情報を取得すると、培地情報に含まれる培地ID66及び作業ID71を特定する。また、登録処理部421は、特定した作業ID71に基づいて、作業管理DB404を検索し、該当する作業情報を特定しつつ、当該特定した作業情報に対応付けて、取得した培地画像データ及び撮像時刻を培地情報DB401に登録する。
特に、登録処理部421は、取得した作業ID71に基づいて検体を抽出した作業ライン80が含まれるロットID、当該作業ライン80のラインID、当該検体を抽出した工程ID71bを特定するとともに、当該特定したロットID、ラインID及び工程ID71bに対応付けて、培地情報に含まれる培地画像データ及び撮像時刻を培地情報DB401に登録する。
そして、登録処理部421は、撮像時刻を培養開始時刻として培地情報DB401に登録する。なお、培養開始時刻は、当該時刻に培地情報の登録処理を実行することを前提に撮像時刻に代えて予め設定された時刻を用いてもよい。
(培養後登録)
登録処理部421は、培養後登録を示すフラグ情報が携帯用通信端末装置10から送信された培地情報に含まれている場合には、培養後登録に基づく登録処理を実行する。
具体的には、登録処理部421は、初期登録と同様に、通信制御部410を介し培地情報を取得すると、当該培地情報に含まれる培地ID66及び作業ID71を特定する。そして、登録処理部421は、特定した作業ID71に基づいて、作業管理DB404を検索し、該当する作業情報を特定しつつ、当該特定した作業情報に対応付けて、撮像時刻を培地情報DB401に登録する。なお、培養検査時刻は、培養開始時刻と同様に、当該時刻に培地情報の登録処理を実行することを前提に撮像時刻に代えて予め設定された時刻を用いてもよい。
一方、登録処理部421は、コロニー検出判定部423に、取得した培地画像データを画像解析させて培地画像の各ピクセルにおける特徴量を抽出させつつ、抽出させた各ピクセルの特徴量に基づいて、コロニーの検出及びその計数を実行させ、かつ、コロニー数に基づいて各フィルム型培地60の検体の合否判定をさせる。また、登録処理部421は、第1培地画像及び第2培地画像を示す培地画像の種別、第1対象物(非コロニー)の数、第1対象物の色に関する特徴量、検出させたコロニー数及び合皮の判定結果を含む培地情報を、特定した作業ID71に対応付けて培地情報DB401に登録する。
[5.3]コロニー検出判定部
[5.3.1]コロニー検出処理の原理
次に、図6を用いて本実施形態のサーバ装置40におけるコロニー検出処理の原理について説明する。なお、図6は、本実施形態のサーバ装置40におけるコロニー検出処理の原理を説明するための図である。
本実施形態のコロニー検出判定部423は、登録処理部421の制御の下、所定のタイミングにおいて、携帯用通信端末装置10から送信された培地情報に含まれる培地画像データから培養直後の培地画像(具体的には、第1培地画像)とコロニーの検出を実行すべき培地画像(具体的には、培養後の培地画像であって所定のタイミングに撮像された第2培地画像)の2つの培地画像を取得するとともに、当該取得した2つの培地画像を画像解析して第2培地画像におけるコロニーの検出及びその数の計数を実行し、登録処理部421に提供する。
通常、培養前(具体的には培養開始直後)の第1培地画像にはコロニーが発生していないと想定されており、当該第1培地画像に対象物として特定されたものは、コロニーでは無く、フィルム型培地60に最初から付着しているゴミ又は検体を載置する際に培養液その他に含まれるゴミ等の非対象物(すなわち、「非コロニー」)である。また、非対象物が存在している状態で菌が培養されて菌の塊であるコロニーを特定して計数する場合には、当該計数結果には、ゴミ等の非対象物を含むことになる。
例えば、図6に示すように、培養開始直後の培地画像(すなわち、第1培地画像)に非コロニーが存在すると(図6A)、培養後の所定のタイミングにおける培地画像(すなわち、第2培地画像)おいてコロニーを検出する場合には、コロニーと非コロニーとの色に関する特徴量に差がなく、的確にコロニーを特定して計数することができない(図6B)。
そこで、本実施形態のコロニー検出判定部423は、第1培地画像に基づいて第2培地画像の変化を検出し、当該検出した変化に基づいてコロニーを特定しつつ、その数を計数するようになっている。
特に、コロニー検出判定部423は、培養検査時刻と同一の時刻(又は同一時刻と判定される範囲(例えば±5分)を含む)の培地画像、又は、培養後登録のフラグ情報を有し、かつ、撮像時刻又は登録時刻の一番早い時刻を有する培地画像を第1培地画像として特定し、特定した第1培地画像をコロニー特定計数処理に用いる。
また、コロニー検出判定部423は、輝度値、S値又はRGBの階調値などの取得した2つの培地画像を構成する各ピクセルの色に関する特徴量をそれぞれ抽出し、当該抽出したそれぞれの培地画像における各ピクセルの特徴量に基づいて第2培地画像に生じた変化を検出し、当該検出した変化に基づいて、コロニーを特定しつつ、計数する。
なお、本実施形態においては、コロニー検出判定部423は、第1培地画像及び第2培地画像を取得すると、取得した第1培地画像及び第2培地画像を用いて、以下の3つのいずれかのコロニー特定計数処理によって第2培地画像に生じた変化を検出し、当該検出した変化に基づいて、コロニーを特定しつつ、計数する。
[5.3.2]コロニー特定計数処理
次に、図7〜図13の各図を用いて本実施形態のサーバ装置40におけるコロニー特定計数処理について説明する。
なお、図7は、本実施形態のサーバ装置40における第1のコロニー特定計数処理を説明するための図であり、図8及び図9は、本実施形態のサーバ装置40における第2のコロニー特定計数処理(その1)を説明するための図である。また、図10〜図12は、本実施形態のサーバ装置40における第2のコロニー特定計数処理(その2)を説明するための図であり、図13は、本実施形態のサーバ装置40における第3のコロニー特定計数処理を説明するための図である。
(第1のコロニー特定計数処理)
本実施形態のコロニー検出判定部423は、第1のコロニー特定計数処理としては、
(1)培養直後の培地画像(すなわち、第1培地画像)及びコロニーの検出を実行する培地画像(すなわち、第2培地画像)のそれぞれにおいて、同一の条件を具備する、すなわち、同一の色に関する特徴量を有する特徴ピクセルを抽出し、
(2)それぞれの画像において特徴ピクセル又は特徴ピクセルが連結した特徴ピクセル群のいずれか一方を対象物として特定してカウントし、
(3)コロニーの検出を実行する培地画像(第2培地画像)において特定した対象物の数から培養直後の培地画像(第1培地画像)において特定した対象物の数を減算し、
コロニーの数を検出する。
具体的には、コロニー検出判定部423は、ROM/RAM440に記憶された培地判定基準情報を読み出して、当該培地判定基準情報に含まれる所定の第1条件(例えば、輝度値、S値、RGBの階調値又はHSVの値などの閾値)を具備する特徴量を有する第1培地画像のピクセル(すなわち、2値化して一方の値を有するピクセル)を、第1特徴ピクセルとして、検出するとともに、当該第1条件を具備する(すなわち、同一条件の)特徴量を有する第2培地画像のピクセル(すなわち、2値化して一方の値を有するピクセル)を、第2特徴ピクセルとして、検出する。
また、コロニー検出判定部423は、検出した第1特徴ピクセル又は第1特徴ピクセルが連結した第1特徴ピクセル群である当該第1培地画像上の画像化された対象物を非コロニーとして特定するとともに、検出した第2特徴ピクセル又は第1特徴ピクセルが連結した第2特徴ピクセル群である第2培地画像上の画像化された対象物をコロニー候補として特定し、当該特定した非コロニー及びコロニー候補をそれぞれ計数(カウント)する。
そして、コロニー検出判定部423は、第2培地画像に画像化された対象物(すなわち、コロニー候補)の数から、第2培地画像に画像化された対象物(すなわち、非コロニー)の数を減算し、減算して算出された値をコロニーの数として特定し、登録処理部421に提供する。
例えば、コロニー検出判定部423は、それぞれの培地画像データから取得した第1培地画像及び第2培地画像の各ピクセルのR、G、Bの各サブピクセルにおいて、第1条件として予め設定された最大の画素値と最小の画素値を読み出し、それぞれのサブピクセルが読み出したそれぞれの画素値の範囲に含まれるピクセルを検出する。
なお、R、G、Bの各サブピクセルにおける最大の画素値と最小の画素値は、例えば、管理者によって予め定められてもよいし、菌種及び希釈倍率によって予め定められてもよい。
また、コロニー検出判定部423は、第1培地画像及び第2培地画像のそれぞれの培地画像において、ノイズを低減させるための画像フィルタ処理を実行しつつ、具体的には、検出した特徴ピクセルに対して当該特徴ピクセルに隣接して他の特徴ピクセル画素が存在する場合に、特徴ピクセルに隣接する全てのピクセルを特徴ピクセルに置き換える膨張処理、及び、特徴ピクセルに隣接して非検出したピクセルが存在する場合に当該特徴ピクセルに隣接するピクセルを全て非特徴ピクセルに置き換える収縮処理を実行しつつ、第1培地画像及び第2培地画像のそれぞれの特徴ピクセルを特定する。
そして、コロニー検出判定部423は、図7に示すように、第1培地画像及び第2培地画像のそれぞれにおいて、単一の特徴ピクセル又は特徴ピクセルが連結した特徴ピクセルを第1対象物(非コロニー)又は第2対象物(コロニー候補)として、ラベリングしつつ特定するとともに、第1対象物の数(図7Aの例では「3」)及び第2対象物の数(図7Bの例では「8」)を計数し、当該計数された第2対象物の数から第1対象物の数を減算することによってコロニー数(図7の例では「5」)を計数する。
(第2のコロニー特定計数処理(その1))
本実施形態のコロニー検出判定部423は、第2のコロニー特定計数処理としては、第1のコロニー特定計数処理と異なり、それぞれの培地画像において特定された対象物(コロニー候補と非コロニー)の同一性を判定しつつ、当該同一性の判定結果に基づいて、コロニーの数を計数する。
特に、コロニー検出判定部423は、
(1)各ピクセルの色に関する特徴量に基づいて、コロニーの検出を実行する培地画像である第2培地画像からコロニー候補を検出するとともに、培養直後の培地画像である第1培地画像から非コロニーを検出し、
(2)コロニー候補と非コロニーのフィルム型培地60上の座標位置をそれぞれ特定し、
(3)非コロニーとフィルム型培地60上の座標位置が同一であるコロニー候補において、非コロニー及びコロニー候補を画像化するために用いる各特徴ピクセルの特性に基づいて、コロニー候補と非コロニーの同一性を判定し
(4)非コロニーと非同一のコロニー候補をコロニーとして特定しつつ、特定したコロニーの数を計数する。
この第2のコロニー特定計数処理においては、コロニー検出判定部423は、第2培地画像にて特定されるコロニー候補の出現の変化を、第2培地画像に生じた変化として、検出し、その変化をコロニーの数として検出する。
具体的には、コロニー検出判定部423は、第1のコロニー特定計数処理と同様に、ROM/RAM440に記憶された培地判定基準情報を読み出して、当該培地判定基準情報に含まれる所定の第2条件(例えば、輝度値、S値、RGBの階調値又はHSVの値などの閾値)を具備する特徴量を有する第1培地画像のピクセルを、第1特徴ピクセルとして、検出するとともに、当該第2条件を具備する(すなわち、同一条件の)特徴量を有する第2培地画像のピクセルを、第2特徴ピクセルとして、検出する。
そして、コロニー検出判定部423は、検出した第1特徴ピクセル又は当該第1特徴ピクセルが連結した第1特徴ピクセル群に基づいて、当該第1培地画像上の画像化された対象物をラベリングしつつ非コロニーとして特定するとともに、例えば、図8Aに示すように、各非コロニーの重心位置等の非コロニーのフィルム型培地60の座標位置(x、y)、又は、図8Bに示すように、フィルム型培地60を撮像する際に予め培地画像上に設けられた矩形エリアの行と列の番号によって、第1対象物のフィルム型培地60上の位置を特定する。
このとき、コロニー検出判定部423は、例えば、図9A(非コロニーの座標位置が重心の場合)及び図9B(非コロニーの座標位置が矩形エリアの場合)に示すように、第1対象物を画像化する際に用いた特徴ピクセルのRGBの階調値及び特徴ピクセルの培地画像上の配列位置(行と列によって定まるドットの位置)を特徴ピクセルの特性として特定する。
また、コロニー検出判定部423は、検出した第2特徴ピクセル又は当該第2特徴ピクセルが連結した第2特徴ピクセル群に基づいて、当該第2培地画像上の画像化された対象物をラベリングしつつ非コロニーとして特定するとともに、第1対象物と同様に、第2対象物のフィルム型培地60上の位置を特定する。
このとき、コロニー検出判定部423は、第1対象物と同様に、第2対象物を画像化する際に用いた特徴ピクセルのRGBの階調値及び特徴ピクセルの配列位置を特徴ピクセルの特性として特定する。
さらに、コロニー検出判定部423は、コロニー候補毎に、重心位置で規定されている場合には、フィルム型培地60上の同一の座標位置(x、y)若しくは同一の座標範囲(x±nピクセル,y±nピクセル:例えば、nは「3」)、又は、矩形エリアの行列番号で規定されている場合には、同一の番号にある非コロニーの有無を判定する。
このとき、コロニー検出判定部423は、当該非コロニーが無い場合には、該当するコロニー候補をコロニーとして特定し、当該非コロニーがある場合には、該当するコロニー候補と非コロニーの各特徴ピクセルの特性に基づいて、その同一性を判定し、非同一と判定されたコロニー候補のみコロニーとして特定する。
特に、コロニー検出判定部423は、コロニー候補とフィルム型培地60上の座標位置が一致する非コロニーとの同一性の判定においては、
(A)コロニー候補及び非コロニーの特徴ピクセルの数が一致するか否か(又は、所定の範囲内であるか)、
(B)コロニー候補及び非コロニーの特徴ピクセルの数が一致する場合には、各特徴ピクセルにおいて、培地画像上のピクセル配置位置が一致するか否か(又は、所定の範囲内であるか)、
(C)各特徴ピクセルにおいて、培地画像上のピクセル配置位置が一致する場合には、対応する各特徴ピクセルに基づく色に関する特徴量が一致するか否か、
を判定する。
なお、コロニー検出判定部423は、(C)の処理においては、対応する非コロニー又はコロニー候補を画像化する際に用いる各特徴ピクセルのRGBの階調値について3次元のカラーヒストグラムを生成し、生成したコロニー候補のカラーヒストグラムが非コロニーのカラーヒストグラムに対する所定の範囲内に存在するか否かを判定してその同一性を判定する。
そして、コロニー検出判定部423は、コロニー候補及び非コロニーの特徴ピクセルの数が一致し、コロニー候補と対応する非コロニーにおいてそれぞれの各特徴ピクセルに基づく特徴量が同一(又は同一の範囲)の場合には、当該コロニー候補を非コロニーとして特定し、そうでなければコロニー候補をコロニーとして特定する。
なお、コロニー検出判定部423は、コロニー候補と非コロニーとの同一性を判定する際に、コロニー候補と対応する非コロニーにおいて対応する全ての特徴ピクセルの特徴量(輝度値やRGBの階調値等)が一致するか否か又は全ての特徴ピクセルが一致しない場合であっても、例えば、85%等の所定の割合以上の特徴ピクセルが一致する場合には、コロニーとして特定してもよい。さらに、コロニー検出判定部423は、コロニー候補と非コロニーとの同一性を判定する際に、コロニー候補と対応する非コロニーの特徴ピクセルの数が一致しない場合であっても、予め定められた範囲内の差(例えば、±2)であれば、同一性を有すると判定してもよい。
また、コロニー検出判定部423は、非コロニー及びコロニー候補の同一性の判定については、各特徴ピクセルにおけるRGBに基づく特徴量によってその同一性を判定しているが、輝度値や特徴ピクセル数の1又は2以上の特徴量またはこれらにRGBの階調値を含めた2以上の特徴量に基づく複数次元のヒストグラムを生成し、当該ヒストグラム上において同一性の判定を行うようにしてもよい。
また、コロニー検出判定部423は、該当する特徴ピクセルにおける色に関する特徴量に基づいてコロニー候補とフィルム型培地60上の座標位置が一致する非コロニーの同一性を判定しているが、特徴ピクセル数の一致及びフィルム型培地60上の座標位置の同一性のみに基づいて(すなわち、色に関する特徴量を考慮することなく)コロニー候補と対応する非コロニーの同一性を判定してもよい。
また、コロニー検出判定部423は、非コロニー及びコロニー候補のフィルム型培地60上の座標位置に基づいて、同一性を判定しているが、座標位置に関係なく、コロニー候補毎に各非コロニーと色に関する特徴量を比較していずれの非コロニーの特徴量とも非同一と判定したコロニー候補をコロニーとして特定してもよい。
また、上記の第2条件は、第1のコロニー特定計数処理の第1条件と同一であってもよいし、異なっていてもよい。
(第2のコロニー特定計数処理(その2))
本実施形態のコロニー検出判定部423は、上述の第2のコロニー特定計数処理と異なり、コロニー候補及び非コロニーにおけるフィルム型培地60上の座標位置を用いることなく、いずれの非コロニーとも非同一であるコロニー候補をコロニーとして特定してもよい。
すなわち、コロニー検出判定部423は、
(1)各ピクセルの色に関する特徴量に基づいて、コロニーの検出を実行する培地画像である第1培地画像から非コロニーをラベリングしつつ検出するとともに、培養直後の培地画像である第2培地画像からコロニー候補をラベリングしつつ検出し、
(2)コロニー候補と非コロニーを画像化するために用いる各特徴ピクセルに基づく色に関する特徴量に基づいて、各コロニー候補の非コロニーとの同一性を判定し
(3)非コロニーと非同一であると判定したコロニー候補をコロニーとして特定し、特定したコロニーの数を計数するようにしてもよい。
具体的には、コロニー検出判定部423は、例えば、図10に示すように、所定の条件に基づいて第2培地画像の各ピクセル(図10A)を輝度等によって2値化しつつ(図10B)、第1特徴ピクセルが連結した第1ピクセル群(非コロニー)の色に関する特徴量(輝度値)の平均値をヒストグラム化し(図10C)、最大値、最小値、標準偏差等の統計的手法を用いて非コロニーの輝度値のヒストグラムにおける対象物区間(非コロニー区間:輝度:0.6438〜0.9556)を特定する。
また、第1培地画像と同様に、コロニー検出判定部423は、例えば、図11に示すように、所定の条件に基づいて培地画像の各ピクセル(図11A)を輝度等によって2値化しつつ(図11B)、第2特徴ピクセルが連結した第2ピクセル群(コロニー候補)の色に関する特徴量(輝度値)の平均値をヒストグラム化し(図11C)、コロニー候補の輝度値のヒストグラム上において非コロニー区間以外のコロニー候補を特定する。
なお、コロニー検出判定部423は、第1培地画像のヒストグラムにおいて、最大値、最小値、標準偏差を用いて、対象物区間の上限値及び下限値を、以下の(式1)及び(式2)に基づいて決定する。なお、「SD」は、標準偏差を示し、「α」は、所定の計数を示す。
そして、コロニー検出判定部423は、図12に示すように、ヒストグラム上、非コロニー区間外のコロニー候補をラベリング処理された際の情報に基づいて、コロニー候補のフィルム型培地60上の位置を認識しつつ、当該コロニー候補をコロニーとして特定し、当該コロニーとして特定したコロニー候補を計数する。
なお、図12の例においては、コロニー検出判定部423は、15のコロニーを計数することになる。また、上記のコロニー特定計数処理においては、コロニー検出判定部423は、対象物の輝度値を用いて第1培地画像及び第2培地画像のヒストグラムを生成しているが、対象物のRGBの階調値、彩度又は色相を用いてもよいし、これらとともに対象物のサイズ(特徴ピクセル数)、対象物の真円度、又は、対象物の曲率分布を用いて複数次元におけるヒストグラムを用いてもよい。
また、上記のコロニー特定計数処理においては、コロニー検出判定部423は、対象物の分布をそのまま利用しているが、主成分分析などによって対象物の分布を解析してヒストグラムを生成してもよい。
(第3のコロニー特定計数処理)
本実施形態のコロニー検出判定部423は、第3のコロニー特定計数処理としては、上述の各コロニー特定計数処理と異なり、第2培地画像から第1培地画像の該当する各ピクセル特徴量をそれぞれ減算して差分画像を生成し、生成した差分画像の各ピクセルの色に関する特徴量に基づいて、コロニーを特定しつつ、その数を計数するようになっている。
すなわち、コロニー検出判定部423は、
(1)フィルム型培地60の座標位置毎のピクセル毎に、コロニーの検出を実行する培地画像(第2培地画像)の各ピクセルの色に関する特徴量から培養直後の培地画像(第1培地画像)の各ピクセルの色に関する特徴量を減算し、第2培地画像に生じた変化として、差分画像を生成し、
(2)ROM/RAM440に記憶された培地判定基準情報を読み出して、当該培地判定基準情報に含まれる第3条件を具備する特徴量を有する生成した差分画像のピクセルを、特徴ピクセルとして、検出し、
(3)検出した各特徴ピクセル又は当該特徴ピクセルが連結した特徴ピクセル群の少なくともいずれか一方を、コロニーとして特定しつつ、計数する。
特に、コロニー検出判定部423は、第1培地画像及び第2培地画像のそれぞれについて、各ピクセルのフィルム型培地60上の配列位置毎に、RGBの各階調値を減算すると、RGBの階調値がマイナスになる場合もあるため、減算した各ピクセルのRGBの階調値の二乗和を生成し、その値を平方した値を差分画像の該当するピクセルの特徴量として用いている。
そして、コロニー検出判定部423は、生成した差分画像において、所定の閾値以上のピクセルを特徴ピクセルとし、当該特徴ピクセル及び当該特徴ピクセルが連結した特徴ピクセル群をコロニーとして特定して計数する。
なお、コロニー検出判定部423は、処理を簡易にするために、RGBの各階調値から彩度又は明度を算出して彩度又は明度に基づいて上述のような各ピクセルのフィルム型培地60上の配列位置毎に差分値を算出し、差分画像を生成してもよい。
例えば、図13(A)及び(B)に示すように、第1培地画像に基づいて非コロニーである第1対象物が存在し、第1培地画像に基づく第2培地画像において、拡大、色変化、変化無し、及び新規のコロニー候補(第2対象物)が存在する場合には、図13(C)に示すように、コロニーのみ画像化された差分画像が生成される。
[5.3.3]検体の合否判定
コロニー検出判定部423は、各フィルム型培地60の検体が異常であるか正常であるかの培地判定(すなわち、検体の合否判定)を実行する。例えば、登録処理部421は、検体から検出すべき菌種によって予め設定された菌数の閾値(すなわち、判定基準)に基づいて、各検体の合否を判定し、その結果を登録処理部421に提供する。
特に、本実施形態においては、菌種や希釈倍率に基づいて判定基準は異なるので、登録処理部421は、検体を培養する際の基準及び菌種に基づいて培地判定基準情報をROM/RAM440から読み出して培地判定を実行する。
各判定基準情報は、培地ID66に対応付けて特定されるようになっている。すなわち、検体から検出する菌種毎にフィルム型培地60の種類が異なるので、培地ID66を特定すれば、検出すべき菌種を特定することができる。したがって、本実施形態においては、予め希釈倍率を定めておくことによって、培地ID66に基づいて特定される判定基準情報を読み出すことができるようになっている。
また、本実施形態において、工程判定、ライン判定、及び、ロット判定において各フィルム型培地60の合否判定を用いるので、これらの各判定と対応付けて培地判定が実行される。なお、工程判定、ライン判定、及び、ロット判定において各フィルム型培地60の合否判定の手法については後述する。
[5.4]ロット判定処理部
次に、図14〜図16の各図を用いて本実施形態のサーバ装置40におけるロット判定処理部424の詳細について説明する。なお、図14〜図16は、本実施形態のサーバ装置40における工程判定を説明するための図である。
本実施形態のロット判定処理部424は、管理者端末装置20に入力された管理者の指示に基づいて、指定されたロット、作業ライン80又は工程における衛生管理に関するデータ解析(すなわち、合否判定)を実行する。
具体的には、ロット判定処理部424は、各ロットについて、該当するロットに用いられる作業ライン80のライン情報と、該当する作業ライン80に対応付けられて登録された培地情報(少なくともコロニー数)と、に基づいて、同一条件によって製造又は検査された食品群が所定の条件を具備しているか否かを判定する。
また、ロット判定処理部424は、ロット判定が指示されると、該当するロットに含まれる作業ライン80及び当該作業ライン80に属する工程が衛生管理上において異常であるか正常であるかの作業ライン80のライン判定(すなわち、衛生管理上の合否の判定)及び各工程の工程判定(すなわち、衛生管理上の合否の判定)を実行し、工程判定及びライン判定を用いてロット判定を実行する。
特に、ロット判定処理部424は、ロット判定が指示された際に、例えば、培養開始後から24時間、48時間等の所定の培養検査時刻を経過した培地情報におけるフィルム型培地60のコロニー数や検体の合否判定の培地情報に基づいて当該工程の衛生管理上の合否を判定し、該当する作業ライン80に含まれる工程の合否判定に基づいて当該作業ライン80の衛生管理上の合否を判定し、該当するロットに含まれる作業ライン80の合否判定に基づいて当該ロットの衛生管理上の合否を判定する。
なお、本実施形態のロット判定処理部424は、ロット判定だけでなく、工程判定又はライン判定のみをデータ解析として実行してもよい。
(工程判定)
ロット判定処理部424は、同一タイミングの培養開始時刻、同一タイミングの培養検査時刻、予め設定された第1時刻から第2時刻までの時間内の時刻を有する培養開始時刻又は、予め設定された第1時刻から第2時刻までの時間内の時刻を有する培養検査時刻を有するなど、培養開始時刻又は培養検査時刻が所定の条件を有し、かつ、同一のロットの同一の工程に対応付けて登録された複数のフィルム型培地60の培地情報に基づいて、各工程判定を実行する。すなわち、ロット判定処理部424は、複数のフィルム型培地60の各培地判定の結果に基づく、総合判定によって各工程判定を実行する。
具体的には、ロット判定処理部424は、該当するフィルム型培地60の培地判定結果(すなわち、工程判定を実行すべき工程の工程ID71bを有する培地情報に登録されたすべての培地判定結果)を取得するとともに、判定結果の合否の数が所定の条件を具備している場合には、判定すべき工程の工程判定を合格と判定し、当該条件を具備していない場合には、判定すべき工程の工程判定を不合格と判定する。
例えば、図14に示すように、3つのフィルム型培地60が判定すべき工程の工程ID71bを有し、第1のフィルム型培地60のコロニー数が「20」、第2のフィルム型培地60のコロニー数が「30」及び第3のフィルム型培地60のコロニー数が「70」でコロニー数が「30」以下の場合に判定結果が合格とされる場合であって、所定の条件が「60%」の合格した培地情報を有している場合に、判定すべき工程の工程判定を合格する場合を想定する。この場合には、フィルム型培地60の3枚中2枚の判定結果が合格であるので、ロット判定処理部424は、当該工程を合格と判定する。
また、ロット判定処理部424は、上述の手法に代えて、工程判定を実行すべき工程の工程ID71bを有する培地情報に含まれるコロニー数に基づいて判定すべき工程の工程判定を実行してもよい。
例えば、図15に示すように、3つのフィルム型培地60が判定すべき工程の工程ID71bを有し、第1のフィルム型培地60のコロニー数が「20」、第2のフィルム型培地60のコロニー数が「30」及び第3のフィルム型培地60のコロニー数が「70」の上述と同様の場合であって、所定の条件がコロニー数の閾値「70」以上のコロニー数を有する培地情報がない場合に、判定すべき工程の工程判定を合格する場合を想定する。この場合には、第3のフィルム型培地60のコロニー数が「70」であるので、ロット判定処理部424は、当該工程を不合格と判定する。
一方、ロット判定処理部424は、上述のコロニー数の閾値を用いて工程判定する手法に代えて、工程判定を実行すべき工程の工程ID71bを有する全ての培地情報に含まれるコロニー数に基づいて判定すべき工程の工程判定を実行してもよい。
例えば、図16に示すように、3つのフィルム型培地60が判定すべき工程の工程ID71bを有し、第1のフィルム型培地60のコロニー数が「20」、第2のフィルム型培地60のコロニー数が「30」及び第3のフィルム型培地60のコロニー数が「70」の上述と同様の場合であって、所定の条件が全てのコロニー数の平均が閾値「30」以下の場合に、判定すべき工程の工程判定を合格する場合を想定する。この場合には、3つのフィルム型培地60のコロニー数の平均が「40」であるので、ロット判定処理部424は、当該工程を不合格と判定する。
なお、ロット判定処理部424は、工程判定のみ実行する際に、工程の位置又は役割に基づいて、所定の工程に重み付けを与え、当該重み付けを加味した上で、工程判定を実行してもよい。
また、本実施形態のロット判定処理部424は、各工程に登録されている培地情報の数に基づいて上述の手法のいずれかを選択してもよいし、上述の手法の2つ又は3つを組み合わせて工程判定を実行するようにしてもよい。また、この所定の条件は、検体の種別、検出する菌種等によって変更可能となっており、管理者によって設定可能、又は、プログラムの一部として提供される。
(ライン判定)
ロット判定処理部424は、所定のタイミングで判定され、かつ、該当するライン情報に対応付けて登録された複数の工程の衛生管理上の合否判定に基づいて、各作業ライン80のライン判定を実行する。すなわち、ロット判定処理部424は、所定のタイミングで判定された同一ロットの複数の工程の各判定結果に基づく、総合判定によってライン判定を実行する。
具体的には、ロット判定処理部424は、同タイミング又は所定の条件を具備するタイミングに判定され、かつ、上述のように、ライン判定を実行すべき作業ライン80のラインIDを有する工程の工程判定の判定結果を取得するとともに、判定結果の合否の数が所定の条件を具備している場合には、判定すべき作業ライン80のライン判定を合格と判定し、当該条件を不具備の場合には、判定すべき作業ライン80のライン判定を不合格と判定する。
例えば、3つの工程が判定すべき作業ライン80のラインIDを有している場合であって、第1工程が「合格」、第2工程が「合格」及び第3工程が「不合格」で、所定の条件が「60%」の合格した工程から作業ライン80が構成されている場合には、ロット判定処理部424は、判定すべき作業ライン80のライン判定を合格する。
(ロット判定)
ロット判定処理部424は、所定のタイミングで判定され、かつ、該当するロット情報に対応付けて登録された複数の作業ライン80の衛生管理上の合否判定に基づいて、各ロットのロット判定を実行する。すなわち、ロット判定処理部424は、複数の作業ライン80の各判定結果に基づく総合判定によってロット判定を実行する。
具体的には、ロット判定処理部424は、ロット判定を実行すべきロットのロットIDを有する作業ライン80の衛生管理情報の所定のタイミングで判定された合否判定に基づいて判定すべきロットのロット判定を実行する。
例えば、所定の条件が「60%」の合格した作業ライン80からロットが構成されている場合に、ロット判定処理部424は、判定すべきロットのロット判定を合格とする場合であって、3つの作業ライン80が判定すべきロットのロットIDを有している場合を想定する。この場合において、第1作業ライン80が「合格」、第2作業ライン80が「合格」及び第3作業ライン80が「不合格」の場合には、ロット判定処理部424は、判定すべきロットのロット判定を合格と判定する。
なお、ロットの作業時間が長時間に及ぶ場合には、所定の時間(例えば8時間又は12時間)毎に時間を区切ってロットの判定を実行してもよい。この場合には、作業が中断している間のロット判定を実行する場合には、ダミーの結果を用いてもよいし、作業中断中
として判定してもよい。
(その他)
ロット判定処理部424は、培地情報、ライン情報、ロット情報及び作業管理DB404を用いて、上述以外の判定及びデータ解析を行うことができるとともに、報告処理部425を介して当該判定結果又はデータ解析結果を管理者が閲覧可能に管理者端末装置20に提供することができるようになっている。
具体的には、ロット判定処理部424は、各フィルム型培地60に培養された検体の信頼性を確認するために、すなわち、検査ミスが発生していない否かを確認するために、一の培地IDにおける培地情報を培養開始時時刻から培養の終了まで、時系列に培地情報又は培地画像データの所定の解析を実行する。
例えば、ロット判定処理部424は、管理者端末装置20を介して受信した管理者の指示に基づいて、特定の培地ID(同一の培地ID)66を有し、培養開始時刻から所定の時刻までの複数の培地情報を、培地画像データとともに抽出する。そして、ロット判定処理部424は、各培地情報及び各画像データについて所定の時系列に沿って所定の解析を実行し、又は、各培地情報及び各画像データを時系列に沿って集約する。また、ロット判定処理部424は、報告処理部425に、解析結果又は集約結果を所定のデータ形式を有する閲覧データに生成させ、当該生成させた閲覧データを管理者に閲覧可能に管理者端末装置20に提供させる。
なお、ロット判定処理部424は、報告処理部425と連動して、このとき、管理者端末装置20の指示に基づいて、法定された衛生管理の報告用に、一の培地ID66における各培地情報を個々に閲覧可能にさせてもよい。
また、ロット判定処理部424は、培地情報、ライン情報、ロット情報又は作業管理情報の検索機能を有していてもよい。具体的には、ロット判定処理部424は、ロットID(指示書ID71a)、作業ラインID、工程ID71b、作業ID71、培養開始時刻、ロットの作業日時、培地ID66、検体の種別などを検索キーとしてデータベース400を検索し、報告処理部425と連動し、該当する培地情報や各種の情報を管理者に閲覧可能なデータを生成してもよい。
なお、報告処理部425は、管理者端末装置20を介して受信した管理者の指示に基づいて、検索によって特定された培地情報(培地画像データ、コロニー数及び培地判定結果)、工程情報、ライン情報、又は、ロットに関する情報を所定の報告形式で提供することも可能である。すなわち、報告処理部425は、法定の検査報告その他の場合においてその証拠又は報告書として種々の情報を提供することができるように構成されている。
[5.5]報告処理部
次に、本実施形態のサーバ装置40における報告処理部425の詳細について説明する。
報告処理部425は、管理者端末装置20に入力された管理者の指示及び所定の報告書形式を有するテンプレートデータに基づいて、指定されたロット、作業ライン80又は工程における衛生管理に関するデータ解析の解析結果(すなわち、合否判定の判定結果)を報告書データとして生成し、生成した報告書データを、通信制御部410を介して管理者に閲覧可能に管理者端末装置20に提供する。
具体的には、報告処理部425は、培地画像のデータ、コロニー数又は培地判定結果等、培地情報、ライン情報及びロット情報から必要な情報を抽出するとともに、抽出した情報とロット判定処理部424によって得られた解析結果に基づいて、テンプレートデータに各情報を割り当てつつ、報告書データを生成する。そして、報告処理部425は、回転等の加工処理が実行されず、同一性が担保された培地の画像を有する報告書データを管理者端末装置20に提供する。
なお、報告処理部425は、上述したように、種々の解析又は検索に応じて所定の報告書データ又は閲覧データを生成し、管理者端末装置20に提供することができるように構成されている。すなわち、報告処理部425は、受信した管理者の指示に基づいて、検索によって特定された培地情報、工程情報、ライン情報、又は、ロットに関する情報を所定の報告形式で提供することも可能であるとともに、法定の検査報告その他の場合においてその証拠又は報告書として種々の情報を提供することができるように構成されている。
[6]衛生管理システムの動作処理
[6.1]培地情報登録処理(携帯用通信端末装置)
次に、図17を用いて本実施形態の携帯用通信端末装置10における培地情報登録処理の動作について説明する。なお、図17は、本実施形態の携帯用通信端末装置10における培地情報の登録処理動作を示すフローチャートである。
本動作においては、ライン情報DB402及びロット情報DB403には、既に作業指示書70に対応付けられた該当するロット情報及びライン情報が記憶されているものとする。また、フィルム型培地60及び作業指示書70には、2次元バーコードによって培地ID又は指示書IDが付されているものとする。さらに、本動作においては、各フィルム型培地60におけるコロニー数の検出は、培地情報のデータベース400への登録時に実行されるものとし、携帯用通信端末装置10においては培地画像を撮像するためのRGBの階調値又は輝度値に対するキャリブレーションが実行されているものとする。
まず、携帯用通信端末装置10において、アプリケーション制御部120は、操作部170を介して培地登録アプリの起動指示を検出すると(ステップS101)、アプリケーション記憶部101から培地登録アプリを読み出して起動する(ステップS102)。このとき、アプリケーション制御部120は、携帯端末管理制御部190の制御下、ワークメモリの初期化その他の必要な処理を実行する。
次いで、アプリケーション制御部120は、表示制御部161と連動し、フィルム型培地60の初期登録であるか、又は、培養開始から所定の時間経過した培養後登録であるか選択させるための画像を表示部160に表示させてその入力を待機する(ステップS103)。
次いで、アプリケーション制御部120は、操作部170による選択指示の入力を検出すると(ステップS104)、初期登録か培養後登録かを判断し、フラグ情報にその結果を設定する(ステップS105)。
次いで、アプリケーション制御部120は、フィルム型培地60の撮像を促す画面を表示部160に表示させ、操作部170と連動し、画像データ生成部110による撮像を待機する(ステップS106)。なお、このとき、アプリケーション制御部120は、取得すべき培地画像の位置合わせするために所定の画像を表示部160に重畳表示させる。
次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161及び操作部170と連動しつつ、画像データ生成部110による撮像を検出すると(ステップS107)、画像データ生成部110によって培地ID66とともに画像化されたフィルム型培地60の培地画像データを取得し、画像データ記憶部102に所定の画像IDを付与しつつ記憶する(ステップS108)。
なお、このとき、アプリケーション制御部120は、フィルム型培地60に形成された十字等のマーカー(図示しない)によって培地画像の位置を調整しつつ、培地画像データを取得する。ただし、このマーカーは、フィルム型培地60の四隅の一角に形成されていてもよいし、フィルム型培地60の全体に縦横に複数形成された補助ラインとして形成されていてもよい。
次いで、アプリケーション制御部120は、タイマー180より現在時刻を培地画像データの撮像時刻として取得し、当該培地画像データに対応付けてメタデータとして画像データ記憶部102に記憶する(ステップS109)。
次いで、アプリケーション制御部120は、取得した画像化された培地画像データの所定の領域に形成された2次元バーコードを解析して培地ID66を取得し、当該培地画像データに対応付けて画像データ記憶部102に記憶する(ステップS110)。
次いで、アプリケーション制御部120は、表示制御部161と連動して指示書ID71及び工程ID71とともに指示書画像データを取得するための画面を表示部160に表示させ、指示書画像データの取得を待機する(ステップS111)。
次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161及び操作部170と連動しつつ、画像データ生成部110による撮像を検出すると(ステップS112)、作業ID71が画像化された指示書画像データを取得し、ステップS108によって取得した培地画像データに対応付けて画像データ記憶部102に記憶する(ステップS113)。
なお、アプリケーション制御部120は、工程ID71bを作業ID71として取得する場合、又は、複数の工程ID71bから一の工程ID71を取得する場合には、表示制御部161及び操作部170と連動しつつ、ユーザに取得すべき工程ID71を選択させる表示をし、該当する工程ID71を取得する。
次いで、アプリケーション制御部120は、取画像化された指示書画像データ及び培地画像データの所定の領域に形成された2次元バーコードを解析して作業ID71を取得し、当該指示書画像データに対応付けて画像データ記憶部102に記憶する(ステップS114)。
次いで、アプリケーション制御部120は、タイマー180より現在時刻を培地画像データの撮像時刻として取得し、表示制御部161及び操作部170と連動して作業者に、取得した指示書画像データ。作業ID71、培地画像データ、培地ID66、及び、撮像時刻を確認させる(ステップS115)。
なお、アプリケーション制御部120は、取得した培地情報の作業者による確認時に、作業者の指示に基づいて、培地画像データの再取得を行っていてもよい。また、このとき、アプリケーション制御部120は、表示制御部161及び操作部170と連動して作業者によって培地画像データの補正を行うことができるようにしてもよい。
次いで、アプリケーション制御部120は、作業者の指示に基づいて、初期登録か培養後登録かを示すフラグ情報及び端末IDと作業ID71とともに、取得した培地画像データとそのメタデータ、及び、初期登録か培養後登録かを示すフラグ情報を培地情報として、ネットワーク通信部130を介してサーバ装置40に送信し(ステップS116)、携帯用通信端末装置10の登録処理を終了する。
このとき、ネットワーク通信部130は、培地情報を送信する際に、端末IDや入力されたID及びパスワードに基づいてサーバ装置40へのアクセスをするためのログインを実行し、ログイン完了後にサーバ装置40との通信回線を確立し、培地情報を送信する。
[6.2]培地情報登録処理(サーバ装置)
次に、図18〜図20の各図を用いて本実施形態のサーバ装置40におけるコロニー特定計数処理を含む培地情報登録処理の動作について説明する。なお、図18〜図20は、本実施形態のサーバ装置40におけるコロニー特定計数処理を含む培地情報の登録処理の動作を示すフローチャートである。
なお、本動作は、携帯用通信端末装置10によって実行された培地情報登録処理と連動して実行される処理であり、サーバ装置40は、携帯用通信端末装置10から送信された培地情報に基づいて以下の処理を実行する。
(第1のコロニー特定計数処理)
まず、サーバ装置40においては、通信制御部410が携帯用通信端末装置10から送信された培地情報を受信すると(ステップS200)、登録処理部421は、受信した培地情報に含まれるフラグ情報に基づいて、初期登録か培養後登録であるかを判定する(ステップS201)。このとき、登録処理部421は、初期登録と判定した場合には、ステップS202の処理に移行し、初期登録でないと判定した場合には、すなわち、培養後登録と判定した場合には、ステップS204の処理に移行する。
次いで、登録処理部421は、初期登録と判定した場合には、受信した培地情報に含まれる作業ID71を抽出して特定する(ステップS202)。
次いで、登録処理部421は、特定した作業ID71に基づいて、受信した培地画像を含む培地情報を培地情報DB401に登録し(ステップS203)、本動作を終了する。なお、培養開始時刻は作業管理DB404に予め記憶されているが、登録処理部421は、ステップS203の処理において、受信した培地情報に含まれる撮像時刻を培養開始時刻として作業管理DB404に登録してもよい。
一方、登録処理部421は、培養後登録と判定した場合には、培地情報に含まれる作業ID71を抽出して特定し(ステップS204)、培地情報に含まれる撮像時刻に基づいて培地情報を登録する培養検査時刻を特定する(ステップS205)。
なお、このとき、登録処理部421は、携帯用通信端末装置10と連動して培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる撮像時刻を培養検査時刻としてそのまま登録してもよい。また、登録処理部421は、既に実行された培養検査時刻における培地登録を管理し、培地情報を受信したタイミング及び既に培地情報の登録に用いた培養検査時刻に基づいて、培養検査時刻を特定してもよい。すなわち、登録処理部421は、培地情報の登録を実行する毎に実行フラグを書き換え、当該フラグの情報を参照しつつ、受信した撮像時刻と比較して、培養検査時刻を特定してもよい。
次いで、登録処理部421は、コロニー検出判定部423に、受信した培地画像データにおける培地画像に対して画像解析を実行させることによって特徴ピクセルを抽出させつつ、当該抽出させた特徴ピクセルに基づいて、非コロニー又はコロニー候補として該当する対象物を検出させ、当該検出させた対象物を計数させる(ステップS206)。
具体的には、コロニー検出判定部423は、所定の閾値以上の値を有する特徴ピクセルを抽出しつつ、単一の特徴ピクセル又は特徴ピクセルが連結された特徴ピクセル群を対象物として特定し、当該特定した対象物を計数する。
次いで、登録処理部421は、コロニー検出判定部423に、特定した培養検査時刻に基づいて、登録すべき培地情報が培養直後のコロニー判定の基準となる第1培地画像に基づくものであるか否かを判定する(ステップS207)。このとき、コロニー検出判定部423は、登録すべき培地情報が第1培地画像に基づく培地情報であると判定した場合には、ステップS210の処理に直接移行し、第1培地画像に基づく培地情報でない(すなわち、第2培地画像に基づく培地情報である)と判定した場合には、ステップS208の処理に移行する。
次いで、コロニー検出判定部423は、ステップS207の処理において、第1培地画像に基づく培地情報でない、すなわち、第2培地画像に基づく培地情報であると判定した場合には、該当する第1培地画像において登録された培地情報に含まれる対象物(すなわち、非コロニー)の数を取得しつつ、当該取得した非コロニーの数と検出したコロニー候補の数に基づいて、コロニー数を計数する(ステップS208)。
次いで、コロニー検出判定部423は、作業ID71に基づいて特定された検体の種別及び検出する菌種に基づいて、培地判定基準を読み出しつつ、当該読み出した検体判定基準に基づいて、検出したコロニー数が所定の条件を具備するか否かを判定する(ステップS209)。すなわち、コロニー検出判定部423は、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
なお、コロニー検出判定部423は、上述の自動登録に代えて、携帯用通信端末装置10と連動し、検出したコロニー数及び合否判定の結果を当該携帯用通信端末装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
次いで、登録処理部421は、培地画像データ、認識した培地ID66、培地画像の種別、計数された対象物の数、判定された合否及び培地情報に含まれる撮像時刻を培養開始時刻とした培養開始時刻情報と、第2培地画像の場合には検出されたコロニーの数とを、特定した作業ID71対応付けて培地情報DB401に登録し(ステップS210)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を携帯用通信端末装置10の表示部160に表示させ、当該携帯用通信端末装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、携帯用通信端末装置10から培地画像データが送信され、サーバ装置40によって各画像データを解析することによって培地ID66を認識する場合には、登録処理部421は、ステップS201の処理において、受信した培地画像データのそれぞれの所定の領域上に画像化された培地ID66を解析して当該培地ID66を認識して取得するようになる。同様に、指示書画像データにおける作業ID71についても、サーバ装置40において認識させる。
(第2のコロニー特定計数処理)
まず、サーバ装置40においては、通信制御部410が携帯用通信端末装置10から送信された培地情報を受信すると(ステップS300)、登録処理部421は、受信した培地情報に含まれるフラグ情報に基づいて、初期登録か培養後登録であるかを判定する(ステップS301)。このとき、登録処理部421は、初期登録と判定した場合には、ステップS302の処理に移行し、初期登録でないと判定した場合には、すなわち、培養後登録と判定した場合には、ステップS304の処理に移行する。
次いで、登録処理部421は、初期登録と判定した場合には、受信した培地情報に含まれる作業ID71を抽出して特定する(ステップS302)。
次いで、登録処理部421は、特定した作業ID71に基づいて、受信した培地画像を含む培地情報を培地情報DB401に登録し(ステップS303)、本動作を終了する。なお、培養開始時刻は作業管理DB404に予め記憶されているが、登録処理部421は、ステップS303の処理において、受信した培地情報に含まれる撮像時刻を培養開始時刻として作業管理DB404に登録してもよい。
一方、登録処理部421は、培養後登録と判定した場合には、培地情報に含まれる作業ID71を抽出して特定し(ステップS304)、培地情報に含まれる撮像時刻に基づいて培地情報を登録する培養検査時刻を特定する(ステップS305)。
なお、このとき、登録処理部421は、携帯用通信端末装置10と連動して培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる撮像時刻を培養検査時刻としてそのまま登録してもよい。また、登録処理部421は、既に実行された培養検査時刻における培地登録を管理し、培地情報を受信したタイミング及び既に培地情報の登録に用いた培養検査時刻に基づいて、培養検査時刻を特定してもよい。すなわち、登録処理部421は、培地情報の登録を実行する毎に実行フラグを書き換え、当該フラグの情報を参照しつつ、受信した撮像時刻と比較して、培養検査時刻を特定してもよい。
次いで、登録処理部421は、コロニー検出判定部423に、受信した培地画像データにおける培地画像に対して画像解析を実行し、特徴ピクセルに基づいて、非コロニー又はコロニー候補として該当する対象物(非対象物も対象物として)を特定し、各対象物において特定した情報(すなわち、各対象物の特定情報)を取得する(ステップS306)。
例えば、コロニー検出判定部423は、所定の閾値以上の値を有する特徴ピクセルを抽出しつつ、単一の特徴ピクセル又は特徴ピクセルが連結された特徴ピクセル群を対象物として特定し、当該特定した対象物のフィルム型培地60上の座標位置、色に関する特徴量、及び、それぞれの対象物を画像化する際に用いる特徴ピクセルの特性等の情報を特定情報として取得する。
次いで、登録処理部421は、コロニー検出判定部423に、特定した培養検査時刻に基づいて、登録すべき培地情報が培養直後のコロニー判定の基準となる第1培地画像に基づくものであるか否かを判定する(ステップS307)。このとき、コロニー検出判定部423は、登録すべき培地情報が第1培地画像に基づく培地情報であると判定した場合には、ステップS310の処理に直接移行し、第1培地画像に基づく培地情報でない(すなわち、第2培地画像に基づく培地情報である)と判定した場合には、ステップS308の処理に移行する。
次いで、コロニー検出判定部423は、ステップS307の処理において、第1培地画像に基づく培地情報でない、すなわち、第2培地画像に基づく培地情報であると判定した場合には、該当する第1培地画像において登録された培地情報に含まれる各対象物(すなわち、非コロニー)の情報を読み出すとともに、第2培地画像の対象物(コロニー候補)と読み出した第1培地画像の各対象物(非コロニー)の各特定情報に基づいて、該当するコロニー候補をコロニーとして特定し、特定したコロニーの数を計数する(ステップS308)。
例えば、コロニー検出判定部423は、第1培地画像における非コロニー及び第2培地画像におけるコロニー候補の各対象物における特定情報に基づいて、各コロニー候補とフィルム型培地60上の座標位置が同一の非コロニーを特定するとともに、当該特定した非コロニーがある場合には、非コロニー及びコロニー候補を画像化するために用いる各特徴ピクセルの特性に基づいて、コロニー候補と非コロニーの同一性を判定し、非同一となるコロニー候補をコロニーと特定する。
また、コロニー検出判定部423は、上記に代えて、第1培地画像における非コロニーと第2培地画像におけるコロニー候補との色に関する特徴量(例えば、ヒストグラム)をそれぞれ生成して比較し、第2培地画像におけるコロニーを特定する。
次いで、コロニー検出判定部423は、作業ID71に基づいて特定された検体の種別及び検出する菌種に基づいて、培地判定基準を読み出しつつ、当該読み出した検体判定基準に基づいて、検出したコロニー数が所定の条件を具備するか否かを判定する(ステップS309)。すなわち、コロニー検出判定部423は、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
なお、コロニー検出判定部423は、上述の自動登録に代えて、携帯用通信端末装置10と連動し、検出したコロニー数及び合否判定の結果を当該携帯用通信端末装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
次いで、登録処理部421は、培地画像データ、認識した培地ID66、培地画像の種別、対象物の特徴情報、判定された合否及び培地情報に含まれる撮像時刻を培養開始時刻とした培養開始時刻情報と、第2培地画像の場合には検出されたコロニーの数とを、特定した作業ID71対応付けて培地情報DB401に登録し(ステップS310)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を携帯用通信端末装置10の表示部160に表示させ、当該携帯用通信端末装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、携帯用通信端末装置10から培地画像データが送信され、サーバ装置40によって各画像データを解析することによって培地ID66を認識する場合には、登録処理部421は、ステップS201の処理において、受信した培地画像データのそれぞれの所定の領域上に画像化された培地ID66を解析して当該培地ID66を認識して取得するようになる。同様に、指示書画像データにおける作業ID71についても、サーバ装置40において認識させる。
(第3のコロニー特定計数処理)
まず、サーバ装置40においては、通信制御部410が携帯用通信端末装置10から送信された培地情報を受信すると(ステップS400)、登録処理部421は、受信した培地情報に含まれるフラグ情報に基づいて、初期登録か培養後登録であるかを判定する(ステップS401)。このとき、登録処理部421は、初期登録と判定した場合には、ステップS402の処理に移行し、初期登録でないと判定した場合には、すなわち、培養後登録と判定した場合には、ステップS404の処理に移行する。
次いで、登録処理部421は、初期登録と判定した場合には、受信した培地情報に含まれる作業ID71を抽出して特定する(ステップS402)。
次いで、登録処理部421は、特定した作業ID71に基づいて、受信した培地画像を含む培地情報を培地情報DB401に登録し(ステップS403)、本動作を終了する。なお、培養開始時刻は作業管理DB404に予め記憶されているが、登録処理部421は、ステップS203の処理において、受信した培地情報に含まれる撮像時刻を培養開始時刻として作業管理DB404に登録してもよい。
一方、登録処理部421は、培養後登録と判定した場合には、培地情報に含まれる作業ID71を抽出して特定し(ステップS404)、培地情報に含まれる撮像時刻に基づいて培地情報を登録する培養検査時刻を特定する(ステップS405)。
なお、このとき、登録処理部421は、携帯用通信端末装置10と連動して培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる撮像時刻を培養検査時刻としてそのまま登録してもよい。また、登録処理部421は、既に実行された培養検査時刻における培地登録を管理し、培地情報を受信したタイミング及び既に培地情報の登録に用いた培養検査時刻に基づいて、培養検査時刻を特定してもよい。すなわち、登録処理部421は、培地情報の登録を実行する毎に実行フラグを書き換え、当該フラグの情報を参照しつつ、受信した撮像時刻と比較して、培養検査時刻を特定してもよい。
次いで、登録処理部421は、コロニー検出判定部423に、特定した培養検査時刻に基づいて、登録すべき培地情報が培養直後のコロニー判定の基準となる第1培地画像に基づくものであるか否かを判定する(ステップS406)。このとき、コロニー検出判定部423は、登録すべき培地情報が第1培地画像に基づく培地情報であると判定した場合には、ステップS410の処理に直接移行し、第1培地画像に基づく培地情報でない(すなわち、第2培地画像に基づく培地情報である)と判定した場合には、ステップS407の処理に移行する。
次いで、コロニー検出判定部423は、ステップS407の処理において、第1培地画像に基づく培地情報でない、すなわち、第2培地画像に基づく培地情報であると判定した場合には、該当する第1培地画像を読み出しつつ、読み出した第1培地画像と第2培地画像に基づいて差分画像を生成する(ステップS408)
次いで、コロニー検出判定部423は、生成した差分画像に基づいてコロニー数を計数する(ステップS408)。具体的には、コロニー検出判定部423は、生成した差分画像に対して画像解析を実行し、特徴ピクセルを検出し、当該検出した単一の特徴ピクセル又は特徴ピクセルが連結した特徴ピクセル群をコロニーとして特定しつつ、その計数を実行する。
次いで、コロニー検出判定部423は、作業ID71に基づいて特定された検体の種別及び検出する菌種に基づいて、培地判定基準を読み出しつつ、当該読み出した検体判定基準に基づいて、検出したコロニー数が所定の条件を具備するか否かを判定する(ステップS409)。すなわち、コロニー検出判定部423は、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
なお、コロニー検出判定部423は、上述の自動登録に代えて、携帯用通信端末装置10と連動し、検出したコロニー数及び合否判定の結果を当該携帯用通信端末装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
次いで、登録処理部421は、培地画像データ、認識した培地ID66、培地画像の種別、判定された合否及び培地情報に含まれる撮像時刻を培養開始時刻とした培養開始時刻情報と、第2培地画像の場合には検出されたコロニーの数とを、特定した作業ID71対応付けて培地情報DB401に登録し(ステップS410)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を携帯用通信端末装置10の表示部160に表示させ、当該携帯用通信端末装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、携帯用通信端末装置10から培地画像データが送信され、サーバ装置40によって各画像データを解析することによって培地ID66を認識する場合には、登録処理部421は、ステップS201の処理において、受信した培地画像データのそれぞれの所定の領域上に画像化された培地ID66を解析して当該培地ID66を認識して取得するようになる。同様に、指示書画像データにおける作業ID71についても、サーバ装置40において認識させる。
[6.3]ロット判定処理
次に、図21を用いて本実施形態のサーバ装置40におけるロット判定処理の動作について説明する。なお、図21は、本実施形態のサーバ装置40におけるロット判定処理の動作を示すフローチャートである。
本動作においては、該当する培地情報が登録されているものとし、工程判定基準情報、ライン判定基準情報及びロット判定基準情報が予め登録されているものとする。
まず、サーバ装置40の通信制御部410が、管理者端末装置20から送信されたロット判定指示を受信すると(ステップS501)、ロット判定処理部424は、通信制御部410と連動し、ロット判定可能なロットIDを検索して当該ロット判定可能なロットID及びそれに対応するロット情報を、管理者に閲覧及び選択可能に管理者端末装置20に送信し、ロット判定処理を実行するロットIDの指示を待機する(ステップS502)。
なお、管理者端末装置20には、ロット判定可能なロットIDを管理者に閲覧及び選択可能に所定の表示画面に表示させる。
次いで、通信制御部410が、管理者によって特定されたロットIDを、管理者端末装置20を介して受信すると(ステップS503)、ロット判定処理部424は、該当するロットに属する工程の工程判定、ライン判定及びロット判定の条件を示す各判定基準情報をRAM/ROM440から読み出す(ステップS504)。
次いで、ロット判定処理部424は、該当するロットIDの各種のロット情報、ライン情報及び培地情報を読み出し(ステップS505)、読み出したロット情報、ライン情報及び培地情報に基づいて、工程判定及びライン判定を実行しつつ、ロット判定を行う(ステップS506)。具体的には、ロット判定処理部424は、ロット情報によって特定された各工程の工程判定を実行し、当該工程判定の工程判定結果に基づいて、ロット情報によって特定された各作業ライン80のライン判定を実行する。そして、ロット判定処理部424は、ライン判定結果に基づいてロット判定を実行する。
次いで、ロット判定処理部424は、判定の報告形式となる予め定めたテンプレート情報を読み出しつつ、ロット判定結果を、当該テンプレートに割り当てて、報告書データを生成する(ステップS507)。
最後に、ロット判定処理部424は、通信制御部410と連動して生成した報告書データを該当する管理者端末装置20に提供して(ステップS508)本動作を終了させる。
なお、管理者端末装置20は、報告書データを受信すると、管理者に閲覧可能に表示させる。ただし、ロット判定処理部424は、管理者端末装置20に報告書データを送信せずに、プリンタに印刷可能に印刷データとして送信してもよい。
[7]変形例
[7.1]変形例1
上述の実施形態においては、培地登録処理とコロニー検出判定処理を同タイミングで実行しているが、コロニー検出判定処理を任意のタイミングによって実行してもよい。
[7.2]変形例2
本実施形態において、タブレット型情報端末装置、スマートフォン又は携帯用電話機等の携帯用通信端末装置10を用いて培地情報の登録処理を実行している点に代えて、ラップトップ型又はデスクトップ型のパーソナルコンピュータと、スキャナ、デジタルカメラ又はスマートフォン等の画像入力装置と、によって当該培地情報の登録処理を実現してもよい。
この場合には、パーソナルコンピュータと画像入力装置とを所定の通信規格によって接続し、パーソナルコンピュータと画像入力装置とを一体的に用いて当該培地情報の登録処理を実現してもよいし、メモリカードその他の物理的なメモリに画像入力装置によって先に取得した培地画像データ及び指示書画像データを記憶させ、当該記憶させた各画像データをパーソナルコンピュータによって取り込みつつ、当該培地情報の登録処理を実現してもよい。
また、この場合には、サーバ装置40の機能をパーソナルコンピュータに持たせて上記の各種の処理を実行してもよい。
[7.3]変形例3
本実施形態においては、携帯用通信端末装置10、管理者端末装置20、サーバ装置40が同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。ただし、携帯用通信端末装置10は、同一ロットにおいて使用させることが前提となる。
[7.4]変形例4
本実施形態においては、フィルム型培地60を用いて当該フィルム型培地60に培養された検体における培地情報の登録を実行しているが、寒天培地を用いて当該寒天培地に培養された検体における培地情報の登録を実行してもよい。
[7.5]変形例5
本実施形態において、画像データ生成部110によってフィルム型培地60を撮像して培地ID66を取得する点に代えて、作業者の操作入力によって培地ID66を入力させるようにしてもよい。
この場合には、アプリケーション制御部120は、表示制御部161及び操作部170と連動し、作業者に培地ID66を操作部170を用いて直接手入力させる。
また、アプリケーション制御部120は、クリック又はタッチ選択等によって、プルダウンメニュー等の表示項目を選択させるように表示制御部161及び操作部170を制御させて、作業者に培地ID66を入力させる。
[7.6]変形例6
本実施形態にておいては、単一のサーバ装置40によって各種の処理を実行しているが、複数のサーバ装置40から構成されるサーバシステムによって各種の処理を実行するようにしてもよい。
[7.7]変形例7
本実施形態にておいては、携帯用通信端末装置10は、培地画像を撮像する前にRGBの階調値又は輝度値に対するキャリブレーションを実行するようになっているが、フィルム型培地60にカラーチャートを設け、培地画像における画像処理を実行する際に、個々にキャリブレーションを実行しつつ、特徴ピクセルを抽出してもよい。
[7.8]変形例8
本実施形態にておいては、携帯用通信端末装置10は、培地画像を撮像する際に、撮像するフィルム型培地60の位置合わせを補助する画像を、撮像すべき培地画像に重畳して表示し、かつ、フィルム型培地60に形成されたマーカーに基づいて、培地画像の位置合わせを実行しているが、いずれか一方のみ用いてもよいし、これらととともに、又は、これらに代えて、フィルム型培地60を一定の位置に固定する治具を用いて常に同一の方向を維持させて培地画像を撮像してもよい。
[7.9]変形例9
本実施形態にておいては、培地情報の登録処理のコロニー特定計数処理において、該当する第1培地画像及びそれに関連する特定情報がデータベース400に記憶されていない場合には、当該培地情報の登録処理を中止してユーザに対して警告を告知してもよいし、予め定めたダミーデータを用いて培地情報の登録処理を実行してもよい。
[7.9]変形例10
本実施形態にておいては、第1培地画像において特定された対象物が第2培地画像においても、特定されることが前提であるが、コロニー特定計数処理において、該当する第1培地画像における対応する対象物が第2培地画像上で特定されていない場合には、ユーザに警告をしてもよい。
この場合は、例えば、コロニー検出判定部423は、コロニー特定計数処理において上述とは別の処理によって、又は、他の処理を利用しつつ、第1培地画像における対象物(非コロニー)が第2培地画像上に存在するか否かを検出し、当該対象物n非コロニーが存在しない場合には、第2培地画像上にマーキング等によってユーザに警告する。
以上本実施形態の衛生管理システムSにおいては、培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の非対象物を特定することができるので、当該特定によって培養後の培地画像(すなわち、第2培地画像)の変化によって、対象物としてのコロニーを特定しつつ、計数することができる。
したがって、本実施形態の衛生管理システムSにおいては、ロニー以外の非対象物を排除し、コロニーの検出における正確性を向上させてコロニーの誤検出を防止することができるとともに、コロニー検出を含めた培地情報を的確に登録することができる。
特に、本実施形態の衛生管理システムSにおいては、第1のコロニー特定計数処理においては、同一の条件である第1条件に基づいて、第1特徴ピクセル及び第2特徴ピクセルを培養前後のそれぞれの培地画像から検出することができるので、培養前の培地画像においてコロニーと類似する色特性を有する非対象物を構成するピクセルを検出することができる。
また、本実施形態の衛生管理システムSにおいては、第2のコロニー特定計数処理においては、培養前の培地画像においてコロニーと類似する色特性を有する第1対象物(すなち、非コロニー)を検出することができるので、培養前の画像化された第1対象物と培養後に画像化された第2対象物との非同一性を判定すれば、当該培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の第2対象物(すなわち、コロニー候補)をコロニーとして特定することができる。
また、本実施形態の衛生管理システムSにおいては、第3のコロニー特定計数処理においては、培養前後の培地画像から差分画像を生成することによって、第2培地画像に生じた変化を示す画像を生成し、当該画像に基づいてコロニーを特定することができるので、当該培養前に既にフィルム型培地60に存在したゴミ等のコロニー以外の非対象物を排除しつつ、コロニーを特定することができる。
なお、本実施形態の衛生管理システムSにおいては、食品を用いて説明したが、当該食品に限らず、薬品や薬剤の人体をはじめとする生物全般に提供される生産品について適用することができる。