以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、食品の製造ライン又は検査ライン(以下、「作業ライン」という。)におけるフィルム型培地を用いた衛生管理システムに対して、本発明に係るコロニー検出システム、そのプログラム、及び、コロニー検出方法を適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
[1]衛生管理システム
まず、図1を用いて本実施形態の衛生管理システムSについて説明する。なお、図1は、本実施形態の衛生管理システムSの構成を示す構成図である。
本実施形態の衛生管理システムSは、フィルム型の培地(すなわち、フィルム型培地)60を用いるとともに、当該フィルム型培地60に関する情報(以下、「培地情報」という。)をデータ管理することによって、食品の製造上又は検査上の衛生状態を検査するためのシステムである。
具体的には、本実施形態の衛生管理システムSは、加工中又は加工後の食品を製造する製造工程又は当該食品を検査する検査工程を有する作業ライン80において、加工中又は加工後の食品を検体として抽出し、フィルム型培地60で検体に含まれる一般生菌又は大腸菌等の予め特定した細菌を培養させた際の培養状況をデータ管理するシステムである。
また、本実施形態の衛生管理システムSは、食品の衛生状態をデータ上で管理及び判定するために、食品の製造又は検査における作業に関する情報(以下、「作業情報」という。)と、当該抽出した検体に含まれる細菌を培養する(コロニーが形成される)前後において取得されたフィルム型培地60の培地情報と、を対応付けてサーバ装置40(具体的には、データベース400)に登録することが可能な構成を有している。
特に、本実施形態の衛生管理システムSは、色の特徴量が異なる2種以上のコロニーを的確に識別するため、又は、偽陽性のコロニーが発現する可能性のあるコロニーを的確に識別するために、
(1)培地の画像(以下、「培地画像」という。)を構成する各ピクセルの色に関する色特徴量に基づいてコロニー又はコロニー候補を検出し、
(2)コロニーを構成するコロニーピクセル又はコロニー候補を構成するコロニー候補ピクセルの複数の色特徴量を基準とする複数次元の座標空間において、当該コロニーピクセル又は当該コロニー候補ピクセル(以下、「コロニーピクセル等」という。)の色特徴量を示す当該座標値に基づいて、当該コロニーピクセル等を予め定められた種別毎に分類するための分類条件を特定し、
(3)特定した分類条件に対する分類されたコロニーピクセル又はコロニー候補ピクセルの座標空間上における相対位置に基づいて、検出されたコロニーピクセルによって構成されるコロニー、又は、コロニー候補ピクセルによって構成されるコロニー候補のスコアを算出し、
(4)算出したコロニー又はコロニー候補のスコアに基づいて、コロニーを判別する
構成を有している。
このような構成を実現するために、本実施形態の衛生管理システムSは、図1に示すように、各フィルム型培地60に関する培地情報を登録する際に用いる画像読み取り装置10と、当該衛生管理システムSを管理する管理者端末装置20と、ネットワーク30と、データベース400を有し、かつ、画像読み取り装置10又は管理者端末装置20と連動し、培地情報の登録管理を含む各種の処理を実行するサーバ装置40と、を有している。
画像読み取り装置10は、フィルム型培地60を取り込むためのADF(オートドキュメントフィーダ)機能を有し、所定の処理を組み合わせたアプリケーションに従って、フィルム型培地60をスキャニングして画像化し、画像データを生成するイメージスキャナなどの静止画像化装置である。
具体的には、画像読み取り装置10は、ADFによってフィルム型培地60を取り込む際に、又は、当該フィルム型培地60を取り込んで載置台に載置した際に、フィルム型培地60の全体を画像化して撮像画像データを生成し、生成した撮像画像データをサーバ装置40に提供する構成を有している。
また、画像読み取り装置10は、培地情報をサーバ装置40に送信する際には、ネットワーク30を介してサーバ装置40に送信する構成を有している。ただし、画像読み取り装置10は、BLUETOOTH(登録商標)、ワイヤレスLAN(WLAN:Wireless Local Area Network)又はワイヤレスPAN(WPAN:Wireless Personal Area Network)等の近距離無線用の通信規格を用いて直接若しくはアクセスポイントを介してサーバ装置40に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置40に送信してもよい。
そして、画像読み取り装置10は、フィルム型培地60の読み取り操作の他に、作業者の入力操作に基づいて、生成した画像データに所定の情報を追記することもできるようになっている。
管理者端末装置20は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置20は、管理者の識別情報(以下、「管理者ID」という。)と管理者のパスワード及び作業者の識別情報(すなわち、「作業者ID」)を管理し、サーバ装置40へのアクセス権限の管理、画像読み取り装置10の端末IDの管理、及び、登録された培地情報の修正その他の管理を行うことができる制御装置として機能する。
また、管理者端末装置20は、XML(eXtensible Markup Language)等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を用いてサーバ装置40とのデータの授受、報告書の閲覧等を実行することができる構成を有している。
さらに、管理者端末装置20は、画像読み取り装置10の遠隔操作を行うことができるリモート機能を有している。
なお、管理者端末装置20は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。
ネットワーク30は、例えば、携帯電話網を含む公衆電話回線網(以下、「長距離通信ネットワーク」という。)、近距離無線ネットワーク等のIP(Internet Protocol)ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク30の構成は、これに限られない。
サーバ装置40は、所定のデータを記録するデータベース400を有し、画像読み取り装置10又は管理者端末装置20と連動するとともに、ロット及び作業ライン80の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置である。
そして、サーバ装置40は、画像読み取り装置10と連動し、画像読み取り装置10から送信された撮像画像データその他のデータを取得するとともに、当該取得したデータからフィルム型培地60におけるコロニーを検出し、当該コロニー関する情報を培地情報として登録する構成を有している。
具体的には、サーバ装置40は、コロニーを検出する際に、
(A)撮像画像データから、検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像部分のデータを培地画像データとして取得し、
(B)取得した培地画像データの培地画像を構成するピクセルの色に関する複数の色特徴量を抽出し、
(C)各ピクセルの色特徴量に基づいてコロニー又はコロニー候補を検出しつつ、コロニーピクセル等を検出し、
(D)複数の色特徴量を基準とする複数次元の座標空間上(以下、「色特徴量座標空間」という。)の座標値であって、検出したコロニーピクセル等の色特徴量を示す当該座標値に基づいて、当該コロニーピクセル等を予め定められた種別毎に分類するための分類条件(具体的には当該座標空間において各種類を分類するための軸又は平面)を特定し、
(E)特定した分類条件に対する分類されたコロニーピクセル等の座標空間上における相対位置に基づいて、検出したコロニーピクセルによって構成されるコロニー、又は、コロニー候補ピクセルによって構成されるコロニー候補のスコアを算出し、
(F)算出した各コロニー又は各コロニー候補のスコアに基づいて、2種以上のコロニー又は偽陽性のコロニーを検出する、
構成を有している。
特に、本実施形態においては、サーバ装置40は、例えば色特徴量としての輝度又は彩度など、座標空間における各ピクセルの座標値を、予め定められた変換処理であって観察者における色の感覚に基づく変換処理によって補正し、当該補正した各ピクセルの座標値に基づいて各ピクセルのスコアを算出する構成を有している。
このような構成により、本実施形態の衛生管理システムSにおいては、複数の色特徴量によってコロニーピクセル又はコロニー候補ピクセルを分類し、コロニー毎に又はコロニー候補毎に複数の色特徴量に基づくスコアを算出することができるので、色特徴量の異なるコロニーの種別を判別し、又は、同系色における偽陽性のコロニーと真性のコロニーとの判別を的確に行うことができるようになっている。
すなわち、本実施形態の衛生管理システムSにおいては、複数の色特徴量の観点から該当するコロニーの種別や真性のコロニーの傾向を定め、当該定めた傾向に基づいて各コロニーやコロニー候補のスコアを算出することができるので、2種以上のコロニーの色特性が混在した色特徴量を有するコロニーの判別、又は、偽陽性として判断されたコロニー候補が存在する場合における該当するコロニーの判別を的確に実行することができるようになっている。
したがって、本実施形態の衛生管理システムSにおいては、2種以上のコロニーの色特性が混在した色特徴量を有するコロニー、又は、偽陽性として判断されたコロニー候補が存在する場合であっても、該当するコロニーを的確に検出することができるようになっている。
また、本実施形態の衛生管理システムSにおいては、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベース400に登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができるようになっている。
[2]フィルム型培地
次に、図2を用いて本実施形態のフィルム型培地60について説明する。なお、図2は、本実施形態に用いるフィルム型培地60の一例である。
本実施形態に用いるフィルム型培地60は、フィルム又はシ−ト状の乾燥培地によって作業ライン80の各工程から検出した検体としての食品に含まれる細菌を培養するための培地である。フィルム型培地60は、例えば、一般生菌、大腸菌群及び黄色ブドウ球菌等を培養する培地などであり、その他、カビや酵母、リステリア菌、水中細菌、乳酸菌等の各種の微生物を培養する培地であってもよい。
また、フィルム型培地60は、例えば、図2に示すように、フィルムによって形成される基材シート61と、基材シート61の中心を基準に当該基材シート61上に形成される円形の枠(以下、「円形枠」という。)62と、該枠内に設けられる細菌を培養する培養層63と、当該培養層63を含む基材シート上を被覆するように形成されたカバーシート64と、基材シート61の右側に形成され、培地の種別を示す種別ID66と、を有している。
例えば、種別ID66は、2次元バーコード等のバーコード又は英数字で形成されており、フィルム型培地60の読み取り時に一緒に画像化され、バーコード認識機能又はOCR(Optical Character Recognition)機能などの画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。そして、種別ID66は、例えば、製造メーカ及び製品型番を特定するコードである。
基材シート61は、フィルム状又はシート状の基材であれば特に限定されず、例えば、プラスチックフィルムや紙等を用いることができる。プラスチックフィルムの例としては、ポリエチレン、ポリプロピレン、ポリエチレンテレフタレート、ポリエチレンナフタレート、ポリメタクリレート、ポリメチルメタクリレート、ポリメチルアクリレート、ポリエステル、ポリカーボネート等の樹脂フィルムを好ましく挙げることができる。ポリエチレンテレフタレート、ポリプロピレン系の合成紙等が好ましく挙げることができる。なお、ポリプロピレン系合成紙は、ポリプロピレンを主原料とするフィルム合成紙である。
なお、本実施形態の種別ID66においては、フィルム型培地60の培地種別を管理する情報の他に、個々に培地を識別する培地IDが含まれていてもよい。この場合には、培地IDは、種別IDとともに、画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。
[3]画像読み取り装置
次に、図3を用いて本実施形態の画像読み取り装置10の構成について説明する。なお、図3は、本実施形態の画像読み取り装置10の構成を示すブロック図である。
本実施形態の画像読み取り装置10は、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部100と、スキャニング機能(画像化機能)を有し、フィルム型培地60の画像データその他の画像データを生成する画像データ生成部110と、サーバ装置40と連動して培地情報をサーバ装置40に初期登録及び培養直後を含む培養後登録する処理(以下、「培地情報登録処理」という。)その他の処理を実行するアプリケーション制御部120と、を備えている。
また、画像読み取り装置10は、サーバ装置40及び他の通信装置と通信を行うネットワーク通信部130と、ADFユニット140と、表示部160と、表示部160を制御する表示制御部161と、ユーザの操作を入力するための操作部170と、タイマー180と、装置全体を制御する端末管理制御部190と、を有している。
データ記憶部100は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部101と、画像データ生成部110によって読み取られて生成された画像データが記憶される画像データ記憶部102と、画像読み取り装置10の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、画像読み取り装置10で実行される各処理において用いられるデータが記憶されるROM/RAM103と、を有している。
特に、アプリケーション記憶部101には、画像データ生成部110、操作部170、表示制御部161及び画像データ記憶部102と連動しつつ、アプリケーション制御部120によって実行されるアプリケーションプログラム(以下、「アプリ」という。)が記録されている。
画像データ記憶部102には、画像化した撮像画像データと、各画像データを管理するための画像IDと、読み取り時刻等の各画像データに対応する各種のメタデータと、が対応付けられて記憶される。なお、画像IDとは、画像読み取り装置10において適宜付与される任意の識別情報である。
画像データ生成部110は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
特に、画像データ生成部110は、検体に発生した菌が培養される、又は、培養されたフィルム型培地60を画像化する場合には、イメージスキャニングされたフィルム型培地60全体を画像化し、当該フィルム型培地60全体の画像データを撮像画像データとして生成する。
アプリケーション制御部120は、所定のアプリによって培地情報登録処理を実現する。特に、アプリケーション制御部120は、アプリケーション記憶部101に記憶された培地登録アプリによって画像読み取り装置10の各部を制御するための各種制御プログラムを実行しつつ、ネットワーク通信部130、表示制御部161及び操作部170と連動して、又は、制御して各種の処理を実行する。
特に、アプリケーション制御部120は、アプリケーション記憶部101に記録された培地登録アプリを実行し、画像データ生成部110を制御して読み取ったフィルム型培地60の撮像画像データを取得し、これらのデータに画像IDを付与しつつ各データのメタデータとともに培地情報として画像データ記憶部102に記憶する。
また、アプリケーション制御部120は、フィルム型培地60を画像化する際に、タイマー180から現在時刻を取得し、当該現在時刻を読み取り時刻として所定の画像IDとともに撮像画像データのメタデータとして画像データ記憶部102に記憶する。
他方、アプリケーション制御部120は、撮像画像データの取得後に、又は、所定のタイミングによって、画像データ記憶部102に記憶された培地情報をサーバ装置40に登録する培地情報登録処理を実行する。
なお、アプリケーション制御部120は、実装上、端末管理制御部190を構成するCPU(中央処理装置)が、アプリを実行した際の機能として実現されるものであってもよい。
ネットワーク通信部130は、アプリケーション制御部120及び端末管理制御部190の制御の下、ネットワーク30に接続されるサーバ装置40との通信回線を構築し、撮像画像データ等の種々のデータの授受を行う。
ADFユニット140は、機械構造及び制御回路などのADF機能を実現するための構成を有している。特に、ADFユニット140は、同一の場所に重ねて載置された複数のフィルム型培地60を一枚ずつ、スキャニングを実行するエリア(図示しない)に取り込むための機構であり、アプリケーション制御部120の制御の下に、駆動する。
表示部160は、所定のサイズ(例えば、5インチ、W480×H960ピクセル)の画像表示領域を有し、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部161において生成された表示データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示部160は、培地登録アプリが実行されている際に、操作部170と連動しつつ、各種の表示及び画像化されたフィルム型培地60との画像を表示する。
表示制御部161は、アプリケーション制御部120又は端末管理制御部190の制御の下、表示部160に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部160に出力するようになっている。
操作部170は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部160上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部170は、培地登録アプリの起動時に上述の各種の処理を実行するための操作を行う際に用いられるようになっている。
タイマー180は、画像データ生成部110がフィルム型培地60を読み取りするときの日付及び時刻をアプリケーション制御部120に提供する。
端末管理制御部190は、主に中央演算処理装置(CPU)によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像読み取り装置10の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御するようになっている。
[4]サーバ装置
[4.1]構成
次に、図4を用いて本実施形態のサーバ装置40の構成について説明する。なお、図4は、本実施形態のサーバ装置40の構成を示す構成図である。
本実施形態のサーバ装置40は、図4に示すように、作業情報及び培地情報等の各種の情報が記憶されるデータベース400と、画像読み取り装置10及び管理者端末装置20と通信を行う通信制御部410と、分類条件に基づく各ピクセルのスコアの算出及び当該スコアに基づくコロニーの検出などの各種の処理を実行するデータ処理部420と、サーバ装置40の各部を制御するサーバ管理制御部430と、各部の制御に用いるROM/RAM440と、時刻管理を行うために用いるタイマー450と、を有する。なお、上述の各部は、バス41によって相互に接続され、各構成要素間におけるデータの転送が実行される。
通信制御部410は、所定のネットワークインターフェースであり、画像読み取り装置10又は管理者端末装置20と通信回線を構築し、画像読み取り装置10又は管理者端末装置20と種々のデータの授受を行う。
データベース400は、HDDにより構成され、培地情報データベース(以下、「培地情報DB」と略す。)401、各ピクセルのスコアを算出する際に用いるプロファイルなどのスコア算出用のデータが記録されるデータベース(以下、「スコア算出用DB」と略す。)402、及び、作業管理データベース(以下、「作業管理DB」と略す。)404を有する。
培地情報DB401は、各作業ライン80の工程毎に抽出され、かつ、画像読み取り装置10によってスキャニングされて取得した検体のフィルム型培地60に関する培地情報が種別ID66毎に、かつ、培地ID毎に培地情報が格納されるデータベースである。例えば、培地情報DB401には、
(1)種別ID66
(2)培地ID
(3)撮像画像データ
(4)培地画像データ
(5)スキャニングした時刻
(6)コロニー数
(7)培地判定結果
(8)サイズ(ピクセル数)、重心位置、各ピクセルの特徴量など検出された各コロニーに関する情報(以下、「コロニー情報」という。)
の8つデータが対応付けて記録される。
なお、各培地情報における、コロニー情報、コロニー数及び培地判定結果としては、データ処理部420によって判定された結果が記憶される。また、各培地情報におけるコロニー情報、コロニー数及び培地判定は、培地情報が登録される際に登録されてもよいし、当該培地情報の登録タイミングと異なる所定のタイミングで登録されてもよい。
プロファイル情報DB405は、複数のプロファイル情報が格納されるデータベースである。例えば、プロファイル情報DB405には、各種別IDに対応付けて
(1)種別ID66
(2)プロファイル情報
の2つデータが対応付けて記録される。
具体的には、プロファイル情報には、
(2A)培地画像からコロニーピクセル等を検出する際の色に関する特徴量(色特徴量)の種別、
(2B)各ピクセルの色特徴量からコロニー又はコロニー候補を検出するためのコロニーピクセル等を特定する際の色特徴量の閾値、
(2C)分類条件によって算出された各コロニー又はコロニー候補のスコアに基づいて、コロニーの種別又は偽陽性のコロニーか真性のコロニーを識別するための閾値、
及び、
(2D)培地判定を行う際の合否における閾値
が含まれる。
作業管理DB404は、培地種別毎の作業内容に関する各種の情報が格納されるデータベースであり、培地情報DB401と対応付けることによって培地種別毎の検査内容を作業者その他に提供するためのデータベースである。例えば、作業管理DB404には、各培地IDに対応付けて
(1)培地ID
(2)検査種別(一般生菌又は大腸菌など検出する菌種)及びフィルム型培地60上に発生する際の色(発色)情報(RGB階調値又はその範囲)
(3)検体の種別
(4)希釈液の種別
(5)培養開始時刻
(6)培養開始から所定の時間経過後までの培養時間
(7)培養場所(例えば、インキュベータ番号及びインキュベータ内の段数等の位置)
(8)作業日時(作業開始時刻及び終了時刻)
(9)作業者ID(及び/又は作業者名)
の9つデータが対応付けて記録される。
なお、これらの情報は、作業者等によって登録される。また、培養検査時刻には、単一の時刻(すなわち、検体における菌の培養を終了させる終了時刻)だけが設定されてもよいし、培養開始時刻から法定された又は所定の時間経過後、例えば、培養開始時刻から24時間経過後、48時間経過後又は72時間経過後等の複数の時刻が設定されてもよい。
データ処理部420は、ROM/RAM440に記録されているアプリケーションに応じて各種のデータ処理を実行する。特に、データ処理部420は、所定のプログラムを実行することによって、
(1)通信制御部410の動作管理と、
(2)撮像画像から検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像データを取得する取得処理と、
(3)培地画像データの培地画像を構成するピクセルの色に関する複数の色特徴量を抽出する抽出処理と、
(4)抽出した各ピクセルの色特徴量に基づいてコロニーピクセル又はコロニー候補ピクセル(すなわち、コロニーピクセル等)を特定しつつ、コロニー又はコロニー候補を検出して特定するコロニー(候補)特定処理と、
(5)複数の色特徴量を基準とする複数次元の座標空間において、各コロニーピクセル等を予め定められた種別毎に分類するための分類条件としての軸(後述する基準軸及び分類軸)を特定し、当該特定した軸に基づいて分類した各コロニーピクセル等によって構成されるコロニー又はコロニー候補のスコアを算出するスコア算出処理と、
(6)算出された各コロニー又はコロニー候補のスコアに基づいて、種別毎の各コロニーを特定しつつ、又は、偽陽性のコロニーを排除した真性のコロニーを特定しつつ、特定したコロニーの計数を実行する検出処理と、
(7)検出したコロニーに関する情報及び計数したコロニー数を培地情報としてデータベース400に登録する培地情報登録処理と、
(8)データベース400の管理及び制御と、
を行う。
具体的には、データ処理部420は、培地情報登録処理を実行する登録処理部421と、抽出処理、スコア算出処理及び検出処理を実行するコロニー検出判定部422と、を含む。
なお、例えば、本実施形態の登録処理部421は、本発明に係るデータ取得手段を構成し、コロニー検出判定部422は、本発明に係る抽出手段、検出手段、条件特定手段、算出手段及び判別手段を構成する。また、登録処理部421及びコロニー検出判定部422の詳細については後述する。
サーバ管理制御部430は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、サーバ装置40の各部を統合制御する。具体的には、サーバ管理制御部430は、画像読み取り装置10とのデータの授受に関する各種の制御を行う。
ROM/RAM440には、サーバ装置40の駆動に必要な各種のプログラムが記録されている。また、ROM/RAM440は、各プログラムの実行中にワークエリアとして用いられる。
タイマー450は、培地情報の登録処理を実行する際に必要な時刻を管理するために用いられる。
[4.2]登録処理部
次に、本実施形態のサーバ装置40における登録処理部421の詳細について説明する。
本実施形態の登録処理部421は、画像読み取り装置10と連動し、作業者の指示に基づいて、各フィルム型培地60における培地情報について培地情報登録処理を実行する。
特に、登録処理部421は、画像読み取り装置10から送信された各培地情報に含まれる各撮像画像データに対して画像解析を実行して種別ID66を取得し、取得した種別ID66をコロニー検出判定部422に提供する。
特に、登録処理部421は、培地情報を取得すると、培地情報に含まれる撮像画像データの撮像画像内を探索し、当該撮像画像内に画像化されている2次元バーコードから構成される種別ID66を取得する。そして、登録処理部421は、自動的に若しくは作業者の指示の下、培地を識別するための培地IDを付与し、又は、種別ID66に含まれている場合には、種別ID66とともに培地IDを取得する。
また、登録処理部421は、コロニー検出判定部422のコロニー検出判定処理によって得られたコロニー情報、コロニー数及び判定結果を、それぞれ、培地情報として該当する種別ID66及び培地IDを対応付けて検査時刻とともに培地情報DB401に登録する。
[4.3]コロニー検出判定部
[4.3.1]動作概要及びスコア算出処理の原理
次に、図5〜図7を用いて本実施形態のサーバ装置40におけるコロニー検出判定部422の動作原理について説明する。なお、図5は、大腸菌群と大腸菌を検出した場合のフィルム型培地60と、2種の菌(コロニー)を検出する1のフィルム型培地60の一例を示す図であり、図6は、大腸菌群と大腸菌におけるフィルム型培地60における発色の例を示す図である。また、図7は、真性の黄色ブドウ球菌と擬陽性の黄色ブドウ球菌を検出した場合のフィルム型培地60の一例を示す図である。
本実施形態のコロニー検出判定部422は、上述のように、
(1)培地画像を構成するピクセル(培地色に相当するピクセルを含む。)の色特徴量を抽出する抽出処理と、
(2)コロニーピクセル又はコロニー候補ピクセルを検出しつつ、コロニー又はコロニー候補を検出して特定するコロニー(候補)特定処理と、
(3)特定したコロニー又はコロニー候補のコロニーピクセル等を分類するための分類条件を特定し、当該分類したコロニーピクセル等に基づいてコロニー又はコロニー候補のスコアを算出するスコア算出処理と、
(4)算出した各コロニー又はコロニー候補のスコアに基づいて、種別毎の各コロニー又は該当するコロニーを特定しつつ、特定したコロニーの計数を実行する検出処理と、
(5)計数したコロニー数に基づいて培地判定を行う培地判定処理と、
を実行する。
特に、コロニー検出判定部422は、スコア算出処理においては、各ピクセルの複数の色特徴量に基づく座標空間において、各ピクセルコロニー又は各ピクセル候補コロニーを種別毎に分類する際に基準となる基準軸及びそれに直交する軸(すなわち、分類軸)を特定するとともに、当該基準軸及び分類軸に基づいて、分類した各コロニーピクセル等によって構成される異なるコロニー又はコロニー候補のスコアを算出し、各種別のコロニーの識別又はコロニー候補から偽陽性のコロニーと真性のコロニーの識別を実行することができるようになっている。
通常、大腸菌や大腸菌群といった関連性のある複数の菌(例えば2つ)をコロニーとして一つの培地で検出する場合、又は、発色するための機構が類似する擬陽性のコロニーを排除して該当するコロニーのみ検出する場合には、単に培地画像の各ピクセルの輝度値を2値化してコロニーピクセルを特定するだけでは的確にコロニーを検出することができない場合がある。
具体的には、複数の菌(例えば2つ)をコロニーとして一つの培地で検出する場合であって、特定されたコロニーピクセルの色特徴量が検出すべきそれぞれの菌の中間色となった場合には、当該コロニーピクセルがどちらのコロニーに属するか的確に識別することは難しい。特に、大腸菌群や大腸菌などの共通の性質を有する2種以上のコロニーを検出する場合には、その中間色が発生し、中間色を有するコロニーの種別を判別することが難しい。
例えば、フィルム型培地60や希釈液などを調製することによって図5(A)に示すような赤紫に発現させる大腸菌群と、図5(B)に示すような紺に発現する大腸菌と、の双方を、図5(C)のように、一つのフィルム型培地60によって検出する場合において、大腸菌の種類や活性度によっては赤紫から紺に変色するタイミングが遅い場合又は発色自体が弱い場合には、図6に示すように、赤紫と紺との中間色になる場合も多い。
特に、大腸菌群よりも大腸菌の方が食品衛生上において危険性がより高い場合など、わずかな違いでも判別しなければならない場合も多く、このような場合には、輝度値を2値化することによって識別する手法ではその判別をすることは難しく、また、種別に無関係にコロニーの有無のみの検出では正確な衛生状態を識別することができない。
また、擬陽性のコロニーを排除して該当するコロニーのみを検出する場合には、2値化する際の閾値を的確に定めなければならないが、培養環境や偽陽性のコロニーの原因によっては、一律に閾値を定めることが難しく、そのため、コロニーピクセルの誤検出又は過検出が生じ、的確に該当するコロニーを検出することができない場合もある。
例えば、図7(A)に示すように、黄色ブドウ球菌を検出する場合に、例えばブドウ球菌など当該黄色ブドウ球菌に類似する菌を擬陽性として検出する菌も存在し、このような場合には、図7(B)に示すように、同系色のコロニーとして検出されることが多く、輝度値を2値化するだけでは識別することは難しい。
そこで、本実施形態においては、ピクセル(特にコロニーピクセル)における複数の色特徴量に基づく座標空間において、各ピクセルを色特徴量の観点から基準軸及び分類軸を特定し、当該特定した分類軸と、当該分類軸に対する分類されたコロニーピクセル等の座標空間上における相対位置に基づいて、分類した各コロニーピクセルやコロニー候補ピクセルによって構成されるコロニー又はコロニー候補の各スコアを算出し、2以上のコロニーの識別やコロニーの的確な検出を行うことができるようになっている。
特に、本実施形態においては、コロニー検出判定部422は、培地画像を構成する各ピクセルに基づいてコロニーやコロニー候補を特定し、当該特定したコロニーやコロニー候補を構成するピクセルの複数の色特徴量に基づいて、色座標空間上の基準軸及び分類軸を特定しつつ、各コロニーピクセル等によって構成されるコロニー又はコロニー候補のスコアを算出し、2以上のコロニーの識別やコロニーの的確な検出を行うことができるようになっている。
なお、本実施形態においては、コロニー検出判定部422は、2種以上のコロニーを1つのフィルム型培地60で検出する場合には、抽出処理によってコロニーピクセルをコロニー特定処理でコロニーを特定し、偽陽性のコロニーを検出する可能性のある場合には、当該コロニー特定処理でコロニー候補を特定する。
[4.3.2]抽出処理
次に、本実施形態のコロニー検出判定部422の抽出処理について説明する。
コロニー検出判定部422は、登録処理部421の制御の下、培地情報の培地情報DB401への登録時又は所定のタイミングにおいて、画像読み取り装置10から送信された培地情報に含まれる培地画像データから培地画像を取得する。
そして、コロニー検出判定部422は、RGBの各階調値、輝度値又は彩度など培地画像を構成する各ピクセルの複数の色特徴量を抽出する。
このとき、コロニー検出判定部422は、コロニー特定処理に用いる色特徴量(例えば輝度値)とスコア算出処理に用いる複数の色特徴量(例えば、RGBの各階調値)とが異なる場合には、必要な全ての色特徴量を抽出する。
[4.3.3]コロニー(候補)特定処理
次に、本実施形態のコロニー検出判定部422のコロニー(候補)特定処理について説明する。
コロニー検出判定部422は、抽出した各ピクセルの色特徴量に基づいて、コロニーピクセル又はコロニー候補ピクセルを特定しつつ、特定したコロニーピクセル又はコロニー候補ピクセルに基づいてコロニー又はコロニー候補を検出して特定する。
具体的には、コロニー検出判定部422は、輝度値を用いる場合には、予め定められた閾値によって2値化して一方の値を具備するピクセルをコロニーピクセル又はコロニー候補ピクセルとして抽出する。
また、コロニー検出判定部422は、各ピクセルにおけるRGBの各サブピクセルを用いる場合には、予め設定された各RGBにおける最大の階調値と最小の階調値を取得し、それぞれのサブピクセルが取得したそれぞれの階調値の範囲に含まれるピクセルをコロニーピクセル又はコロニー候補ピクセルとして検出する。
一方、コロニー検出判定部422は、特定したコロニーピクセル、又は、コロニー候補ピクセルに対して当該コロニーピクセル、又は、コロニー候補ピクセルに隣接して形成されている他のコロニーピクセル又はコロニー候補ピクセルが存在する場合に、それらを連結してラベリングし、連結したコロニーピクセル群又はコロニー候補ピクセル群を一のオブジェクト、すなわち、コロニー又はコロニー候補として特定する。
このとき、コロニー検出判定部422は、コロニーピクセル又はコロニー候補ピクセルの塊の大きさ(すなわち、コロニー又はコロニー候補を構成するコロニーピクセル又はコロニー候補ピクセルのピクセル数)が一定以上か否かを判定しつつ、当該大きさが一定以上の場合に、コロニー又はコロニー候補と特定する。
また、コロニー検出判定部422は、該当するコロニーピクセル、又は、コロニー候補ピクセルに隣接する全ての画素をコロニーピクセル又はコロニー候補ピクセルに置き換える膨張処理、及び、該当するコロニーピクセル又はコロニー候補ピクセルに隣接して非検出したピクセルが存在する場合に該当するコロニーピクセル又はコロニー候補ピクセルに隣接する画素を全てコロニーピクセルでないピクセル(すなわち、非コロニーパピクセル)又は非コロニー候補ピクセルに置き換える収縮処理を実行するなどノイズを低減させるための画像フィルタ処理を実行してもよいし、各色特徴量のヒストグラムの生成などの統計的な手法を用いてにじみ領域やコロニーの核を特定しつつ、コロニー又はコロニー候補を特定してもよい。
なお、2値化を実行する際の閾値又はR、G、Bの各サブピクセルにおける最大の階調値と最小の階調値は、例えば、管理者によって予め定められてもよいし、菌種及び希釈倍率によって予め定められてもよい。
[4.3.4]スコア算出処理
次に、図8〜図15を用いて本実施形態のコロニー検出判定部422のスコア算出処理について説明する。
なお、図8及び図9は、本実施形態の2種以上のコロニーを判別するためのスコア算出処理を説明するための図であり、図10は、本実施形態の2種以上のコロニーを判別するためのスコア算出処理において実行される変換処理を説明するための図である。また、図11は、スコア算出処理において実行される変換処理前と変換処理後のコロニーピクセルの色特徴量の分布の例を示す図であり、図12は、本実施形態の2種以上のコロニーを判別するための変換処理の前後におけるコロニー種別の判別結果の例を示す図である。さらに、図13は、本実施形態の2種以上のコロニーを判別するためのスコア算出処理におけるコロニーの検出結果の例を示す図である。そして、図14は、本実施形態の偽陽性のコロニーを排除するためのスコア算出処理を説明するための図であり、図15は、本実施形態の偽陽性のコロニーを排除するためのスコア処理における結果の例を示す図である。
コロニー検出判定部422は、特定されたコロニーにおける2種以上のコロニーを識別する場合と、コロニー候補から擬陽性のコロニーを排除してコロニーを特定する場合とによって以下のように異なる処理を実行する。
(2種以上のコロニーを識別する場合)
コロニー検出判定部422は、特定した各コロニーの複数の色特徴量を、当該複数の色特徴量を基準とする複数次元の座標空間に座標値として用いる。そして、コロニー検出判定部422は、コロニーピクセルの座標値に基づいて、コロニーピクセルを複数種類のコロニーピクセル群に適切に分類するための分類条件としての基準軸及び分類軸(すなわち、複数次元の座標空間における閾値)を設定する。
特に、コロニー検出判定部422は、各コロニーピクセルの各座標値に基づいて、判別分析法を実行し、基準軸及び分類軸を設定し、当該基準軸及び分類軸に基づいて、識別すべき種別毎のコロニーピクセル分類しつつ、その分類されたコロニーピクセルに基づいて、コロニーの種別、すなわち、第1のコロニーと第2のコロニーを特定する。
通常、図8(A)に示すように、2種以上のコロニーを識別する場合には、単一の色特徴量の閾値のみによっては識別することができず、例えばRGBなどの複数の色特徴量に基づいて識別を行う。しかしながら、単に、それぞれの色特徴量における閾値の組み合わせによって識別する場合には、極めて複雑な演算を行うなど、それぞれの閾値を連動させて調整する必要があり、非常に難しい。そこで、本実施形態のコロニー検出判定部422は、コロニーピクセル又はコロニー候補ピクセルの複数の色特徴量に対する統計的演算を実行することによって、具体的には、複数の色特徴量に基づく判別分析法によって、コロニーピクセルの種別を識別しつつ、コロニーの種別を判別するようになっている。
具体的には、本実施形態のコロニー検出判定部422は、図8(B)に例示するように、各コロニーに属する各コロニーピクセルの色特徴量(例えばRGBの各階調値)のヒストグラム(複数の色特徴量に基づく複数次元の座標に基づくヒストグラム)を生成し、生成したヒストグラムから統計的演算を実行することによって、複数種類(例えば大腸菌と大腸菌群の2つの種類)に分類するための分類条件としての複数次元の座標上において基準軸及び当該基準軸に対してコロニーを分類するための分類軸(具体的には、基準軸に直交する軸)を設定し、当該分類軸に基づいてコロニーの種別を判別するようになっている。
なお、図8(A)及び(B)は、大腸菌群と大腸菌が検出されたフィルム型培地60において、R軸及びG軸におけるコロニーピクセルの分布を示し、可視化のためにB軸を省略してあるコロニーピクセルの散布図である。また、このとき、コロニー検出判定部422は、コロニーピクセルが一定数以下のコロニーについては、コロニーから除外するようになっている。
例えば、コロニー検出判定部422は、統計的な演算として、図8(B)に示すように、複数の色特徴量に基づく複数次元の座標に基づくコロニーピクセルのヒストグラムに基づいて、
(1)個々の色特徴量(座標値xi)に基づいて、想定するクラス(上記の場合には2つのクラス)に分類するための組み合わせを変化させ、
(2)(式1)に示すクラス内共分散行列CWと(式2)に示すクラス間共分散行列CBをそれぞれ算出し、
(3)各組み合わせにおけるクラス内共分散行列とクラス間共分散行列に対して固有値分解して固有ベクトル及び固有値を算出し、
(4)算出した各固有ベクトル及び各固有値から最大固有値に対応する固有ベクトルを基準軸に設定し、当該基準軸に直交する軸を分類軸として決定する。
なお、「i」は、1〜NのN個の各データを示し、「K」は、1〜Cまでのクラス番号を示す。また、「m」は、(式3)に示す平均ベクトルを示し、「mk」は、(式4)に示すクラス平均ベクトルを示す。さらに、「T」は転置行列を示す。
そして、コロニー検出判定部422は、分類条件として基準軸及び分類軸を決定すると、
(A)分類軸に対して各コロニーピクセルの座標値から当該各コロニーピクセルを構成する各コロニーのスコアを算出し、
(B)当該算出した各コロニーのスコアに応じてコロニーの種別を識別し、各コロニーの種別を特定する。
特に、コロニー検出判定部422は、分類軸を基準(例えば「0」)として当該分類軸と各座標値の距離(プラスとマイナスを含む)に基づいて各コロニーピクセルが属するコロニーのスコアを算出する。
また、このとき、コロニー検出判定部422は、各コロニーピクセルの座標値を予め定められた変換処理であって、観察者における色の感覚に基づく変換処理によって補正をし、当該補正した各ピクセルの座標値(以下、「補正値」ともいう。)に基づいて各コロニーのスコアを算出する構成を有していてもよい。
すなわち、図9に示すように、決定された分類軸から各座標値の距離は、例えばP1(r,g,b)=(51,0,178)となり、P2(r,g,b)=(94,78,167)となるので、色特徴量が異なる場合であっても、分類軸に基づく値は同一の値となり、観察者の判断(特に輝度に関する色特徴量の判断)との乖離が生ずる。また、このように場合に、各コロニーのスコアを算出したとしても、適切にコロニーを判別することができない。なお、図9は、図8と同様に、可視化のためにRGBの各階調値においてB軸を省略した座標空間を示す。
したがって、コロニー検出判定部422は、観察者における色の感覚に基づく色特徴量を示す輝度値又は彩度によって変換処理(空間変換処理)を実行しつつ、各コロニーピクセルの座標値を補正して各コロニーのスコアを算出することができるようになっている。
具体的には、輝度値によって変換処理を実行する場合には、コロニー検出判定部422は、(式5)に示すように、各コロニーピクセルのRGBの座標値Pnを輝度値Iに変換しつつ、当該変換した輝度値Iを反転させて二乗して変換係数α(n)を算出し、当該算出した変換係数α(n)を該当するコロニーピクセルの各RGBの座標値Pn(r(n),g(n),b(n))に乗算して補正値Snを算出する。
例えば、コロニー検出判定部422は、図10(A)に示すように、コロニーピクセルの座標値Pnが(rn1,gn1,bn1)の場合には、上記の(式5)を演算することによって、図10(B)に示すように、補正値Sn(rn2,gn2,bn2)を算出する。ただし、輝度値Iは、(式6)に示すが、(式7)のYUV色空間における輝度値Yの変換式によって算出してもよい。
なお、コロニー検出判定部422は、輝度値に基づく変換処理(すなわち、輝度値の軸に基づく座標変換を行う演算処理)に代えて、輝度値の軸に近い軸(例えば、一定の距離を有する平行な軸など)、当該輝度値の軸に対して所定の角度傾いた軸(例えば−45度〜+45度)又は上述のように設定した基準軸や分類軸を用いて座標変換してもよい。
また、図11に変換処理前(図11(A))と変換処理後(図11(B))のコロニーピクセルの色特徴量の分布を示す。ただし、図10及び図11は、可視化のためにRGBの各階調値においてB軸を省略した座標空間を示す。
一方、コロニー検出判定部422は、このように算出した各コロニーピクセルの補正値に基づいて、当該各コロニーピクセルが属する各コロニーのスコアをそれぞれ算出し、当該算出したスコアに基づいて各コロニーの種別を識別する。
具体的には、コロニー検出判定部422は、コロニー毎に、該当するコロニーに属する各コロニーピクセルの分類軸に対する値などの代表値を算出し、当該代表値の平均を各コロニーのスコアとして算出する。
特に、代表値としては、例えば、コロニー検出判定部422は、RGBの最小の階調値(すなわち、RGB=(0,0,0))から最大の階調値(すなわち、RGB=(255,255,255))を含め、各コロニーのRGBの各階調値によって示される複数次元の座標値から分類軸上の値に変換してそれぞれの座標値における代表座標(具体的には、座標値から分類軸に垂線を引いた際の交点)を算出するとともに、各代表座標における分類軸上の最小の階調値の代表値からの距離を「0」〜「1.0」に正規化した値を算出し、当該算出した値をコロニー毎に平均したものをスコアとして算出する。
すなわち、コロニー検出判定部422は、RGBの最小の階調値に基づく分類軸上の代表座標(R(Zmin),G(Zmin),B(Zmin))の値(Zmin)を「0」とするとともに、RGBの最小の階調値に基づく代表座標(R(Zmax),G(Zmax),B(Zmax))の分類軸上の値(Zmax)を「1.0」とし、(式8)に例示する式に基づいて各コロニーのRGBの各階調値における代表座標(R(Zi),G(Zi),B(Zi))の分類軸上の値(Zi)を代表値として算出する。
なお、(式8)において分類軸の単位ベクトルを(a,b)とし、当該分類軸の切片を「c」とする。ただし、(式8)は、2次元の座標空間における各コロニーのスコアであり、他の複数次元の座標空間の場合には、その次元数に適した式を用いるようになっている。
そして、コロニー検出判定部422は、各コロニーのスコアを算出すると、当該算出された各コロニーのスコアに基づいて、RGBの各階調値における2種以上のコロニーの種別を判別する。
例えば、コロニー検出判定部422は、予めプロファイル情報などによって定められた種別を判別する閾値(正規化に基づく閾値)に基づいて、2種以上のコロニーの種別を判別する。
また、図12に、変換処理前(図12(A))と変換処理後(図12(B))におけるスコア値の例を示す。例えば、単に分類軸からの各コロニーピクセルの座標値によって各コロニー(大腸菌の属性を有する第1コロニー及び第2コロニーと大腸菌群の属性を有する第3コロニー)のスコアを算出すると、図12(A)示すように、変化処理前においては、第2コロニーよりも第3コロニーのスコアが高く、閾値を適切に選択したとしても、第2コロニーか第3コロニーの種別を適切に判別することができていない。その一方、変換処理後においては、図12(B)示すように、第2コロニーよりも第3コロニーのスコアが低くなり、閾値を適切に選択すれば、第2コロニーか第3コロニーの種別を適切に判別することができるようになっている。
なお、コロニー検出判定部422は、図13に示すように、元の培地画像(図13(A))とともに、算出したコロニー毎の識別された種別を示す種別情報(必要によってはスコア情報)を有する培地画像(図13(B))を、管理者や作業者に閲覧可能に提供するために、当該種別情報及び各スコアの情報を培地情報として登録処理部421に提供する。特に、図13(B)には、大腸菌と大腸菌群のコロニーには、それぞれ紺と赤紫のマーキングを重畳しており、コロニーの種別を容易に判別することができるようになっている。
また、コロニー検出判定部422は、管理者や作業者が閲覧したスコアに基づいて閾値を設定した場合には、当該設定された閾値によってコロニーの種別を識別するようにしてもよい。
(擬陽性のコロニーを排除する場合)
コロニー検出判定部422は、特定した各コロニー候補を、当該各コロニー候補の色特徴量を基準とする複数次元の座標空間に座標値として用いる。そして、コロニー検出判定部422は、コロニー候補ピクセルの座標値に基づいて、コロニー候補ピクセルの中からコロニーピクセルとコロニーピクセルでないピクセル(すなわち、非コロニーピクセル)適切に分類するための分類条件としての分類軸(すなわち、複数次元の座標空間における閾値)を設定する。
特に、コロニー検出判定部422は、各コロニー候補ピクセルの各座標値に基づいて、主成分分析法を実行し、分類軸を設定し、当該設定した分類軸に基づいて、コロニー候補ピクセルがコロニーピクセルか非コロニーピクセルかを識別する。
通常、コロニーが発現する場合には、色特徴量が薄い状態からはじまり、徐々にその色が濃くなっていくので、コロニーの色特徴量に基づいて同系色における非コロニーとの識別を行うことは技術的に困難とされている。特に、上述の図7(A)及び(B)に示すように、同系色における色の濃さによってコロニーか否かを判定する場合には、誤検出及び過検出が発生しやすく、的確にコロニーを検出することは難しい。
そこで、本実施形態のコロニー検出判定部422は、複数の色特徴量に基づく主成分分析法によってコロニー候補ピクセルにおける第1主成分の軸(すなわち、分類軸)を特定するとともに、当該分類軸に直交する軸(第2主成分)に対するスコアを算出し、当該算出したスコアに基づいて偽陽性のコロニーを除外して真性のコロニーを特定する。
特に、コロニー検出判定部422は、
(1)図14(A)に示すように、各コロニー候補ピクセルにおける複数の色特徴量に基づく複数次元の座標に基づくヒストグラムを生成し、
(2)図14(B)に示すように、当該生成したヒスとグラムに基づいて、第1主成分の軸(すなわち、第1主成分ベクトル)を分類条件として特定し、
(3)図14(C)に示すように、第2主成分の軸(すなわち、第2主成分ベクトル)に基づく各コロニー候補ピクセルの距離を算出しつつ、当該算出した距離について各コロニー候補に属する各コロニー候補ピクセルの代表値を各コロニー候補のスコアとして算出する。
なお、図14は、可視化のためにRGBの各階調値においてB軸を省略した座標空間を示す。
また、コロニー検出判定部422は、上述の2種以上のコロニーを識別する場合と同様に、コロニー候補毎に、該当するコロニー候補に属する各コロニーピクセルの分類軸に対する値などの代表値を算出し、当該代表値の平均を各コロニー候補のススコアとして算出する。
特に、代表値としては、例えば、コロニー検出判定部422は、上述の2種以上のコロニーを識別する場合と同様に、RGBの最小の階調値(すなわち、RGB=(0,0,0))から最大の階調値(すなわち、RGB=(255,255,255))を含め、各コロニー候補ピクセルのRGBの各階調値によって示される複数次元の座標値から分類軸上の値に変換してそれぞれの座標値における代表座標(具体的には、座標値から分類軸に垂線を引いた際の交点)を算出し、各代表座標における分類軸上の最小の階調値の代表値からの距離を「0」〜「1.0」に正規化した値を示すスコアとして算出する。
そして、コロニー検出判定部422は、算出した各コロニー候補のスコアに基づいて、RGBの各階調値における偽陽性のコロニーと真性のコロニーとの種別を判別する。例えば、コロニー検出判定部422は、予めプロファイル情報などによって定められた種別を判別する閾値に基づいて、偽陽性のコロニーと新生のコロニーとを判別する。
また、コロニー検出判定部422は、図15に示すように、算出したコロニー毎の識別された種別を示す種別情報及び各スコアを管理者や作業者に閲覧可能に提供するために、当該種別情報及び各スコアの情報を培地情報として登録処理部421に提供する。
なお、コロニー検出判定部422は、管理者や作業者が閲覧したスコアに基づいて閾値を設定した場合には、当該設定された閾値によってコロニーの種別を識別するようにしてもよい。
また、コロニー検出判定部422は、上述では主成分分析法を用いているが、回帰分析法によって各コロニー候補のスコアを算出してもよい。
さらに、コロニー検出判定部422は、コロニーを対象とせずに、コロニーの核を検出し、当該検出した核に対してスコアを算出して真性のコロニーと偽陽性のコロニーと分類してもよい。例えば、大腸菌の場合には、コロニーの核としてその中心に黒色の核が発現する。
そこで、この場合においては、コロニー検出判定部422は、コロニーを検出しつつ、当該コロニーの中心に存在する核の候補(すなわち、核候補ピクセル)を検出し、当該検出した核に対して主成分分析又はその他の分析を実行して各核のスコアを算出する。
そして、コロニー検出判定部422は、算出した各候補のスコアに基づいて偽陽性の核か真性の核かを識別しつつ、真性の核が属するコロニーを真性のコロニーとして検出してもよい。
(その他)
本実施形態のコロニー検出判定部422は、各種別のコロニーを計数し、又は、真性のコロニーを計数し、検出したコロニーピクセル又はコロニー候補ピクセル(例えば培地画像上の位置及び自ピクセルが属するコロニーやコロニー候補のID)、検出したコロニー又はコロニー候補の情報(例えばコロニーピクセルの培地画像上の配置位置、色特性又は重心位置などの所定の情報)、コロニーの種別や真性の有無などの情報とともに、培地情報として登録処理部421を介して培地情報DB401に記憶する。
また、コロニー検出判定部422は、計数されたコロニー数に基づいて、培地判定を実行する。特に、コロニー検出判定部422は、培地判定処理としては、予め定められたプロファイル情報に基づいて、予め設定された閾値と検出したコロニー数を比較しつつ、当該検出したコロニー数が閾値以上の場合には、異常と判定し、また、当該閾値より小さい場合には、正常であると判定し、各フィルム型培地60の検体が異常であるか正常であるかの培地判定(すなわち、検体の合否判定)を実行する。
[5]衛生管理システムの動作処理
[5.1]培地情報登録処理(画像読み取り装置)
次に、図16を用いて本実施形態の画像読み取り装置10におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図15は、本実施形態の画像読み取り装置10における培地情報の登録処理動作を示すフローチャートである。
本動作においては、プロファイル情報DB405には、種別IDに基づいて複数のプロファイル情報が予め記憶されているものとする。
また、本動作においては、登録すべき複数のフィルム型培地60は、例えば、ADFユニット140の所定の場所に既に載置されているものとし、各フィルム型培地60におけるコロニー数の検出は、培地情報のデータベース400への登録時に実行されるものとする。
なお、本動作においては、画像読み取り装置10においては撮像画像を読み取りするためのRGBの階調値又は輝度値に対するキャリブレーションが実行されているものとする。
まず、画像読み取り装置10において、アプリケーション制御部120は、操作部170を介して培地登録アプリの起動指示を検出すると(ステップS101)、アプリケーション記憶部101から培地登録アプリを読み出して起動する(ステップS102)。
このとき、アプリケーション制御部120は、表示制御部161と連動して表示部160に登録すべき複数のフィルム型培地60がADFユニット140に既に載置されているかを確認するための表示を実行するとともに、端末管理制御部190の制御下、ワークメモリの初期化その他の必要な処理を実行する。
次いで、アプリケーション制御部120は、各フィルム型培地60の読み取り開始を促す画面(以下、「読み取り開始確認画面」ともいう。)を表示部160に表示させるとともに、操作部170と連動し、画像データ生成部110による読み取りを待機する(ステップS106)。
次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161と連動しつつ、操作部170によるフィルム型培地60の読み取り開始を検出すると(ステップS107)、ADFユニット140を制御して当該ADFユニット140にセットされた複数のフィルム型培地60を順次スキャニング領域に移動させるとともに、画像データ生成部110は、複数のフィルム型培地60をスキャニングして画像化し、生成した各撮像画像データを画像データ記憶部102に所定の画像IDを付与しつつ記憶する(ステップS108)。
なお、アプリケーション制御部120は、複数のフィルム型培地60がADFユニット140に載置されている場合には、各フィルム型培地60を連続的に画像化し、それぞれを画像データ記憶部102に所定の画像IDを付与しつつ記憶する。
次いで、アプリケーション制御部120は、タイマー180より、現在時刻を各フィルム型培地60における撮像画像データの読み取り時刻として取得し、当該各撮像画像データに対応付けてメタデータとして画像データ記憶部102に記憶する(ステップS109)。
次いで、アプリケーション制御部120は、作業者の指示に基づいて、各撮像画像データとそのメタデータを一の培地情報として、ネットワーク通信部130を介してサーバ装置40に送信し(ステップS118)、画像読み取り装置10の培地情報登録処理を終了する。
なお、このとき、ネットワーク通信部130は、培地情報を送信する際に、端末IDや入力されたID及びパスワードに基づいてサーバ装置40へのアクセスをするためのログインを実行し、ログイン完了後にサーバ装置40との通信回線を確立し、培地情報を送信する。
[5.2]培地情報登録処理(サーバ装置)
次に、図17を用いて本実施形態のサーバ装置40におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図17は、本実施形態のサーバ装置40における培地情報の登録処理動作を示すフローチャートである。
本動作は、画像読み取り装置10によって実行された培地情報登録処理と連動して実行される処理であり、サーバ装置40は、画像読み取り装置10から送信された各フィルム型培地60の個々の撮像画像データ毎に該当する情報を培地情報として培地情報DB401に登録するための処理である。
まず、サーバ装置40においては、通信制御部410が画像読み取り装置10から送信された一の撮像画像データを有する一の培地情報を受信すると(ステップS300)、登録処理部421は、撮像画像データによって構成される撮像画像について画像解析を実行し、種別ID66及び培地IDを取得して特定し、コロニー検出判定部422に提供する(ステップS301)。
特に、登録処理部421は、当該種別ID66の画像解析、若しくは、作業者の指示に基づいて、培地IDを取得する(ステップS302)。
次いで、登録処理部421は、培地情報に含まれる読み取り時刻に基づいて撮像画像データにおける培地情報を登録する際の培養検査時刻を特定する(ステップS305)。なお、このとき、登録処理部421は、画像読み取り装置10と連動して各撮像画像データにおける培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる読み取り時刻を当該培養検査時刻としてそのまま登録してもよい。
次いで、コロニー検出判定部422は、登録処理部421によって特定された種別ID66に基づいて、プロファイル情報DB405を該当するプロファイル情報を検索して取得するとともに(ステップS306)、撮像画像から培地部分の画像である培地画像を抽出し、当該抽出した培地画像をコロニー検出判定部422に提供する(ステップS307)。
次いで、コロニー検出判定部422は、登録処理部421によって特定された種別ID66及び培地IDに基づいて、作業管理DB404を検索し、該当する検体種別及び希釈液の種別を取得し(ステップS308)、培地画像から各ピクセルの色特徴量(RGBの各色成分)を抽出する(ステップS310)。
次いで、コロニー検出判定部422は、取得した検体種別、希釈液の種別及びプロファイル情報と、各ピクセルの色成分に基づいて、コロニーピクセル又はコロニー候補ピクセルを特定しつつ、コロニー又はコロニー候補を特定する(ステップS311)。
次いで、コロニー検出判定部422は、複数の色特徴量(RGBの各階調値)を基準とする複数次元の座標空間において、特定したコロニー又はコロニー候補に属する各コロニーピクセル又はコロニー候補ピクセルの色特徴量を示す座標値に基づいて、コロニーピクセル又はコロニー候補ピクセルを予め定められた種別毎に分類するための分類条件(すなわち、基準軸及び分類軸)を特定する(ステップS312)
次いで、コロニー検出判定部422は、分類条件に対する各コロニーピクセル又は各コロニー候補ピクセルの座標値に基づいて、分類されたコロニーピクセルによって構成されるコロニー、又は、コロニー候補ピクセルによって構成されるコロニー候補のスコアを算出する(ステップS313)。
なお、このとき、コロニー検出判定部422は、画像読み取り装置10と連動し、検出したコロニーをスコアに対応付けて当該画像読み取り装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。また、このとき、コロニー検出判定部422は、ステップS314によって使用する閾値を管理者や作業者によって決定させてもよい。
次いで、コロニー検出判定部422は、予め定められた閾値又は管理者や作業者によって定められた閾値に基づいて、算出したコロニー又はコロニー候補のスコアに基づいて、コロニーの種別又は真性のコロニーと偽陽性のコロニーの識別を実行する(ステップS314)。
次いで、コロニー検出判定部422は、検出したコロニーの種別毎に、又は、検出したコロニーを計数するとともに、取得したプロファイル情報に基づいて、培地判定(合否判定)を実行する(ステップS315)。
なお、コロニー検出判定部422は、ステップS314及びステップS315の処理においては、画像読み取り装置10と連動し、検出したコロニー数及び合否判定の結果を当該画像読み取り装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
また、コロニー検出判定部422は、ステップS322の処理の培地判定においては、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
次いで、登録処理部421は、撮像画像データ、培地画像データ、種別ID66、培地ID、判定された合否、検出されたコロニー数及び培地情報に含まれる読み取り時刻を培養開始時刻とした培養開始時刻情報を培地情報DB401に登録し(ステップS316)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を画像読み取り装置10の表示部160に表示させ、当該画像読み取り装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、上述の動作は、画像読み取り装置10によって培地情報を取得した際に実行しているが、画像読み取り装置10によって取得した培地情報が培地情報DB401に記録され、その後に実行されてもよい。
以上、本実施形態の衛生管理システムSにおいては、複数の色特徴量によってコロニーピクセル又はコロニー候補ピクセルを分類し、コロニー毎に又はコロニー候補毎に複数の色特徴量に基づくスコアを算出することができるので、色特徴量の異なるコロニーの種別を判別し、又は、同系色における偽陽性のコロニーと真性のコロニーとの判別を的確に行うことができる。
すなわち、本実施形態の衛生管理システムSにおいては、複数の色特徴量の観点から該当するコロニーの種別や真性のコロニーの傾向を定め、当該定めた傾向に基づいて各コロニーやコロニー候補のスコアを算出することができるので、2種以上のコロニーの色特性が混在した色特徴量を有するコロニーの判別、又は、偽陽性として判断されたコロニー候補が存在する場合における該当するコロニーの判別を的確に実行することができる。
したがって、本実施形態の衛生管理システムSにおいては、2種以上のコロニーの色特性が混在した色特徴量を有するコロニー、又は、偽陽性として判断されたコロニー候補が存在する場合であっても、該当するコロニーを的確に検出することができる。
[6]変形例
[6.1]変形例1
本実施形態において、イメージスキャナ等の画像読み取り装置10単体を用いて培地情報の登録処理を実行している点に代えて、デジタルカメラ、スマートフォン又は携帯用電話機などの撮像機能付き携帯用通信端末装置を用いて、各培地を撮像し、撮像画像データを生成するようにしてもよい。
[6.2]変形例2
本実施形態において、イメージスキャナ等の画像読み取り装置10単体を用いて培地情報の登録処理を実行している点に代えて、ラップトップ型又はデスクトップ型のパーソナルコンピュータ及びイメージスキャナの画像読み取り装置、又は、パーソナルコンピュータ及びタブレット型情報端末装置、デジタルカメラ若しくはスマートフォン等の画像入力装置と、によって当該培地情報の登録処理を実現してもよい。
この場合には、パーソナルコンピュータと画像入力装置とを所定の通信規格によって接続し、パーソナルコンピュータと画像入力装置とを一体的に用いて当該培地情報の登録処理を実現してもよいし、メモリカードその他の物理的なメモリに画像入力装置によって先に取得した撮像画像データを記憶させ、当該記憶させた各画像データをパーソナルコンピュータによって取り込みつつ、当該培地情報の登録処理を実現してもよい。
また、この場合には、サーバ装置40の機能をパーソナルコンピュータに持たせて上記の各種の処理を実行してもよい。
[6.3]変形例3
本実施形態においては、画像読み取り装置10、管理者端末装置20、サーバ装置40が同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。
また、サーバ装置40は、ネットワークを介して接続されるデータベースを用いて培地情報その他の情報の読み出し及び記録を行ってもよいし、一又は複数の装置によって形成されていてもよい。
[6.4]変形例4
本実施形態においては、フィルム型培地60を用いて当該フィルム型培地60に培養された検体における培地情報の登録を実行しているが、寒天培地を用いて当該寒天培地に培養された菌及びその検体における培地情報の登録を実行してもよい。
この場合には、画像読み取り装置10に代えて、デジタルカメラ、スマートフォン又は携帯用電話機などの撮像機能付き携帯用通信端末装置を用いて、各寒天培地を撮像し、撮像画像データを生成する。
[6.5]変形例5
本実施形態においては、色特徴量としてRGB空間を用いているが、HSV空間、XYZ空間及びLa*b*空間などその他の色空間を用いてもよいし、また、生成したモデルデータを管理者の手作業によって編集することも可能である。