以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、食品の製造ライン又は検査ライン(以下、「作業ライン」という。)におけるフィルム型培地を用いた衛生管理システムに対して、本発明に係るコロニー検出システム、そのプログラム、及び、コロニー検出方法を適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
[A]第1実施形態
はじめに、図1〜図11を用いて本発明の衛生管理システムの第1実施形態について説明する。
[A1]衛生管理システム
まず、図1を用いて本実施形態の衛生管理システムSについて説明する。なお、図1は、本実施形態の衛生管理システムSの構成を示す構成図である。
本実施形態の衛生管理システムSは、フィルム型の培地(すなわち、フィルム型培地)60を用いるとともに、当該フィルム型培地60に関する情報(以下、「培地情報」という。)をデータ管理することによって、食品の製造上又は検査上の衛生状態を検査するためのシステムである。
特に、本実施形態の衛生管理システムSは、加工中又は加工後の食品を製造する製造工程又は当該食品を検査する検査工程を有する作業ライン80において、加工中又は加工後の食品を検体として抽出し、フィルム型培地60で検体に含まれる一般生菌又は大腸菌等の予め特定した細菌を培養させた際の培養状況をデータ管理するシステムである。
具体的には、本実施形態の衛生管理システムSは、フィルム型培地60の培地種別を示す情報(以下、「種別ID」という。)66を用いて個々のフィルム型培地60の種別を識別し、食品の衛生状態をデータ上で管理及び判定するために、食品の製造又は検査における作業に関する情報(以下、「作業情報」という。)と、当該抽出した検体に含まれる細菌を培養する(コロニーが形成される)前後において画像読み取り装置10によって取得されるフィルム型培地60の培地情報と、を対応付けてサーバ装置40(具体的には、データベース400)に登録することが可能な構成を有している。
また、本実施形態の衛生管理システムSは、フィルム型培地60の全体が画像化された撮像画像のデータ(以下、「撮像画像データ」という。)から、培地部分(すなわち、後述の培養層部分)の画像(すなわち、培地画像)を抽出し、抽出した培地画像に基づいて、当該培地に培養されたコロニーの検出、当該検出したコロニーの計数及び培地の異常の有無の判定(以下、「コロニー検出判定処理」という。)を実行するようになっている。
特に、本実施形態の衛生管理システムSは、培地の形状(具体的には後述の培養層63の形状)を特定するためのテンプレート画像に基づいて、撮像画像上を走査し、予め定められた条件を有する領域を、培地画像の画像部分として特定するテンプレートマッチングを実行することによって、撮像画像の中から培地画像の画像部分を抽出する構成を有している。
通常、培地画像について画像解析を行う場合には、培地画像を構成するピクセルの輝度やRGBなどの色特徴量に基づいて実行される。しかしながら、培地画像に、培地以外の培地が形成される台紙(基材)部分の画像のみならず、当該台紙に文字やマークが存在する部分の画像が含まれる場合には、文字やマークの色が影響を与え、的確に画像解析を実行することができない場合もある。
そこで、本実施形態の衛生管理システムSは、テンプレート画像を用いたテンプレートマッチングを実行することによって撮像画像の中から培地画像の画像部分を的確に抽出し、抽出した培地画像に基づいてコロニーの検出等を行うようになっている。
なお、本明細書においては、フィルム型培地60の種別とは、培地そのものの種別、及び、培養される菌が異なる場合の培地の種別を示すだけでなく、当該フィルム型培地60を製造する製造メーカが異なる場合の培地の種別を示す。例えば、本実施形態においては、A社製のフィルム型培地とB社製のフィルム型培地とでは、培地の種別が異なるとして説明を行う。
このような構成を実現するために、本実施形態の衛生管理システムSは、図1に示すように、各フィルム型培地60に関する培地情報を登録する際に用いる画像読み取り装置10と、当該衛生管理システムSを管理する管理者端末装置20と、ネットワーク30と、データベース400を有し、かつ、画像読み取り装置10又は管理者端末装置20と連動し、培地情報の登録管理を含む各種の処理を実行するサーバ装置40と、を有している。
画像読み取り装置10は、フィルム型培地60を取り込むためのADF(オートドキュメントフィーダ)機能を有し、所定の処理を組み合わせたアプリケーションに従って、フィルム型培地60をスキャニングして画像化し、画像データを生成するイメージスキャナなどの静止画像化装置である。
具体的には、画像読み取り装置10は、ADFによってフィルム型培地60を取り込む際に、又は、当該フィルム型培地60を取り込んで載置台に載置した際に、フィルム型培地60の全体を画像化して撮像画像データを生成し、生成した撮像画像データをサーバ装置40に提供する構成を有している。
また、画像読み取り装置10は、培地情報をサーバ装置40に送信する際には、ネットワーク30を介してサーバ装置40に送信する構成を有している。ただし、画像読み取り装置10は、BLUETOOTH(登録商標)、ワイヤレスLAN(WLAN:Wireless Local Area Network)又はワイヤレスPAN(WPAN:Wireless Personal Area Network)等の近距離無線用の通信規格を用いて直接若しくはアクセスポイントを介してサーバ装置40に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置40に送信してもよい。
そして、画像読み取り装置10は、フィルム型培地60の読み取り操作の他に、作業者の入力操作に基づいて、生成した画像データに所定の情報を追記することもできるようになっている。
管理者端末装置20は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置20は、管理者の識別情報(以下、「管理者ID」という。)と管理者のパスワード及び作業者の識別情報(すなわち、「作業者ID」)を管理し、サーバ装置40へのアクセス権限の管理、画像読み取り装置10の端末IDの管理、及び、登録された培地情報の修正その他の管理を行うことができる制御装置として機能する。
また、管理者端末装置20は、XML(eXtensible Markup Language)等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を用いてサーバ装置40とのデータの授受、報告書の閲覧等を実行することができる構成を有している。
さらに、管理者端末装置20は、画像読み取り装置10の遠隔操作を行うことができるリモート機能を有している。
なお、管理者端末装置20は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。
ネットワーク30は、例えば、携帯電話網を含む公衆電話回線網(以下、「長距離通信ネットワーク」という。)、近距離無線ネットワーク等のIP(Internet Protocol)ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク30の構成は、これに限られない。
サーバ装置40は、画像読み取り装置10又は管理者端末装置20と連動し、ロット及び作業ライン80の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置である。
そして、サーバ装置40は、画像読み取り装置10と連動し、画像読み取り装置10から送信された撮像画像データその他のデータを取得し、当該取得したデータからフィルム型培地60におけるコロニーを検出するとともに、当該コロニー関する情報を培地情報として登録する構成を有している。
具体的には、サーバ装置40は、
(1)検体を載置してコロニーを培養する培地が画像化された培地画像を含む撮像画像データを取得し、
(2)培地の形状を特定するためのテンプレート画像に基づいて、撮像画像データによって構成される撮像画像上を走査し、予め定められた条件を有する領域を培地画像の画像部分として特定することによって、撮像画像の中から培地画像の画像部分を抽出し、
(3)抽出した培地画像を構成するピクセルの色に関する色特徴量をそれぞれ抽出し、
(4)抽出した各ピクセルの色特徴量に基づいて、コロニーを画像化するために用いられているコロニーピクセルを特定し、
(5)特定したコロニーピクセルに基づいて、培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数し、
(6)検出したコロニーに関する情報及び計数したコロニー数を培地情報としてデータベース400に登録する、
構成を有している。
具体的には、本実施形態のサーバ装置40は、フィルム型培地60の種別(以下、「培地種別」という。)を、フィルム型培地60に設けられた培地種別を識別する識別情報(以下、「種別ID」という。)66を取得し、当該取得した種別ID66に基づいて各フィルム型培地60の培地種別を識別する構成を有している。
そして、本実施形態のサーバ装置40は、識別した培地種別に基づいて、複数のテンプレート画像の中から一のテンプレート画像を選択し、当該選択したテンプレート画像を用いて培地画像を抽出する構成を有している。
特に、本実施形態においては、テンプレート画像は、培地形状の部分(すなわち、後述の培養層63の部分)をマスクするためのマスク画像となっており、フィルム型培地60を撮像して得られた画像(すなわち、撮像画像)から培地部分の画像である培地画像の領域を検出及び抽出するために用いる画像である。
そして、撮像画像内には、培地形状の部分の画像と当該培地が形成される台紙部分の色(背景色)が画像化された画像(以下、「背景画像」ともいう。)が含まれるので、本実施形態のサーバ装置40は、テンプレート画像を用いて、当該撮像画像から、背景画像(すなわち、台紙部分の各ピクセル)を除去し、培地画像を抽出することができるようになっている。
また、本実施形態のサーバ装置40は、培地画像を抽出するにあたり、フィルム型培地60における培地部分の配置構造上の情報(以下、「配置構造情報」という。)に基づいて、培地画像が形成されていると想定される確度の高い領域を探索領域として決定するとともに、決定した探索領域内について選択したテンプレート画像を走査することによって培地画像を抽出する構成を有している。
このような構成により、本実施形態の衛生管理システムSにおいては、培地画像を正確に抽出することができるので、的確にコロニーの検出及びその計数を実行することができるとともに、的確に検出されたコロニー及びその数に関する情報を含む培地情報をデータベース400に登録することができるようになっている。
また、本実施形態の衛生管理システムSにおいては、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベース400に登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができるようになっている。
[A2]フィルム型培地
次に、図2を用いて本実施形態のフィルム型培地60について説明する。なお、図2は、本実施形態に用いるフィルム型培地60の一例である。
本実施形態に用いるフィルム型培地60は、フィルム又はシ−ト状の乾燥培地によって作業ライン80の各工程から検出した検体としての食品に含まれる細菌を培養するための培地である。フィルム型培地60は、例えば、一般生菌、大腸菌群及び黄色ブドウ球菌等を培養する培地などであり、その他、カビや酵母、リステリア菌、水中細菌、乳酸菌等の各種の微生物を培養する培地であってもよい。
また、フィルム型培地60は、例えば、図2に示すように、フィルムによって形成される基材シート61と、基材シート61の中心を基準に当該基材シート61上に形成される円形の枠(以下、「円形枠」という。)62と、該枠内に設けられる細菌を培養する培養層63と、当該培養層63を含む基材シート上を被覆するように形成されたカバーシート64と、基材シート61の右側に形成され、培地の種別を示す種別ID66と、を有している。
例えば、種別ID66は、2次元バーコード等のバーコード又は英数字で形成されており、フィルム型培地60の読み取り時に一緒に画像化され、バーコード認識機能又はOCR(Optical Character Recognition)機能などの画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。
基材シート61は、フィルム状又はシート状の基材であれば特に限定されず、例えば、プラスチックフィルムや紙等を用いることができる。プラスチックフィルムの例としては、ポリエチレン、ポリプロピレン、ポリエチレンテレフタレート、ポリエチレンナフタレート、ポリメタクリレート、ポリメチルメタクリレート、ポリメチルアクリレート、ポリエステル、ポリカーボネート等の樹脂フィルムを好ましく挙げることができる。ポリエチレンテレフタレート、ポリプロピレン系の合成紙等が好ましく挙げることができる。なお、ポリプロピレン系合成紙は、ポリプロピレンを主原料とするフィルム合成紙である。
なお、本実施形態の種別ID66においては、フィルム型培地60の培地種別を管理する情報の他に、個々に培地を識別する培地IDが含まれていてもよい。この場合には、培地IDは、培地種別IDとともに、画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。
[A3]画像読み取り装置
次に、図3を用いて本実施形態の画像読み取り装置10の構成について説明する。なお、図3は、本実施形態の画像読み取り装置10の構成を示すブロック図である。
本実施形態の画像読み取り装置10は、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部100と、スキャニング機能(画像化機能)を有し、フィルム型培地60の画像データその他の画像データを生成する画像データ生成部110と、サーバ装置40と連動して培地情報をサーバ装置40に初期登録及び培養直後を含む培養後登録する処理(以下、「培地情報登録処理」という。)その他の処理を実行するアプリケーション制御部120と、を備えている。
また、画像読み取り装置10は、サーバ装置40及び他の通信装置と通信を行うネットワーク通信部130と、ADFユニット140と、表示部160と、表示部160を制御する表示制御部161と、ユーザの操作を入力するための操作部170と、タイマー180と、装置全体を制御する端末管理制御部190と、を有している。
データ記憶部100は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部101と、画像データ生成部110によって読み取られて生成された画像データが記憶される画像データ記憶部102と、画像読み取り装置10の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、画像読み取り装置10で実行される各処理において用いられるデータが記憶されるROM/RAM103と、を有している。
特に、アプリケーション記憶部101には、画像データ生成部110、操作部170、表示制御部161及び画像データ記憶部102と連動しつつ、アプリケーション制御部120によって実行されるアプリケーションプログラム(以下、「アプリ」という。)が記録されている。
画像データ記憶部102には、画像化した撮像画像データと、各画像データを管理するための画像IDと、読み取り時刻等の各画像データに対応する各種のメタデータと、が対応付けられて記憶される。なお、画像IDとは、画像読み取り装置10において適宜付与される任意の識別情報である。
画像データ生成部110は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
特に、画像データ生成部110は、検体に発生した菌が培養される、又は、培養されたフィルム型培地60を画像化する場合には、イメージスキャニングされたフィルム型培地60全体を画像化し、当該フィルム型培地60全体の画像データを撮像画像データとして生成する。
アプリケーション制御部120は、所定のアプリによって培地情報登録処理を実現する。特に、アプリケーション制御部120は、アプリケーション記憶部101に記憶された培地登録アプリによって画像読み取り装置10の各部を制御するための各種制御プログラムを実行しつつ、ネットワーク通信部130、表示制御部161及び操作部170と連動して、又は、制御して各種の処理を実行する。
特に、アプリケーション制御部120は、アプリケーション記憶部101に記録された培地登録アプリを実行し、画像データ生成部110を制御して読み取ったフィルム型培地60の撮像画像データを取得し、これらのデータに画像IDを付与しつつ各データのメタデータとともに培地情報として画像データ記憶部102に記憶する。
また、アプリケーション制御部120は、フィルム型培地60を画像化する際に、タイマー180から現在時刻を取得し、当該現在時刻を読み取り時刻として所定の画像IDとともに撮像画像データのメタデータとして画像データ記憶部102に記憶する。
他方、アプリケーション制御部120は、撮像画像データの取得後に、又は、所定のタイミングによって、画像データ記憶部102に記憶された培地情報をサーバ装置40に登録する培地情報登録処理を実行する。
なお、アプリケーション制御部120は、実装上、端末管理制御部190を構成するCPU(中央演算処理装置)が、アプリを実行した際の機能として実現されるものであってもよい。
ネットワーク通信部130は、アプリケーション制御部120及び端末管理制御部190の制御の下、ネットワーク30に接続されるサーバ装置40との通信回線を構築し、撮像画像データ等の種々のデータの授受を行う。
ADFユニット140は、機械構造及び制御回路などのADF機能を実現するための構成を有している。特に、ADFユニット140は、同一の場所に重ねて載置された複数のフィルム型培地60を一枚ずつ、スキャニングを実行するエリア(図示しない)に取り込むための機構であり、アプリケーション制御部120の制御の下に、駆動する。
表示部160は、所定のサイズ(例えば、5インチ、W480×H960ピクセル)の画像表示領域を有し、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部161において生成された表示データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示部160は、培地登録アプリが実行されている際に、操作部170と連動しつつ、各種の表示及び画像化されたフィルム型培地60との画像を表示する。
表示制御部161は、アプリケーション制御部120又は端末管理制御部190の制御の下、表示部160に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部160に出力するようになっている。
操作部170は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部160上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部170は、培地登録アプリの起動時に上述の各種の処理を実行するための操作を行う際に用いられるようになっている。
なお、本実施形態においては、操作部170は、作業IDなどを直接手入力する際に用いる。
タイマー180は、画像データ生成部110がフィルム型培地を読み取りするときの日付及び時刻をアプリケーション制御部120に提供する。
端末管理制御部190は、主に中央演算処理装置(CPU)によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像読み取り装置10の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御するようになっている。
[A4]サーバ装置
[A4.1]構成
次に、図4を用いて本実施形態のサーバ装置40の構成について説明する。なお、図4は、本実施形態のサーバ装置40の構成を示す構成図である。
本実施形態のサーバ装置40は、図4に示すように、作業情報及び培地情報等の各種の情報が記憶されるデータベース400と、画像読み取り装置10及び管理者端末装置20と通信を行う通信制御部410と、培地情報登録処理等の各種の処理を実行するデータ処理部420と、サーバ装置40の各部を制御するサーバ管理制御部430と、各部の制御に用いるROM/RAM440と、時刻管理を行うために用いるタイマー450と、を有する。なお、上述の各部は、バス41によって相互に接続され、各構成要素間におけるデータの転送が実行される。
通信制御部410は、所定のネットワークインターフェースであり、画像読み取り装置10又は管理者端末装置20と通信回線を構築し、画像読み取り装置10又は管理者端末装置20と種々のデータの授受を行う。
データベース400は、HDDにより構成され、培地情報データベース(以下、「培地情報DB」と略す。)401、作業管理データベース(以下、「作業管理DB」と略す。)404及びプロファイル情報データベース(以下、「プロファイル情報DB」という。)405を有する。
培地情報DB401は、各作業ライン80の工程毎に抽出され、かつ、画像読み取り装置10によってスキャニングされて取得した検体のフィルム型培地60に関する培地情報が種別ID66毎に、かつ、培地ID毎に培地情報が格納されるデータベースである。例えば、培地情報DB401には、
(1)種別ID66
(2)培地ID
(3)撮像画像データ
(4)培地画像データ
(5)スキャニングした時刻
(6)コロニー数
(7)培地判定結果
(8)サイズ(ピクセル数)、重心位置、各ピクセルの特徴量など検出された各コロニーに関する情報(以下、「コロニー情報」という。)
(9)コロニー検出時に用いたプロファイル情報の種別(プロファイルID)
の9つデータが対応付けて記録される。
なお、各培地情報における、コロニー情報、コロニー数及び培地判定としては、データ処理部420によって判定された結果が記憶される。また、各培地情報におけるコロニー情報、コロニー数及び培地判定は、培地情報が登録される際に登録されてもよいし、当該培地情報の登録タイミングと異なる所定のタイミングで登録されてもよい。
作業管理DB404は、培地種別毎の作業内容に関する各種の情報が格納されるデータベースであり、培地情報DB401と対応付けることによって培地種別毎の検査内容を作業者その他に提供するためのデータベースである。例えば、作業管理DB404には、各培地IDに対応付けて
(1)培地ID
(2)検査種別(一般生菌又は大腸菌など検出する菌種)及びフィルム型培地60上に発生する際の色(発色)情報(RGB階調値又はその範囲)
(3)培養開始時刻
(4)培養開始から所定の時間経過後までの培養時間
(5)培養場所(例えば、インキュベータ番号及びインキュベータ内の段数等の位置)
(6)作業日時(作業開始時刻及び終了時刻)
(7)作業者ID(及び/又は作業者名)
の7つデータが対応付けて記録される。
なお、これらの情報は、作業者等によって登録される。また、培養検査時刻には、単一の時刻(すなわち、検体における菌の培養を終了させる終了時刻)だけが設定されてもよいし、培養開始時刻から法定された又は所定の時間経過後、例えば、培養開始時刻から24時間経過後、48時間経過後又は72時間経過後等の複数の時刻が設定されてもよい。
プロファイル情報DB405は、複数のプロファイル情報が格納されるデータベースである。例えば、プロファイル情報DB405には、各種別IDに対応付けて
(1)種別ID
(2)プロファイル情報
(3)テンプレート画像のデータ(以下、「テンプレート画像データ」という。)
(3)配置構造情報(探索領域の情報)
の3つのデータが対応付けて記録される。
また、プロファイル情報には、
(2A)培地画像からコロニーピクセルを検出する際の色に関する特徴量の種別、
(2B)培地の種別及び検体の種別に基づく、コロニーを検出するための検出手法及び当該検出を実行するためのパラメータ、及び、
(2C)培地判定を行う際の合否における閾値
が含まれる。
データ処理部420は、ROM/RAM440に記録されているアプリケーションに応じて各種のデータ処理を実行する。特に、データ処理部420は、所定のプログラムを実行することによって、
(1)通信制御部410の動作管理と、
(2)画像読み取り装置10から送信された培地情報から種別ID66を取得する種別情報取得処理
(3)取得した種別ID66に基づいて配置構造情報及びテンプレート画像データを取得し、取得した配置構造情報及びテンプレート画像データに基づいて、各フィルム型培地60における培地画像を抽出する培地画像抽出処理
(4)取得した種別ID66に基づいてプロファイル情報を取得し、取得したプロファイル情報及び抽出した培地画像に基づいて、当該培地画像に画像化されたコロニーを検出しつつ、検出したコロニー数の計数及び当該コロニー数に基づく培地判定を実行するコロニー検出判定処理と、
(5)各フィルム型培地60における培地情報の登録を実行する培地情報登録処理と、
(6)データベース400の管理及び制御と、
を行う。
具体的には、データ処理部420は、培地情報登録処理を実行する登録処理部421、培地画像抽出処理を実行する画像抽出処理部422と、及び、コロニー検出処理を実行するコロニー検出判定部423を含む。
なお、例えば、本実施形態の登録処理部421は、本発明に係る取得手段を構成し、画像抽出処理部422は、画像抽出手段を構成する。そして、例えば、本実施形態のコロニー検出判定部423は、本発明に係る特徴量抽出手段、特定手段及び検出手段を構成する。また、本実施形態の登録処理部421、画像抽出処理部422及びコロニー検出判定部423の詳細については後述する。
サーバ管理制御部430は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、サーバ装置40の各部を統合制御する。具体的には、サーバ管理制御部430は、画像読み取り装置10とのデータの授受に関する各種の制御を行う。
ROM/RAM440には、サーバ装置40の駆動に必要な各種のプログラムが記録されている。また、ROM/RAM440は、各プログラムの実行中にワークエリアとして用いられる。
タイマー450は、培地情報の登録処理及びロット判定処理を実行する際に必要な時刻を管理するために用いられる。
[A4.2]登録処理部
次に、本実施形態のサーバ装置40における登録処理部421の詳細について説明する。
本実施形態の登録処理部421は、画像読み取り装置10と連動し、作業者の指示に基づいて、各フィルム型培地60における培地情報について培地情報登録処理を実行する。
特に、登録処理部421は、画像読み取り装置10から送信された各培地情報に含まれる各撮像画像データに対して画像解析を実行して種別ID66を取得し、取得した種別ID66を画像抽出処理部422及びコロニー検出判定部423に提供する。
特に、登録処理部421は、培地情報を取得すると、培地情報に含まれる撮像画像データの撮像画像内を探索し、当該撮像画像内に画像化されている2次元バーコードから構成される種別ID66を取得する。そして、登録処理部421は、自動的に若しくは作業者の指示の下、培地を識別するための培地IDを付与し、又は、種別ID66に含まれている場合には、種別ID66とともに培地IDを取得する。
また、登録処理部421は、コロニー検出判定部423のコロニー検出判定処理によって得られたコロニー情報、コロニー数及び判定結果を、それぞれ、培地情報として該当する種別ID66及び培地IDを対応付けて検査時刻とともに培地情報DB401に登録する。
[A4.3]画像抽出処理部
次に、図5〜図8の各図を用いて本実施形態のサーバ装置40における画像抽出処理部422の詳細について説明する。なお、図5は、本実施形態の画像抽出処理部422において実行される探索領域決定処理を説明するための図であり、図6は、本実施形態に用いるテンプレート画像の一例を示す図である。また、図7及び図8は、本実施形態の画像抽出処理部422において実行されるテンプレートマッチング処理を説明するための図である。
画像抽出処理部422は、登録処理部421において取得された種別ID66に基づいて、プロファイル情報DB405を検索して該当するテンプレート画像データを取得することによって、複数のテンプレート画像の中から一のテンプレート画像を選択するとともに、当該選択したテンプレート画像を用いて培地画像を抽出する。
特に、画像抽出処理部422は、
(1)種別ID66に基づいて、プロファイル情報DB405を検索してフィルム型培地60における培地部分の配置構造上の情報を示す配置構造情報を取得し、該当する撮像画像データにおける培地画像が形成されていると想定される探索領域を決定する探索領域決定処理、及び、
(2)決定した探索領域内について選択したテンプレート画像データによって構成される画像(すなわち、テンプレート画像)用いて走査し、培地画像を抽出するテンプレートマッチング処理、
を実行し、テンプレートマッチング処理によって抽出した培地画像をコロニー検出判定部423に出力する。
(探索領域決定処理)
通常、上述の図2に示すように、フィルム型培地60においては、特定の構造を有しており、他の同種のフィルム培地とは培養層63の配置位置やサイズについては完全に同一にならないものの、当該培養層63は、一定の誤差の範囲で形成されている。
一方、培地画像について画像解析を行う場合には、上述のように、培地画像に、培地以外の培地が形成される台紙(基材)部分の画像のみならず、当該台紙に文字やマークが存在する部分の画像が含まれる場合には、文字やマークの色が影響を与え、的確に画像解析を実行することができない場合もある。
また、テンプレート画像を用いたテンプレートマッチング処理を実行する際には、探索範囲内でテンプレート画像を走査させるとともに各走査位置におけるそれぞれの画像について解析を実行し、各画像が培地画像であるか否かを判断する処理を行うため、迅速な処理及び処理負荷の軽減の観点からは、テンプレート画像を走査させる探索領域は狭い方が望ましい。
そこで、本実施形態の画像抽出処理部422は、種別ID66に基づいて、配置構造情報を取得し、該当する撮像画像データにおける培地画像が形成されていると想定される探索領域を決定するようになっている。
具体的には、画像抽出処理部422は、例えば、図5(A)に示すような配置構造情報を有しており、当該配置構造情報に基づいて、撮像画像データによって形成される撮像画像から図5(B)に示すような探索領域を決定する。
(テンプレート画像)
本実施形態の画像抽出処理部422は、テンプレート画像を用いて決定した探索領域についてテンプレートマッチング処理を実行するにあたり、
(1)円、楕円又は矩形など抽出すべき培地(すなわち培養層63)と同一形状を有し、撮像画像上に重畳された場合に当該撮像画像の各ピクセルの色特徴量(具体的には、RGBの階調値や輝度値)を無効化する特性を有する第1領域と、
(2)第1領域の周縁に所定の形状を有する第2領域と、
(3)第2領域の外縁に形成され、撮像画像上に重畳された場合に当該撮像画像の各ピクセルの色特徴量を無効化する特性を有する第3領域と、
を有するテンプレート画像を用いる。なお、第1領域の「同一形状」は、培地画像の領域を決定することができる形状であれば、完全に同一である必要はない。
特に、本実施形態においては、画像抽出処理部422は、第1領域及び第3領域にテンプレートマッチングにおける演算から除外するためのマスク(テンプレートマスク)が形成されているテンプレート画像(すなわちマスク画像)を用いる。
通常、培養層63の画像である培地画像において、コロニーが発現されている場合には、当該培地画像上には、培養層63が形成される台紙の色を示す背景色とは異なりコロニーを形成する色を有する画素が含まれることになる。このため、当該領域(培地部分の領域)には、個々のフィルム型培地60によって(すなわち、培地画像毎に)異なる色特徴量が存在することになるので、培地画像を抽出する際(培地画像の領域を画定させる際)に、当該領域の各画素の色特徴量を用いることは誤検出を招く可能性が高くなる。
また、フィルム型培地60には、例えば、上述の図2に示すように、種別ID66や製造メーカに関する情報、又は、作業者が記入した文字その他のマーキングなど種々の情報(以下、「マーキング情報」という。)が、黒などの色が付されて形成されていることが多く、フィルム型培地60の周縁部分まで培地画像を特定するための処理に用いると、培地画像を他の領域と識別することが難しくなり、的確に当該培地画像を検出することができない場合もある。
一方、培地部分の領域と、当該フィルム型培地60の台紙や基材などのフィルム型培地60の背景色の部分との境界が認識することができれば、培地部分の領域を特定すること、すなわち、培地画像を抽出することができる。
そこで、本実施形態の画像抽出処理部422は、培地部分(培養層63の部分)や種々のマーキング情報の影響を排除するために、培養層63と同一形状を有し、撮像画像上に重畳された場合に当該撮像画像の各ピクセルの色特徴量を無効化する特性を有する第1領域と、第1領域の周縁に形成された当該撮像画像の各ピクセルの色特徴量を有効にする第2領域(すなわち、有効領域)と、第2領域の外縁に第1領域と同様の特性を有する第3領域と、を有するテンプレート画像を用いるようになっている。
例えば、第1領域は、培地画像と、背景色が画像化された各ピクセル(すなわち、背景画像)と、を含む撮像画像上に当該第1領域が重畳された場合に、当該撮像画像の各ピクセルの色特徴量を無効化し、テンプレートマッチングによる演算から除外することが可能な特性を有していればよい。ただし、撮像画像の各ピクセルの色特徴量を無効化する特性としては、完全に無効化し、テンプレートマッチングによる演算から除外するだけに限らず、背景画像を構成する各ピクセルより輝度や各色特徴量の階調値を、第2領域を検出するために影響の無い程度に低くすること(各画素の色特徴量から所定の値を減算(無効に)すること)が可能な特性であってもよい。
また、第2領域は、撮像画像の各ピクセルの色特徴量を有効にする領域であればよい。すなわち、第2領域は、テンプレートマッチングによる演算に用いることができれば、フィルタとして機能し、例えば、1つの色特性(例えばR)の背景色の一部の色特性を無効にし、又はRGBの階調値を補正するなどのフィルタリング機能を有していてもよい。
また、例えば、本実施形態の画像抽出処理部422は、図6に示すような、培養層63と同一の円形状を有する第1領域71と、第1領域71の周縁に所定の幅を有する円環状の形状を有するドーナッツ型の第2領域72と、第2領域の72の外側に形成された第3領域73と、を有するテンプレート画像70を用いる。
なお、本実施形態においては、図6に例示するように、第1領域及び第3領域に、第1領域及び第3領域にテンプレートマッチングにおける演算から除外するためにマスク(テンプレートマスク)が形成されているテンプレート画像(すなわちマスク画像)を用いるが、少なくとも第1領域をマスクするテンプレート画像を用いればよい。例えば、第3領域がなく、第1領域と第2領域とによって形成されているテンプレート画像を用いてもよい。この場合であっても、テンプレートマッチングによって第1領域を検出することができるようになっている。
また、第2領域における円環状の幅は、テンプレートマッチングの演算が実行可能な幅であれば、すなわち、所定のピクセル数を確保することが可能な幅であれば、当該幅に制限はない。
さらに、上記の第1領域71及び第2領域72は、培地部分の形状に合わせて円形状又は円環形状であるが、培地部分(培養層63)の形状が矩形形状などの他の形状の場合には、第1領域71が矩形形状など培養層63と同一の形状によって形成され、かつ、第2形状が第1領域71の周縁に所定の幅を有する矩形環状などの第1領域71(すなわち、培養層63)の形状に合わせた所定の幅を有する環形状によって形成されていればよい。
(テンプレートマッチング)
本実施形態の画像抽出処理部422は、上述のように、種別ID66を用いて特定されたテンプレート画像を用いて、撮像画像上において決定した探索領域に対して、テンプレートマッチング処理を実行する。
具体的には、画像抽出処理部422は、テンプレート画像を用いて、例えば、図7に示すように、撮像画像上の探索範囲内の左上のピクセル座標(例えば、(0,0))から順次1ピクセル毎(「0」から「i」まで)に水平走査方向にずらしつつ、最右座標(n,j)に到達した場合には次のピクセル行の最左座標(0,j+1)に垂直走査して探索範囲の最終のピクセル行の最右座標(n,m)まで走査を行うラスタースキャンを実行し、テンプレート画像に基づいて、それぞれの走査位置における撮像画像上の第2領域を特定する。
例えば、画像抽出処理部422は、図7に示すように、各走査位置Sii(0≦i≦n,0≦j≦m)において、テンプレート画像の中心(xi、yj)を配置し、当該テンプレート画像が撮像画像に重畳した状態におけるテンプレート画像範囲内の撮像画像上の第2領域を特定する。
そして、画像抽出処理部422は、各テンプレート画像の走査位置から、予め定められた条件(以下、「マッチング条件」という。)を有するテンプレート画像の撮像画像上の位置(具体的には、中心位置)を決定し、当該決定した中心位置にテンプレート画像が形成されている場合における第1領域、すなわち、撮像画像上において当該決定した中心位置にテンプレート画像が形成されている場合における第1領域でマスクされている領域を、培地画像の部分であると特定し、当該領域部分の画像を培地画像として抽出する。
例えば、本実施形態の画像抽出処理部422は、各走査位置における第2領域(すなわち、有効領域)に属する各ピクセルの色特徴量(輝度値)を積算してその合算値をマッチングスコアとして算出し、又は、当該合算値からピクセルの色特徴量の平均値をマッチングスコアとして算出し、マッチング条件として当該マッチングスコアが最も高い走査位置を、培地部分を決定するためのテンプレート画像を配置する中心位置に決定する。
特に、本実施形態においては、画像抽出処理部422は、各走査位置において、(式1)に基づいて、テンプレート画像における第2領域に属する撮像画像上の各ピクセルの輝度値I(xi,yj)を算出するとともに、(式2)又は(式3)に基づいて当該各輝度値I(xi,yj)を第2領域について積算してその合算値Z(s)又は当該合算値に基づく各ピクセルの輝度値の平均値Z(av)を算出し、これらが最大となる合算値Z(s)max又は平均値Z(av)maxを有する走査位置を、培地部分を決定するためのテンプレート画像を配置する中心位置に決定する。
なお、上記の式について、R(xi,yj)は、各ピクセルにおけるRの階調値、G(xi,yj)は、各ピクセルにおけるGの階調値、及び、B(xi,yj)は、各ピクセルにおけるBの階調値を示す。また、「P」は、第2領域内のピクセル数を示す。
そして、画像抽出処理部422は、例えば、図8(B)に示すように、決定した中心位置の座標S(最大)=(x(最大)、y(最大))に基づいて、撮像画像上のテンプレート画像の第1領域(例えば、図8(B)に示す中心座標(x(最大)、y(最大))から半径rの円など)が形成されている領域を培地画像として決定する。
特に、フィルム型培地60の背景色が「白」及び培養層63の培地色が「肌色」などの白以外の有色の場合であって、図8(A)に示すように、培地画像部分とテンプレート画像がマッチしていない場合には、テンプレート画像のフィルム型培地60の色を透過する第2領域72に培地画像部分(培養層63)が入り込む。したがって、この場合には、本実施形態の画像抽出処理部422は、第2領域の色特徴量(上記の輝度値)の合算値又はその平均値については、第2領域に培地画像部分が入り込んだだけ最高値から低くなる値を算出することになる。
その一方、図8(A)と同一の条件において、図8(B)に示すように、培地画像部分とテンプレート画像がマッチしている場合には、テンプレート画像のフィルム型培地60の色を透過する第2領域に培地画像部分(培養層63)が入り込まない。したがって、この場合には、本実施形態の画像抽出処理部422は、色特徴量の平均値については、最高値を算出し、当該テンプレート画像の第1領域によってマスクされる領域を、培地画像の部分であると特定し、当該領域部分の画像を培地画像として抽出することになる。
他方、上記の演算手法やそれに基づくマッチング条件は、フィルム型培地60の背景色(基材の色)及び培養層63の色によって異なる。例えば、画像抽出処理部422は、フィルム型培地60の背景色(基材の色)が「白」であって、培養層63の培地色が「肌色」などの白以外の有色の場合には、マッチング条件としては、第2領域内におけるピクセルの色特徴量(本実施形態の場合には輝度)の背景色との差分が最も小さくなる走査位置を、予め定められた条件を有する走査位置、すなわち、培地部分を決定するためのテンプレート画像を配置する中心位置として決定する。
具体的には、フィルム型培地60の背景色(基材の色)が「白色」ではない場合には、画像抽出処理部422は、各走査位置における第2領域に属する各ピクセルの色特徴量(例えば、RGBの各色成分の階調値)と、予め定められた背景色の色特徴量との差分を算出するとともに、当該これらの差分に基づいてSSD(Sum of Squared Distance)又はSAD(Sum of Absolute Disttance)などによって所定の値を算出し、第2領域内における各ピクセルの所定の値の合算値をマッチングスコアとして算出し、又は、当該合算値からピクセルの色特徴量の平均値をマッチングスコアとして算出し、マッチング条件として当該マッチングスコアが最も低い走査位置を、培地部分を決定するためのテンプレート画像を配置する中心位置に決定する。
すなわち、この場合においては、画像抽出処理部422は、第2領域に属するピクセルの色特徴量が背景色に一番近くなる走査位置を、培地部分を決定するためのテンプレート画像を配置する中心位置に決定することとなる。特に、背景色が「有色」の場合には、画像抽出処理部422は、各走査位置における第2領域内の各ピクセルにおける色特徴量の平均が有色のRGBの値と一番近似する走査位置を、予め定められた条件を有する走査位置(培地部分を決定するためのテンプレート画像を配置する中心位置)として決定する。
また、SSDの場合には、画像抽出処理部422は、走査位置毎に、撮像画像におけるテンプレート画像の第2領域に属するピクセルの各色特徴量(R,G,Bの各色成分)と背景色の色特徴量(R,G,Bの各色成分)との差の二乗和(ユークリッド距離の2乗)をそれぞれ算出して積算し、当該積算値が一番小さい走査位置を、予め定められた条件を有する走査位置として決定する。
より具体的には、画像抽出処理部422は、SSDとしては、(式4)に示すように、各走査位置Sijにおける各ピクセルのRGBの各色成分の階調値と、予め定められた背景色の色特徴量との差分に基づいて、ユークリッド距離の二乗和を示すSij(SSD)を算出するとともに、その値を用いて上述の(式2)又は(式3)と同様の演算を実行し、第2領域内における各ピクセルの所定の値の合算値又は平均値をマッチングスコアとして算出する。ただし、(式4)において「Rb」、「Gb」及び「Bb」は、予め記憶された背景色におけるRGBの各色成分の階調値を示す。
また、SADの場合には、画像抽出処理部422は、走査位置毎に、撮像画像におけるテンプレート画像の第2領域に属するピクセルの各色特徴量(R,G,Bの各色成分)と背景色の色特徴量(R,G,Bの各色成分)との差の絶対値の和をそれぞれ算出して積算し、当該積算値が一番小さい走査位置を、予め定められた条件を有する走査位置として決定する。
より具体的には、画像抽出処理部422は、SADとしては、(式5)に示すように、各走査位置Sijにおける各ピクセルのRGBの各色成分の階調値と、予め定められた背景色の色特徴量との差分に基づいて、画素値の差の絶対和を示すSij(SAD)を算出するとともに、その値を用いて上述の(式2)又は(式3)と同様の演算を実行し、第2領域内における各ピクセルの所定の値の合算値又は平均値をマッチングスコアとして算出する。ただし、(式5)において「Rb」、「Gb」及び「Bb」は、(式4)と同様に、予め記憶された背景色におけるRGBの各色成分の階調値を示す。
なお、画像抽出処理部422は、テンプレート画像を拡大及び縮小することによってテンプレートマッチングを行ってもよい。例えば、撮像画像の大きさが撮像倍率その他の影響により、変化している場合には、画像抽出処理部422は、テンプレートマッチングを行う前に、培養層63部分の大きさを予め認識し、テンプレート画像を当該培養層63の大きさに合わせて拡大又は縮小する。そして、画像抽出処理部422は、拡大又は縮小したテンプレート画像を用いてテンプレートマッチングを行ってもよい。
また、画像抽出処理部422は、テンプレート画像に変換可能なデータを予めプロファイル情報DB405に記録しておき、テンプレートマッチングを実行する際に、当該プロファイル情報DBからデータを読み出してテンプレート画像に変換し、変換したテンプレート画像を用いてテンプレートマッチングを行ってもよい。
[A4.4]コロニー検出判定部
次に、本実施形態のサーバ装置40におけるコロニー検出判定部423の詳細について説明する。
コロニー検出判定部423は、コロニー検出判定処理として、登録処理部421から提供された種別ID66に基づいて、プロファイル情報DB405を検索し、該当するプロファイル情報を取得するとともに、画像抽出処理部422から培地画像を取得する。
そして、コロニー検出判定部423は、プロファイル情報及び画像抽出処理部422から提供された培地画像に基づいて、フィルム型培地60毎に、各種の閾値又はパラメータを設定しつつ、コロニーピクセルの検出手法、コロニー候補の検出手法、及び、コロニーの特定手法を定めつつ、各撮像画像データに対してコロニー検出処理を実行し、その結果をそれぞれ登録処理部421に提供する。
具体的には、コロニー検出判定部423は、提供されたプロファイル情報に基づいて、
(1)提供された培地画像から、画像化されたコロニーを構成すると想定されるピクセルを検出するために、当該培地画像を構成する各ピクセルの中から、所定の条件を有する色に関する特徴量を有するピクセル(以下、「コロニーピクセル」という。)を検出し、
(2)コロニーピクセルを連結してラベリングを実行してIDを付与し、連結したコロニーピクセル群を一のオブジェクトをコロニー候補として検出し、
(3)所定の条件を有するコロニー候補をコロニーとして特定しつつ、その数を計数し、
(4)計数したコロニー数に基づいて培地判定を実行する。
特に、コロニー検出判定部423は、特徴量の種別が輝度又は彩度の場合には、各ピクセルのRGBの個々のサブピクセルの階調値に基づいて所定の演算を実行して得られた値とプロファイル情報に規定されるパラメータに基づいて、コロニーピクセルを検出し、検出したコロニーピクセルに基づいてコロニー候補を特定しつつ、当該特定したコロニー候補の中からコロニーを検出してその数を計数する。
また、コロニー検出判定部423は、画像フィルタノイズを低減させるための膨張処理及び縮小処理を含む画像フィルタ処理を実行しつつ、隣接するコロニーピクセルを連結してラベリングを実行してIDを付与する際の連結方法とプロファイル情報に基づくパラメータに基づいて、コロニー候補を検出する。
すなわち、コロニー検出判定部423は、コロニーピクセルの連結に関しては、プロファイルによって特定された各コロニーピクセルの色に関する特徴量と同一と判定されるべき範囲に基づいて、隣接するコロニーピクセルについて同一のコロニー候補であると判定したものを連結する。
さらに、コロニー検出判定部423は、隣接するコロニーピクセルを連結してコロニーピクセル群を形成させ、コロニーピクセル群毎の色特性又は培地画像上の重心位置を用いて同一のコロニーピクセルを構成するピクセル群同士を連結させる。
そして、コロニー検出判定部423は、検出した各コロニー候補について、特定されたプロファイル情報に規定される特徴量によって、当該プロファイル情報によって定まる色特性、真円度、形状及びサイズなどの特徴量を設定しつつ、当該設定した特徴量に基づいて、コロニーらしさを示す尤度を算出する。
最後に、コロニー検出判定部423は、プロファイル情報に基づいて、算出した尤度が閾値以上など所定の条件を有するコロニー候補をコロニーとして特定し、その数をコロニー数として計数する。
なお、コロニー検出判定部423は、検出したコロニーピクセル(例えば培地画像上の位置及び自ピクセルが属するコロニー候補のID)、検出したコロニー候補(例えばコロニーピクセルの培地画像上の配置位置、色特性又は重心位置などの所定の情報)、特定したコロニー(例えばコロニーピクセルの培地画像上の配置位置、色特性又は重心位置などの所定の情報)、計数したコロニー数を培地情報として登録処理部421を介して培地情報DB401に記憶する。
また、膨張処理とは、画像フィルタ処理の一つであって、各コロニーピクセルに隣接して他のコロニーピクセルが存在する場合に、コロニーピクセルに隣接する全てのピクセルをコロニーピクセルに置き換える処理である。
さらに、収縮処理とは、コロニーピクセルに隣接して非検出したピクセル(以下、「非コロニーピクセル」という。)が存在する場合に当該コロニーピクセルに隣接するピクセルを全て非コロニーピクセルに置き換える処理である。
一方、本実施形態のコロニー検出判定部423は、コロニー検出処理によって計数されたコロニー数に基づいて、培地判定を実行する。特に、コロニー検出判定部423は、培地判定処理としては、コロニー検出処理において取得したプロファイル情報に基づいて、予め設定された閾値と検出したコロニー数を比較しつつ、当該検出したコロニー数が閾値以上の場合には、異常と判定し、また、当該閾値より小さい場合には、正常であると判定し、各フィルム型培地60の検体が異常であるか正常であるかの培地判定(すなわち、検体の合否判定)を実行する。
[A5]衛生管理システムの動作処理
[A5.1]培地情報登録処理(画像読み取り装置)
次に、図9を用いて本実施形態の画像読み取り装置10におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図9は、本実施形態の画像読み取り装置10における培地情報の登録処理動作を示すフローチャートである。
本動作においては、プロファイル情報DB405には、種別IDに基づいて複数のプロファイル情報、テンプレート画像データ及び配置構造情報が予め記憶されているものとする。
また、本動作においては、登録すべき複数のフィルム型培地60は、例えば、ADFユニット140の所定の場所に既に載置されているものとし、各フィルム型培地60におけるコロニー数の検出は、培地情報のデータベース400への登録時に実行されものとする。
なお、本動作においては、画像読み取り装置10においては撮像画像を読み取りするためのRGBの階調値又は輝度値に対するキャリブレーションが実行されているものとする。
まず、画像読み取り装置10において、アプリケーション制御部120は、操作部170を介して培地登録アプリの起動指示を検出すると(ステップS101)、アプリケーション記憶部101から培地登録アプリを読み出して起動する(ステップS102)。このとき、アプリケーション制御部120は、表示制御部161と連動して表示部160に登録すべき複数のフィルム型培地60がADFユニット140に既に載置されているかを確認するための表示を実行するとともに、端末管理制御部190の制御下、ワークメモリの初期化その他の必要な処理を実行する。
次いで、アプリケーション制御部120は、各フィルム型培地60の読み取り開始を促す画面(以下、「読み取り開始確認画面」ともいう。)を表示部160に表示させるとともに、操作部170と連動し、画像データ生成部110による読み取りを待機する(ステップS106)。
次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161と連動しつつ、操作部170によるフィルム型培地60の読み取り開始を検出すると(ステップS107)、ADFユニット140を制御して当該ADFユニット140にセットされた複数のフィルム型培地60を順次スキャニング領域に移動させるとともに、画像データ生成部110は、複数のフィルム型培地60をスキャニングして画像化し、生成した各撮像画像データを画像データ記憶部102に所定の画像IDを付与しつつ記憶する(ステップS108)。
なお、アプリケーション制御部120は、複数のフィルム型培地60がADFユニット140に載置されている場合には、各フィルム型培地60を連続的に画像化し、それぞれを画像データ記憶部102に所定の画像IDを付与しつつ記憶する。
次いで、アプリケーション制御部120は、タイマー180より、現在時刻を各フィルム型培地60における撮像画像データの読み取り時刻として取得し、当該各撮像画像データに対応付けてメタデータとして画像データ記憶部102に記憶する(ステップS109)。
次いで、アプリケーション制御部120は、作業者の指示に基づいて、各撮像画像データとそのメタデータを一の培地情報として、ネットワーク通信部130を介してサーバ装置40に送信し(ステップS118)、画像読み取り装置10の培地情報登録処理を終了する。
なお、このとき、ネットワーク通信部130は、培地情報を送信する際に、端末IDや入力されたID及びパスワードに基づいてサーバ装置40へのアクセスをするためのログインを実行し、ログイン完了後にサーバ装置40との通信回線を確立し、培地情報を送信する。
[A5.2]培地情報登録処理(サーバ装置)
次に、図10を用いて本実施形態のサーバ装置40におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図10は、本実施形態のサーバ装置40における培地情報の登録処理動作を示すフローチャートである。
本動作は、画像読み取り装置10によって実行された培地情報登録処理と連動して実行される処理であり、サーバ装置40は、画像読み取り装置10から送信された各フィルム型培地60の個々の撮像画像データ毎に該当する情報を培地情報として培地情報DB401に登録するための処理である。
まず、サーバ装置40においては、通信制御部410が画像読み取り装置10から送信された一の撮像画像データを有する一の培地情報を受信すると(ステップS300)、登録処理部421は、撮像画像データによって構成される撮像画像について画像解析を実行し、種別ID66を特定し、画像抽出処理部422及びコロニー検出判定部423に提供する(ステップS301)。
次いで、登録処理部421は、当該種別ID66の画像解析、若しくは、作業者の指示に基づいて、培地IDを取得し、又は、自動的に培地IDを付与する(ステップS302)。
次いで、登録処理部421は、培地情報に含まれる読み取り時刻に基づいて撮像画像データにおける培地情報を登録する際の培養検査時刻を特定する(ステップS305)。なお、このとき、登録処理部421は、画像読み取り装置10と連動して各撮像画像データにおける培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる読み取り時刻を当該培養検査時刻としてそのまま登録してもよい。
次いで、画像抽出処理部422は、登録処理部421によって特定された種別ID66に基づいて、プロファイル情報DB405を検索し、テンプレート画像データ及び配置構造情報を取得するとともに(ステップS306)、提供されたテンプレート画像及び配置構造情報に基づいて、撮像画像から培地画像を抽出する培地画像抽出処理を実行し、当該抽出した培地画像をコロニー検出判定部423に提供する(ステップS307)。なお、ステップS307の培地画像抽出処理の詳細については後述する。
次いで、コロニー検出判定部423は、登録処理部421によって特定された種別ID66に基づいて、プロファイル情報DB405を検索し、該当するプロファイル情報を取得し(ステップS308)、取得したプロファイル情報及び画像抽出処理部422において抽出された培地画像に基づいて、当該培地画像の各ピクセルの色特徴量(輝度値)を抽出する(ステップS310)。
次いで、コロニー検出判定部423は、提供されたプロファイル情報に基づいて、培地画像内のコロニーピクセルを特定するとともに、コロニーの検出及びその計数を実行するコロニー検出処理を実行し(ステップS321)、提供されたプロファイル情報に基づいて、培地判定(合否判定)を実行する(ステップS322)。
なお、コロニー検出判定部423は、ステップS321及びステップS322の処理においては、画像読み取り装置10と連動し、検出したコロニー数及び合否判定の結果を当該画像読み取り装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
また、コロニー検出判定部423は、ステップS322の処理の培地判定においては、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
次いで、登録処理部421は、撮像画像データ、培地画像のデータ(以下、「培地画像データ」という。)、種別ID66、培地ID、判定された合否、検出されたコロニー数及び培地情報に含まれる読み取り時刻を培養開始時刻とした培養開始時刻情報を培地情報DB401に登録し(ステップS323)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を画像読み取り装置10の表示部160に表示させ、当該画像読み取り装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、上述の動作は、画像読み取り装置10によって培地情報を取得した際に実行しているが、画像読み取り装置10によって取得した培地情報が培地情報DB401に記録され、その後に実行されてもよい。
[A5.3]培地画像抽出処理(サーバ装置)
次に、図11を用いて本実施形態のサーバ装置40において実行される培地画像抽出処理の動作について説明する。なお、図11は、本実施形態のサーバ装置40において実行される培地画像抽出処理の動作を示すフローチャートである。
本動作は、サーバ装置40においてステップS307の処理において実行される処理である。なお、本動作においては、座標としてピクセル座標を用いる。
まず、画像抽出処理部422は、テンプレート画像データ及び配置構造情報を取得すると(ステップS306)、配置構造情報に基づいて、培地画像が形成されていると想定される探索領域を決定する探索領域決定処理を実行する(ステップS501)。
なお、このとき、画像抽出処理部422は、決定された探索領域においてテンプレート画像の中心位置の走査範囲を決定する。すなわち、画像抽出処理部422は、探索範囲内の最左上のピクセルにテンプレート画像の左上(図面に向かって左上)を合わせた場合のテンプレート画像の中心座標(x、y)を(0,0)とし、テンプレート画像の最右下が探索範囲の最右下のピクセルに合わせた場合のテンプレート画像の中心座標(x、y)を(Xmax,Ymax)に設定する。
次いで、画像抽出処理部422は、取得したテンプレート画像に基づいて、決定した探索領域の右上から順にテンプレート画像の走査を開始する(ステップS502)。
まず、画像抽出処理部422は、該当する探索領域の部分にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS503)、当該第2領域内における色特徴量を算出する(ステップS504)。
具体的には、画像抽出処理部422は、走査開始直後に第2領域を特定する場合には、テンプレート画像の中心座標(xi、yj)が(0,0)に配置する。また、画像抽出処理部422は、ステップS505の処理から移行してきた場合であって、前回のステップ503の処理においてテンプレート画像の中心座標が(xi、yj)が(n,yj)でない場合(n=xmax)、すなわち、テンプレート画像の右端が探索領域の右端に到達していない場合には、前回のステップ503の処理においてテンプレート画像を重畳した位置から中心座標を1ピクセル水平に走査した地点(x(i+1),yj)にテンプレート画像の中心を配置する。さらに、画像抽出処理部422は、ステップS505の処理から移行してきた場合であって、前回のステップ503の処理においてテンプレート画像の中心座標が(xi、yj)が(n,yj)である場合には、1行垂直に走査し、かつ、テンプレート画像の中心座標(x、y)が(0,(yj+1))にテンプレート画像の中心を配置する。
次いで、画像抽出処理部422は、テンプレート画像に基づく探索領域の走査が終了したか否かを判定する(ステップS505)。このとき、画像抽出処理部422は、テンプレート画像に基づく探索領域の走査が終了していないと判定した場合には、ステップS503の処理に移行し、当該終了していると判定した場合には、ステップS506の処理に移行する。
なお、例えば、ステップS505の処理としては、画像抽出処理部422は、ステップS503の処理において、テンプレート画像の中心座標が(n,m)の場合(m=ymax)に、探索領域の走査が終了したと判定する。
次いで、画像抽出処理部422は、全ての走査位置における第2領域に属するピクセルの色特徴量について予め定められた条件を有する走査位置(具体的には、全ての走査位置における第2領域に属するピクセルの色特徴量の積算値が最大になる走査位置)を決定するとともに(ステップS506)、当該決定した走査位置を中心としてテンプレート画像が形成された場合の第1領域(マスク部分)が形成されている領域を培地画像の部分であると特定し(ステップS507)、本動作を終了させる。
以上、本実施形態の衛生管理システムSにおいては、培地画像を正確に抽出することができるので、的確にコロニーの検出及びその計数を実行することができるとともに、的確に検出されたコロニー及びその数に関する情報を含む培地情報をデータベースに登録することができる。
[B]第2実施形態
はじめに、図12〜図18を用いて本発明の衛生管理システムの第2実施形態について説明する。
[B1]衛生管理システム
本実施形態の衛生管理システムSは、第1実施形態において、1ピクセル毎及び1行毎に探索領域内を水平走査及び垂直走査しつつ、各走査位置においてテンプレートマッチングを行う点に代えて、探索領域内において予め培地部分としての確度の高い領域を効率的に走査させる点に特徴がある。
具体的には、本実施形態の衛生管理システムSは、決定した探索領域内について選択したテンプレート画像を走査する際に、テンプレート画像を撮像画像上に重畳させた走査位置と、当該走査位置に隣接する探索領域上の走査位置と、における撮像画像上のテンプレート画像の第2領域に属する各ピクセルの色特徴量の関係に基づいて、探索領域を制限しつつ、テンプレート画像を走査することによって培地画像を抽出する構成を有している。
特に、本実施形態の衛生管理システムSは、1ピクセル毎及び1行毎に探索領域内を水平走査及び垂直走査せずに、マッチング条件に基づくマッチ度(培地部分の画像か否かを示す一致度)を用いつつ、探索領域内において予め培地部分としての確度の高い領域を限定し、かつ、水平走査又は垂直走査を行う範囲を限定し、効率的にテンプレート画像を走査させるようになっている。
なお、本実施形態においては、上記の特徴点を除き、第1実施形態と同一の構成を有し、同一の部材には同一の符号を付してその説明を省略する。また、本実施形態においては、第1実施形態と同様に、座標としてピクセル座標を用いる。
[B2]サーバ装置
次に、図12〜図15を用いて本実施形態のサーバ装置40について説明する。なお、図12は、本実施形態のテンプレート画像の走査(スキップ走査)について説明するための図であり、図13は、本実施形態のテンプレート画像の走査(方向走査)について説明するための図である。また、図14は、本実施形態のテンプレート画像の走査(水平簡易走査)について説明するための図であり、図15は、本実施形態のサーバ装置40の構成を示す図である。
本実施形態のサーバ装置40は、水平走査における各走査位置を基準に、テンプレート画像を撮像画像上に重畳させた走査位置と、当該走査位置に隣接する探索領域上の走査位置と、におけるテンプレート画像によって特定される撮像画像上の所定領域(具体的には、第2領域)に属する各ピクセルの色特徴量の関係に基づいて、探索領域を制限ようになっている。
具体的には、本実施形態のサーバ装置40は、テンプレートマッチングにおけるマッチ度(すなわち、培地部分の画像か否かを示す一致度)を用いつつ、図12に示すように、第1実施形態と同様に1ピクセル毎及び1行毎に探索領域内を水平走査及び垂直走査しつつ、水平走査中に前走査位置(座標P)のマッチ度が減少傾向であると判定した際に当該走査位置(座標Z)で水平走査を中止し、次の行に垂直走査(スキップ)するとともに、次の走査ラインについて同様に水平走査を実行する走査(以下、単に「スキップ走査」という。)を行うことによって探索領域を制限する構成を有している。
一方、サーバ装置40は、上記のスキップ走査に代えて、テンプレート画像を撮像画像上に重畳させた特定の走査位置と、当該特定の走査位置に隣接する探索領域上の複数の走査位置と、における撮像画像上のテンプレート画像の第2領域に属する各ピクセルの色特徴量の関係に基づいて、探索領域を制限するようになっている。
具体的には、本実施形態のサーバ装置40は、テンプレートマッチングにおけるマッチ度(すなわち、培地部分の画像か否かを示す一致度)を用いつつ、図13に示すように、テンプレート画像の中心位置を基準に、予め定めた走査開始位置から隣接するピクセル位置(具体的には8方向や4方向)に当該中心位置を動かした場合のマッチ度を算出し、一番高いマッチ度を有する方向に走査方向を移動させる走査(以下、単に、「方向走査」という。)を行うことによって探索領域を制限する構成を有している。
他方、本実施形態のサーバ装置40は、上記のスキップ走査又は方向走査に代えて、任意の水平走査ラインにおいて、テンプレート画像を撮像画像上に重畳させた走査位置と、当該走査位置に隣接する探索領域上の走査位置と、における撮像画像上のテンプレート画像の第2領域に属する各ピクセルの色特徴量の関係に基づいて、水平走査を行うための探索領域の範囲を特定し、当該特定した範囲に水平走査を制限しつつ、前記テンプレート画像を走査することによって培地画像を抽出するようになっている。
具体的には、本実施形態のサーバ装置40は、テンプレートマッチングにおけるマッチ度(すなわち、培地部分の画像か否かを示す一致度)を用いつつ、図14に示すように、予め定められた水平走査ラインを走査し、マッチ度の一番高い走査位置の垂直走査ラインについて予め定められた振り幅で水平走査しつつ、当該垂直走査ラインに沿って走査を行う走査(以下、単に「水平簡易走査」という。)を実行し、培地画像の抽出を実行する構成を有している。
そして、本実施形態のサーバ装置40は、スキップ走査及び水平簡易走査においては、各走査位置の中から、マッチ度が最大になる走査位置を決定し、又は、方向走査においては、中心位置のマッチ度が一番高いときの走査位置を決定し、当該決定した走査位置におけるテンプレート画像の第1領域(すなわち、マスク)が形成されている領域、すなわち、決定した走査位置を中心に撮像画像上にテンプレート画像を配置し、当該配置されたテンプレート画像の第1領域でカバーされる領域を、培地画像の部分であると特定し、当該領域部分の画像を培地画像として抽出する構成を有している。
具体的には、サーバ装置40は、第1実施形態と同様のデータ処理部420を有し、所定のプログラムを実行することによって、第1実施形態の各処理に加えて、スキップ走査、方向走査及び水平簡易走査のいずれかの走査に基づく培地抽出処理を実現する。特に、データ処理部420は、画像抽出処理部422によってスキップ走査、方向走査及び水平簡易走査のいずれかの走査に基づく培地抽出処理を実現する。
なお、画像抽出処理部422は、テンプレートマッチングにおいてテンプレート画像を、スキップ走査、方向走査、又は、水平簡易走査のいずれかの走査を行うことによって画像抽出処理を行う点を除き、マッチング条件(撮像画像上のテンプレート画像の第2領域に属する各ピクセル色特徴量(本実施形態の場合には輝度)の平均値に基づくマッチ度の例を含む。)その他の動作や処理又はそれらに関する事項においては第1実施形態の各処理と同一である。
[B3]培地画像抽出処理(サーバ装置)
次に、図15〜図18を用いて本実施形態のサーバ装置40において実行される培地画像抽出処理について説明する。なお、本実施形態の培地画像抽出処理は、第1実施形態の同一の培地情報登録処理の一部の処理として実行する処理であり、画像読み取り装置10及びサーバ装置40において実行される培地情報登録処理についてその説明を省略する。
[B3.1]スキップ走査に基づく培地画像抽出処理
まず、図15を用いて本実施形態のサーバ装置40において実行されるスキップ走査に基づく培地画像抽出処理の動作について説明する。なお、図15は、本実施形態のサーバ装置40において実行されるスキップ走査に基づく培地画像抽出処理の動作を示すフローチャートである。
本動作においては、テンプレートマッチングにおけるマッチ度、すなわち、探索領域上の撮像画像に重畳されたテンプレート画像における第2領域に属するピクセルの色特徴量が最高値になるか否かを示すマッチ度として、当該第2領域内におけるピクセルの色特徴量(合算値)Hを用いるとともに、当該第2領域内におけるピクセルの色特徴量(本実施形態の場合には輝度)Hにおける平均値が高い走査位置をマッチ度が高い走査位置とする。
まず、画像抽出処理部422は、テンプレート画像データ及び配置構造情報を取得すると(ステップS306)、配置構造情報に基づいて、培地画像が形成されていると想定される探索領域を決定する探索領域決定処理を実行する(ステップS601)。
なお、このとき、画像抽出処理部422は、決定された探索領域においてテンプレート画像の中心位置の走査範囲を決定する。すなわち、画像抽出処理部422は、探索範囲内の最左上のピクセルにテンプレート画像の左上(図面に向かって左上)を合わせた場合のテンプレート画像の中心座標(xi、yj)を(0,0)とし、テンプレート画像の最右下が探索範囲の最右下のピクセルに合わせた場合のテンプレート画像の中心座標(xi、yj)を(n,m)=(Xmax,Ymax)に設定する。
次いで、画像抽出処理部422は、初期設定を行う(ステップS602)。具体的には、画像抽出処理部422は、テンプレート画像の中心座標を設定する探索領域内の座標(xi,yj)を(0,0)に設定する。また、画像抽出処理部422は、色特徴量Hzにおいて、基準となる色特徴量H0を「0」とし、「z」を「1」に設定する。
次いで、画像抽出処理部422は、設定された探索領域内の座標(xi,yj)にテンプレート画像の中心座標を設定することによって、探索領域にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS611)、当該第2領域内における撮像画像の各ピクセルの積算値を示す色特徴量Hz(xi、yj)を算出する(ステップS612)。
次いで、画像抽出処理部422は、ステップS612の処理において算出した色特徴量Hz(xi、yj)と前回の座標(x(i−1),yj)時の色特徴量H(z−1)又は初期値としての色特徴量H(z−1)とを比較し(ステップS613)、色特徴量Hzが減少傾向か否かを判定する(ステップS614)。
このとき、画像抽出処理部422は、色特徴量Hzが減少傾向でないと判定した場合には、ステップS615の処理に移行し、色特徴量Hzが減少傾向である判定した場合には、ステップS621の処理に移行する。
次いで、画像抽出処理部422は、色特徴量Hzが減少傾向でないと判定した場合には、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のうちx座標に「1」を加算した座標を、次のテンプレート画像の中心座標となる座標に特定して(ステップS615)、ステップS611の処理に戻り、当該x座標が最大値(n)であると判定した場合には、ステップS621に移行する。
次いで、画像抽出処理部422は、色特徴量Hzが減少傾向であると判定した場合には、テンプレート画像の中心座標が直前の座標のときの色特徴量H(z−1)を当該走査ライン(yj)の最大色特徴量Hzmax(yj)として当該座標(x(i−1)、yj)とともにROM/RAM440に記憶する(ステップS621)。
特に、図12に示すように、画像抽出処理部422は、色特徴量Hzが減少傾向であると判定した場合、ステップS613の処理において色特徴量Hz(xi、yj)を算出した座標Zの直前の座標Vの色特徴量H(z−1)を最大色特徴量Hzmax(yj)として当該座標V(x(i−1)、yj)とともにROM/RAM440に記憶する。
次いで、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のうちy座標が最大値(n)であるか否かを判定する(ステップS622)。
このとき、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のy座標が最大値(n)でないと判定した場合には、y座標に「1」を加算し、かつ、x座標を「0」に設定して新たな座標(0,y(j+1))を設定するとともに、「z」を「1」に設定して(ステップS623)ステップS611の処理に戻り、当該y座標が最大値(m)であると判定した場合には、ステップS631に移行する。
次いで、画像抽出処理部422は、ROM/RAM440に記憶されている各色特徴量Hzmax(y:yは「0」〜「m」)のうち最大の値の色特徴量を有する座標(xi、yj)に基づいて形成されるテンプレート画像の走査位置を、マッチング条件に合致する走査位置であると決定する(ステップS631)。
最後に、画像抽出処理部422は、決定した走査位置に形成されているテンプレート画像の第1領域を培地画像の部分であると特定し(ステップS632)、本動作を終了させる。
なお、本動作においては、テンプレート画像を走査する際の水平走査及び垂直走査が逆の場合であってもよい。すなわち、画像抽出処理部422は、垂直走査を実行しつつ、色特徴量が減少傾向を示した時点で水平走査を実行して次の垂直走査を実行し、X座標が最大値になった際に、各色特徴量Hzmax(xi)のうち最大の値の色特徴量を有する座標(xi、yj)に基づいて形成されるテンプレート画像の走査位置を、マッチング条件に合致する走査位置であると決定してもよい。
[B3.2]方向走査に基づく培地画像抽出処理
次に、図16を用いて本実施形態のサーバ装置40において実行される方向走査に基づく培地画像抽出処理の動作について説明する。なお、図16は、本実施形態のサーバ装置40において実行される方向走査に基づく培地画像抽出処理の動作を示すフローチャートである。
本動作においては、テンプレートマッチングにおけるマッチ度、すなわち、探索領域上の撮像画像に重畳されたテンプレート画像における第2領域に属するピクセルの色特徴量が最高値になるか否かを示すマッチ度として、当該第2領域内におけるピクセルの色特徴量(合算値)Hを用いるとともに、当該第2領域内におけるピクセルの色特徴量(本実施形態の場合には輝度)Hにおける平均値が高い走査位置をマッチ度が高い走査位置とする。
まず、画像抽出処理部422は、テンプレート画像データ及び配置構造情報を取得すると(ステップS306)、配置構造情報に基づいて、培地画像が形成されていると想定される探索領域を決定する探索領域決定処理を実行する(ステップS701)。
なお、このとき、画像抽出処理部422は、決定された探索領域においてテンプレート画像の中心位置の走査範囲を決定する。すなわち、画像抽出処理部422は、探索範囲内の最左上のピクセルにテンプレート画像の左上(図面に向かって左上)を合わせた場合のテンプレート画像の中心座標(xi、yj)を(0,0)とし、テンプレート画像の最右下が探索範囲の最右下のピクセルに合わせた場合のテンプレート画像の中心座標(xi、yj)を(n,m)=(Xmax,Ymax)に設定する。
次いで、画像抽出処理部422は、初期設定を行う(ステップS702)。具体的には、画像抽出処理部422は、配置構造情報に基づいて、探索領域内における培地部分の中心座標と予想される基準座標(xi、yj)を設定する。例えば、図13に示すように、画像抽出処理部422は、基準座標となる中心座標Pを設定する。
次いで、画像抽出処理部422は、設定された探索領域内の座標(xi、yj)にテンプレート画像の中心座標を設定することによって、探索領域にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS711)、当該第2領域内における撮像画像の各ピクセルの積算値を示す色特徴量Ha(xi、yj)を算出する(ステップS712)。
次いで、画像抽出処理部422は、設定された探索領域内の座標(xi、yj)に隣接する8方向の座標(x(i−1),y(j−1))、(x(i−1),yj)、(xi−1,y(j+1))、(xi,y(j−1))、(xi,y(j+1))、(x(i+1),y(j−1))、(x(i+1),yj)及び(x(i+1),y(j+1))のそれぞれに、テンプレート画像の中心座標を設定することによって、探索領域にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS713)、当該第2領域内における撮像画像の各ピクセルの積算値を示す色特徴量H1〜H8をそれぞれ算出する(ステップS714)。
例えば、図13に示すように、画像抽出処理部422は、基準座標となる中心座標Pを基準に、8方向の座標それぞれにテンプレート画像の中心座標を設定する。なお、図13には、(x(i−1),y(j+1))の座標及び(x(i+1),y(i−1))の座標のみ表示してある。
次いで、画像抽出処理部422は、色特徴量Ha(xi、yj)と、色特徴量H1〜H8のそれぞれとを比較し(ステップS715)、色特徴量Ha(xi、yj)から増加している色特徴量H1〜H8の有無を判定する(ステップS716)。すなわち、画像抽出処理部422は、色特徴量Ha(xi、yj)と、
(1)座標(x(i−1),y(j−1))の色特徴量H1とを比較し、
(2)座標(x(i−1),yj)の色特徴量H2とを比較し、
(3)座標(x(i−1),y(j+1))の色特徴量H3とを比較し、
(4)座標(xi,y−1)の色特徴量H4とを比較し、
(5)座標(xi,y+1)の色特徴量H5とを比較し、
(6)座標(x(i+1),(j−1))の色特徴量H6とを比較し、
(7)座標(x(i+1),yj)の色特徴量H7とを比較し、及び、
(8)座標(x(i+1),y(j+1))の色特徴量H8とを比較し、
色特徴量Ha(xi、yj)から増加している色特徴量H1〜H8の有無を判定する(ステップS715)
このとき、画像抽出処理部422は、色特徴量Ha(xi、yj)から増加している色特徴量H1〜H8が最低1つ以上あると判定した場合には、ステップS717の処理に移行し、当該増加している色特徴量H1〜H8が1つもないと判定した場合には、ステップS721の処理に移行する。
次いで、画像抽出処理部422は、色特徴量Ha(xi、yj)から増加している色特徴量H1〜H8が最低1つ以上あると判定した場合には、色特徴量H1〜H8のいずれかにおいて、色特徴量Ha(xi、yj)より大きい色特徴量であって、当該色特徴量Ha(xi、yj)との差が最大となる色特徴量の座標を、次のテンプレート画像の中心座標に設定して(ステップS717)、ステップS711の処理に戻る。例えば、図13に示すように、画像抽出処理部422は、矢印で示される8方向のうち、当該色特徴量Ha(xi、yj)との差が最大となる方向にテンプレート画像を走査する。
次いで、画像抽出処理部422は、色特徴量Ha(xi、yj)から増加している色特徴量H1〜H8が1つもないと判定した場合には、ステップS711の中心座標(xi、yj)を、マッチング条件に合致する走査位置であると決定する(ステップS721)。
最後に、画像抽出処理部422は、決定した走査位置に配置された撮像画像上のテンプレート画像の第1領域が形成されている領域を培地画像の部分であると特定し(ステップS722)、本動作を終了させる。
[B3.3]水平簡易走査に基づく培地画像抽出処理
次に、図17及び図18を用いて本実施形態のサーバ装置40において実行される水平簡易走査に基づく培地画像抽出処理の動作について説明する。なお、図17及び図18は、本実施形態のサーバ装置40において実行される水平簡易走査に基づく培地画像抽出処理の動作を示すフローチャートである。
本動作においては、テンプレートマッチングにおけるマッチ度、すなわち、探索領域上の撮像画像に重畳されたテンプレート画像における第2領域に属するピクセルの色特徴量が最高値になるか否かを示すマッチ度として、当該第2領域内におけるピクセルの色特徴量(合算値)Hを用いるとともに、当該第2領域内におけるピクセルの色特徴量(本実施形態の場合には輝度)Hにおける平均値が高い走査位置をマッチ度が高い走査位置とする。
まず、画像抽出処理部422は、テンプレート画像データ及び配置構造情報を取得すると(ステップS306)、配置構造情報に基づいて、培地画像が形成されていると想定される探索領域を決定する探索領域決定処理を実行する(ステップS801)。
なお、このとき、画像抽出処理部422は、決定された探索領域においてテンプレート画像の中心位置の走査範囲を決定する。すなわち、画像抽出処理部422は、探索範囲内の最左上のピクセルにテンプレート画像の左上(図面に向かって左上)を合わせた場合のテンプレート画像の中心座標(xi、yj)を(0,0)とし、テンプレート画像の最右下が探索範囲の最右下のピクセルに合わせた場合のテンプレート画像の中心座標(x、y)を(n,m)=(Xmax,Ymax)に設定する。
次いで、画像抽出処理部422は、初期設定を行う(ステップS802)。例えば、図14に示すように、画像抽出処理部422は、配置構造情報に基づいて、探索領域内における培地部分の中心座標を走査すると予想される走査ライン(Yb)を設定するとともに、テンプレート画像の中心座標を設定する探索領域内の座標(xi、yj)を当該走査ラインの開始座標(0,Yb)に設定する。また、画像抽出処理部422は、色特徴量Hzにおいて、基準となる色特徴量H0を「0」とし、「z」を「1」に設定する。
次いで、画像抽出処理部422は、設定された探索領域内の座標(xi,Yb)にテンプレート画像の中心座標を設定することによって、探索領域にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS811)、当該第2領域内における撮像画像の各ピクセルの積算値を示す色特徴量Hz(xi、Yb)を算出する(ステップS812)。このとき、画像抽出処理部422は、算出した色特徴量Hz(xi、Yb)をROM/RAM440に記憶する。
次いで、画像抽出処理部422は、当該x座標が最大値(n)であるか否かを判定する(ステップS813)。このとき、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,Yb)のx座標が最大値(n)でないと判定した場合には、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,Yb)のうちx座標に「1」を加算した座標を、次のテンプレート画像の中心座標となる座標に特定して(ステップS814)、ステップS811の処理に戻り、当該x座標が最大値(n)であると判定した場合には、ステップS821に移行する。
次いで、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,Yb)のx座標が最大値(n)であると判定した場合には、例えば、図14に示すように、ステップS812で算出した走査ラインにおける各色特徴量Hzの最大値のときの座標Bのx座標(Xb)を特定する(ステップS821)。
次いで、画像抽出処理部422は、特定した探索領域内の座標(Xb,Yb)に基づいて、培地画像の解像度及び配置構造情報(培地画像における培地の中心がずれる範囲、例えば、4mm)に基づいて、培地画像における培地の中心がずれる範囲をカバーするx座標の範囲(±Rピクセル、例えば、R=10〜20)を、水平簡易走査を行う範囲(振り幅)に決定する(ステップS822)。
次いで、画像抽出処理部422は、テンプレート画像の中心座標を設定する探索領域内の座標(xi,yj)を水平簡易走査ラインの開始座標(Xb−Rピクセル,0)に設定する(ステップS823)。なお、図14に示すように、「−R」から「+R」は、培地画像における培地の中心がずれる範囲をカバーするx座標の範囲(振り幅)を示す。
次いで、画像抽出処理部422は、設定された探索領域内の座標(xi,yj)にテンプレート画像の中心座標を設定することによって、探索領域にテンプレート画像を重畳して当該撮像画像上の第2領域に属する領域を特定し(ステップS824)、当該合成画像における色特徴量Hz(x、y)を算出する(ステップS825)。このとき、画像抽出処理部422は、当該第2領域内における撮像画像の各ピクセルの積算値を示す色特徴量Hz(xi、yj)をROM/RAM440に記憶する。
次いで、画像抽出処理部422は、当該x座標がカバー範囲の最大値(Xb+R)であるか否かを判定する(ステップS826)。このとき、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のx座標がカバー範囲の最大値(Xb+R)でないと判定した場合には、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のうちx座標に「1」を加算した座標を、次のテンプレート画像の中心座標となる座標に特定して(ステップS827)、ステップS824の処理に戻り、当該x座標がカバー範囲の最大値(Xb+R)であると判定した場合には、ステップS831に移行する。
次いで、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のx座標がカバー範囲の最大値(Xb+R)であると判定した場合には、当該探索領域内の座標(xi,yj)のうちy座標が最大値(Ymax)であるか否かを判定する(ステップS831)。
このとき、画像抽出処理部422は、テンプレート画像の中心座標が設定されている探索領域内の座標(xi,yj)のy座標が最大値(Ymax)でないと判定した場合には、y座標に「1」を加算して新たな座標(xi,yj)を設定するとともに(ステップS832)、ステップS824の処理に戻り、当該y座標が最大値(Ymax)であると判定した場合には、ステップS833に移行する。
次いで、画像抽出処理部422は、ROM/RAM440に記憶されている各色特徴量Hzのうち最大の値の色特徴量Hzmaxを有する座標(xi、yj)にテンプレート画像の中心が設定されている走査位置を、マッチング条件に合致する走査位置であると決定する(ステップS833)。
最後に、画像抽出処理部422は、決定した走査位置に形成されているテンプレート画像の第1領域を培地画像の部分であると特定し(ステップS834)、本動作を終了させる。
なお、本動作においては、テンプレート画像を走査する際の水平走査及び垂直走査が逆の場合であってもよい。すなわち、画像抽出処理部422は、垂直走査ラインのいずれかについてテンプレート画像を走査し、最大の色特徴量を有する座標のx座標を定め、当該x座標を基準として振り幅を設定して垂直簡易走査を実行してもよい。
以上、本実施形態の衛生管理システムSにおいては、第1実施形態の効果に加えて、テンプレートマッチングを行う際の走査時間を大幅に削減することができるので、迅速に、かつ、効率よく培地画像を抽出することができる。
[C]変形例
[C1]変形例1
上記の各実施形態において、イメージスキャナ等の画像読み取り装置10単体を用いて培地情報の登録処理を実行している点に代えて、ラップトップ型又はデスクトップ型のパーソナルコンピュータ及びイメージスキャナの画像読み取り装置、又は、パーソナルコンピュータ及びタブレット型情報端末装置、デジタルカメラ若しくはスマートフォン等の画像入力装置と、によって当該培地情報の登録処理を実現してもよい。
この場合には、パーソナルコンピュータと画像入力装置とを所定の通信規格によって接続し、パーソナルコンピュータと画像入力装置とを一体的に用いて当該培地情報の登録処理を実現してもよいし、メモリカードその他の物理的なメモリに画像入力装置によって先に取得した撮像画像データを記憶させ、当該記憶させた各画像データをパーソナルコンピュータによって取り込みつつ、当該培地情報の登録処理を実現してもよい。
また、この場合には、サーバ装置40の機能をパーソナルコンピュータに持たせて上記の各種の処理を実行してもよい。
[C2]変形例2
上記の各実施形態においては、画像読み取り装置10、管理者端末装置20、サーバ装置40が同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。
また、サーバ装置40は、ネットワークを介して接続されるデータベースを用いて培地情報その他の情報の読み出し及び記録を行ってもよいし、一又は複数の装置によって形成されていてもよい。
[C3]変形例3
上記の各実施形態のコロニー検出判定部423は、プロファイル情報に基づいて、コロニーピクセルを特定するための色特徴量、検査手法とそのパラメータ及び閾値などを決定しているが、最初のコロニー検出判定処理において、コロニーが検出されなかったなどの所定の条件の下に、さらにコロニーピクセルやコロニーそのものを検出するための感度を高めて再度コロニー検出を実行する再検出処理を追加するようにしてもよい。
例えば、大腸菌や大腸菌群などの1つのコロニーでも検出された場合に培地判定の合否判定が不合格となる特定の細菌の場合に、プロファイル情報に当該再検出処理の実行が規定されていてもよい。
なお、プロファイル情報には、再検出処理に限定されず、特定の細菌の場合であって培地判定が不合格になるなどの所定の条件の下に、管理者にその旨を告知するための告知処理などの各種の処理の実行が規定されていてもよい。
[C4]変形例4
上記の各実施形態においては、フィルム型培地60を用いて当該フィルム型培地60に培養された検体における培地情報の登録を実行しているが、寒天培地を用いて当該寒天培地に培養された菌及びその検体における培地情報の登録を実行してもよい。
この場合には、画像読み取り装置10に代えて、デジタルカメラ、スマートフォン又は携帯用電話機などの撮像機能付き携帯用通信端末装置を用いて、各寒天培地を撮像し、撮像画像データを生成する。
[C5]変形例5
第1実施形態において、テンプレート画像をラスタースキャンさせているが、
(1)探索領域において右下から1行毎に水平走査を開始して垂直走査をy軸のプラス方向(図6の図面上方向)に走査する走査方法、
(2)探索領域において左上から1列毎に垂直走査を開始して水平走査をx軸のプラス方向(図6の図面右方向)に走査する走査方法、又は、
(3)走査位置をランダムに走査する走査方法、
を実行してテンプレートマッチングを実行してもよい。
すなわち、探索領域内において全ての走査位置におけるマッチングスコアを算出することができれば、どのような走査方法を用いてもよい。
[C6]変形例6
第1実施形態及び第2実施形態において、図19に例示するように、テンプレート画像の第2領域72の中心側の領域(すなわち、第1領域71側)に重み付け領域79を設け、テンプレートマッチングによって撮像画像上の第2領域72に属するピクセルの色特徴量の積算値を示すマッチングスコアを算出する際に、重み付け領域79のピクセルの色特徴量については、予め定めた重み付けを用いて調整してもよい。
すなわち、画像抽出処理部422は、撮像画像上において、重み付け領域79に属するピクセルについては重み付けによって調整したピクセルの色特徴量を積算し、当該重み付け領域79以外の第2領域72に属するピクセルについては、個々のピクセルの色特徴量に基づいて積算を実行し、マッチングスコアを算出してもよい。
例えば、画像抽出処理部422は、下記の(式6)に基づいて重み付け領域79に属するピクセルの輝度値I(w)ijを算出し、(式7)によって当該重み付け領域79以外の第2領域72に属するピクセルの輝度値I(p)ijとの合算値Z(s)又は上記の(式5)によって当該合算値の平均値Z(av)のマッチングスコアを算出する。ただし、「W」は重み付け係数を示す
通常、フィルム型培地60においては、その構造上、背景色部分と培地部分とが厳密に領域分けされていない。したがって、例えば、培地部分の色が背景色に近い場合などテンプレートマッチング処理においては、第1領域と第2領域の境界においてノイズが発生し、的確にマッチングスコアを算出することができない場合もある。
そこで、本変形例においは、撮像画像から培地画像をさらに的確に抽出するために、第1領域と第2領域の境界領域においては、重み付けを用いて各ピクセルの色特徴量(輝度値)を調整(すなわち、値を小さくする演算を実行)することによって、的確なマッチングスコアを算出し、かつ、的確に培地部分を抽出することができる。
[C7]変形例7
上記の変形例6においては、テンプレート画像の第2領域の中心側の領域(すなわち、第1領域側)に重み付け領域を設けてマッチングスコアを算出しているが、当該第2領域に属する各ピクセルのそれぞれの色特徴量を、重み付けを用いて調整してもよい。