JP2012135240A - 細菌コロニー同定装置およびその方法 - Google Patents
細菌コロニー同定装置およびその方法 Download PDFInfo
- Publication number
- JP2012135240A JP2012135240A JP2010289125A JP2010289125A JP2012135240A JP 2012135240 A JP2012135240 A JP 2012135240A JP 2010289125 A JP2010289125 A JP 2010289125A JP 2010289125 A JP2010289125 A JP 2010289125A JP 2012135240 A JP2012135240 A JP 2012135240A
- Authority
- JP
- Japan
- Prior art keywords
- colony
- bacterial
- illumination
- colonies
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
【課題】細菌コロニーの同定装置および同定方法。
【解決手段】光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段101、102と、照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明手段104と、前記照明手段及び前記透過照明手段で照明された該細菌コロニーを撮像する撮像手段103と、複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、前記撮像手段で撮像された該細菌コロニーの撮像画像を前記データベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部111と、を備える細菌コロニーの同定装置。
【選択図】図1
【解決手段】光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段101、102と、照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明手段104と、前記照明手段及び前記透過照明手段で照明された該細菌コロニーを撮像する撮像手段103と、複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、前記撮像手段で撮像された該細菌コロニーの撮像画像を前記データベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部111と、を備える細菌コロニーの同定装置。
【選択図】図1
Description
本発明はシャーレに培養した細菌コロニーを同定する装置およびその方法に関し、特に、撮影したシャーレ上のコロニーの光学像に基づく撮影画像から、同一外観のコロニー毎にグルーピングし、グループ代表のコロニーを選出し,選出したコロニーに対して同定処理を行う細菌コロニー同定装置及びその方法に関する。
細菌感染患者から起炎菌を同定するためには、まず初めに患者から得た検体をシャーレ上の発育培地で培養し、シャーレ上に形成したコロニーから釣菌によって菌を採取する。次に、採取した菌を生理食塩水などの溶液で混濁し菌液を作成する。これにMIC法(最小発育阻止濃度法)であるAST(薬剤感受性検査)を行うか、または、赤外分光検査を施すことで菌の同定を行う。
ここでMIC法(最小発育阻止濃度法)とは、ASTにおいて一般的な方法であり、異なる濃度の薬剤を含んだ複数の培地に採取された細菌を塗布し細菌の発育を見ることで、細菌の発育を抑える薬剤の最低濃度を測る手法である。
ここでMIC法(最小発育阻止濃度法)とは、ASTにおいて一般的な方法であり、異なる濃度の薬剤を含んだ複数の培地に採取された細菌を塗布し細菌の発育を見ることで、細菌の発育を抑える薬剤の最低濃度を測る手法である。
また、経歴の長い細菌検査技師は、患者の症状や生活経歴などの情報を踏まえてシャーレ上に形成したコロニーの外観や全体の密度から細菌種を同定及び推定することができる。しかし、このような官能検査は検査技師の個人差によって判断が変化する危険性があり、常に安定した結果を得ることは難しい。また、目視検査はトレーサビリティが得られず、後からASTなどで得られた精度の高い結果とのつき合わせも難しい。
特許文献1(特開2005−55180号)には、「被検体に対して赤外線を照射し、この被検体中に存在する細菌のスペクトルを検出する検出部と、細菌に対して与えられた赤外線の吸光度がデータベースとして記憶されている赤外線スペクトルDB部と、前記検出部によって検出された細菌のスペクトルを前記赤外線スペクトルDB部で照合して細菌を同定する同定部と、を有することを特徴とする細菌同定装置」(特許請求の範囲の請求項1)が開示されている。
また、非特許文献1には、「シャーレ上の培地に培養した細菌コロニーに直接ラマン分光計測を行うことで細菌種の同定を行う方法」が開示されている。
また、非特許文献1には、「シャーレ上の培地に培養した細菌コロニーに直接ラマン分光計測を行うことで細菌種の同定を行う方法」が開示されている。
、C. Kirschner、L.-P. Choo-Smith、N.A.Ngo-Thi、T. van Vreeswijk、M. Stammler、H.P.Endtz、H.A.Bruining、D.Naumann、and G.J. Puppels.J.of ClinicalMicrobiology、2003、41、324-329.
MIC法のようなASTを実施するにはある一定量の細菌が必要であるため、シャーレ内に形成された細菌コロニーを多数釣菌する必要がある。しかし、短時間での細菌の培養は困難であるため、比較的小さなコロニーについてはコロニーを成長させてから釣菌する必要があり、シャーレ内に培養してから釣菌するまでに時間が多く必要となる。患者の症状が重い場合や検体元が血液や肺などの場合、短時間で同定可能な検査方法が求められているが、現行の細菌検査方法では培養などに時間がかかるため2日以上費やすことが標準的である。
細菌検査技師による官能検査においては、釣菌した全てのコロニーの細菌種が同一でなければ正確な抗生物質の耐性を試験することはできない。そのため、ばらつく恐れがある目視判断を安定化させるため検査員を少数にするのが望ましいが、検査員1人あたりが検査できる検体数には限界があり、同時間あたりに処理可能な検体数とのトレードオフになる。
特許文献1には、検体を生理食塩水などに混合し、ろ過にて細菌を濃縮する過程が述べられているが、この工程だけでは細菌のみを分離するというのは難しい。また、細菌が複数種類混在している場合、スペクトルが不均一になりDBとの照合だけでは精度の高い同定結果は得られない。また培養を行っていないため、薬剤感受性に必要な菌量が得られないという問題もある。
非特許文献1に開示された方法によっては、コロニーの培養する培地の種類、インキュベータの温度、培養時間などの培養条件によって取得するスペクトルが変化するため、同定する対象のコロニーを培養する際はDB作成時の培養条件と同じ条件にて行わなくてはならない。また1個のコロニーにつき散乱光の測定には30〜60秒程度かかり、測定値を安定化するために複数のコロニーで繰り返し測定を行うことが必要なため、測定にかかる時間が長くなり、短時間で同定可能な検査方法が求められる患者の症状が重い場合や検体元が血液や肺などの場合には用いることができないという課題がある。このため、まだ実用化するには問題が多い。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
(1)光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段と、照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明手段と、前記照明手段及び前記透過照明手段で照明された該細菌コロニーを撮像する撮像手段と、複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、前記撮像手段で撮像された該細菌コロニーの撮像画像を前記データベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部と、を備える細菌コロニーの同定装置である。
(1)光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段と、照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明手段と、前記照明手段及び前記透過照明手段で照明された該細菌コロニーを撮像する撮像手段と、複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、前記撮像手段で撮像された該細菌コロニーの撮像画像を前記データベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部と、を備える細菌コロニーの同定装置である。
本発明によれば、細菌コロニーの培養条件を調整することなく同定が可能となるという効果を奏する。
図1は、本発明に係る細菌コロニー同定装置の装置構成を示す図である。
本発明に係る細菌コロニー同定装置は、シャーレ107を載置する台座106と遮光板105と透過照明ユニット104とを備えるステージ部と、シャーレ107に対して低角度から照明光を照射する低角照明ユニット101と高角度から照明光を照射する高角照明ユニット102とXYステージ109とラマン分光測定器108とカメラ103とを備える撮像部と、制御ユニット110とデータ処理ユニット111とDB113とシャーレ情報入力部121と外部出力部122とGUI112と外部入力情報取得部123とを備える信号処理部と、を有して構成される。
本発明に係る細菌コロニー同定装置は、シャーレ107を載置する台座106と遮光板105と透過照明ユニット104とを備えるステージ部と、シャーレ107に対して低角度から照明光を照射する低角照明ユニット101と高角度から照明光を照射する高角照明ユニット102とXYステージ109とラマン分光測定器108とカメラ103とを備える撮像部と、制御ユニット110とデータ処理ユニット111とDB113とシャーレ情報入力部121と外部出力部122とGUI112と外部入力情報取得部123とを備える信号処理部と、を有して構成される。
シャーレ107には、検査対象となる検体を寒天に塗布し、インキュベータに入れて数時間〜数日間で細菌コロニーを培養したものを入れる。
台座106は、シャーレ107を載置するものであり、可視光を透過する透明アクリル板やガラス板等を用いることが望ましい。
遮光板105は、遮光板105の下に配置された透過照明ユニット104からの反射光を遮光するために用いるものであり、反射係数がなるべく低い拡散反射板を用いるのが望ましい、また透過照明ユニット104と台座106の間に配置し、出し入れすることができるような可動構造を持つ。
透過照明ユニット104は、遮光板105の下に配置され、シャーレ107を下から照明するために用いる。
台座106は、シャーレ107を載置するものであり、可視光を透過する透明アクリル板やガラス板等を用いることが望ましい。
遮光板105は、遮光板105の下に配置された透過照明ユニット104からの反射光を遮光するために用いるものであり、反射係数がなるべく低い拡散反射板を用いるのが望ましい、また透過照明ユニット104と台座106の間に配置し、出し入れすることができるような可動構造を持つ。
透過照明ユニット104は、遮光板105の下に配置され、シャーレ107を下から照明するために用いる。
低角照明ユニット101は、シャーレ107に対して低角度方向から照明光を照射する照明系である。
高角照明ユニット102は、シャーレ107に対して低角照明ユニット101よりも高角度の仰角方向から照明光を照射する照明系である。
ラマン分光測定器108は、シャーレ107の表面に対して上方に配置されており、シャーレ107に励起波長のレーザーを照射し、発生したラマン散乱のスペクトルを測定する。ラマン分光測定器108の代わりに、IR(赤外)測定器を用いても良い。
XYステージ109は、ラマン分光測定器108のXY座標位置を制御するものであり、これを制御することで、ラマン分光測定器108によりシャーレ107上の任意の位置のコロニーに励起波長のレーザーを照射することができる。
カメラ103は、低角照明ユニット101、高角照明ユニット102およびラマン分光測定器108による照射によって発生した反射光に基づく画像を撮像する。
高角照明ユニット102は、シャーレ107に対して低角照明ユニット101よりも高角度の仰角方向から照明光を照射する照明系である。
ラマン分光測定器108は、シャーレ107の表面に対して上方に配置されており、シャーレ107に励起波長のレーザーを照射し、発生したラマン散乱のスペクトルを測定する。ラマン分光測定器108の代わりに、IR(赤外)測定器を用いても良い。
XYステージ109は、ラマン分光測定器108のXY座標位置を制御するものであり、これを制御することで、ラマン分光測定器108によりシャーレ107上の任意の位置のコロニーに励起波長のレーザーを照射することができる。
カメラ103は、低角照明ユニット101、高角照明ユニット102およびラマン分光測定器108による照射によって発生した反射光に基づく画像を撮像する。
制御ユニット(光学系及び分光装置制御ユニット)110は、ステージ部および撮像部を制御するユニットであり、低角照明ユニット101、高角照明ユニット102、透過照明ユニット104の任意の照明の点灯・消灯・強度変更やカメラ103による撮像・露光量の変更、遮光板105の遮光板の出し入れの制御、ラマン分光測定器108、XYステージ109の分光検出系の移動などを制御する。
データ処理ユニット111は、制御ユニット110より得られた複数のシャーレ107の画像から細菌コロニーの領域の抽出や、コロニー1個毎の特徴量の計算を行う。ここで特徴量とは、例えばコロニーの大きさや色などである。また制御ユニット110から得られたスペクトル情報の取得も行う。
データ処理ユニット111は、制御ユニット110より得られた複数のシャーレ107の画像から細菌コロニーの領域の抽出や、コロニー1個毎の特徴量の計算を行う。ここで特徴量とは、例えばコロニーの大きさや色などである。また制御ユニット110から得られたスペクトル情報の取得も行う。
DB113は、細菌種毎のコロニー画像や、分光スペクトルデータ、またその細菌種を過去に罹った患者のカルテ情報などが含まれた2次記憶装置である。また、これらの情報を使って正規分布などのモデルで学習を行い、そのパラメータも保存することができる。
シャーレ情報入力部121は、シャーレ107に印字されたバーコードを読み取り、検体や培地の種類などの情報をデータ処理ユニット111へ入力するものである。
外部出力部122は、外部出力部で同定結果や撮像画像などを外部のシステムに転送するものであり、撮像画像などを外部に転送することでトレーサビリティの確保を実現することができる。
GUI112は、撮像した画像、コロニー抽出結果、コロニーの同定結果、特徴量のヒストグラムや計測したスペクトルなどを表示する。分類結果などを修正したい場合には、GUIを介して同定のパラメータの変更や解析したいコロニーをユーザーが入力することができる。なお、このGUIで確認するモード以外に、自動運転モードも設け、自動運転モードの場合には、検査員に確認をとらずに、システムが選択したコロニーの同定結果を取得していく。
シャーレ情報入力部121は、シャーレ107に印字されたバーコードを読み取り、検体や培地の種類などの情報をデータ処理ユニット111へ入力するものである。
外部出力部122は、外部出力部で同定結果や撮像画像などを外部のシステムに転送するものであり、撮像画像などを外部に転送することでトレーサビリティの確保を実現することができる。
GUI112は、撮像した画像、コロニー抽出結果、コロニーの同定結果、特徴量のヒストグラムや計測したスペクトルなどを表示する。分類結果などを修正したい場合には、GUIを介して同定のパラメータの変更や解析したいコロニーをユーザーが入力することができる。なお、このGUIで確認するモード以外に、自動運転モードも設け、自動運転モードの場合には、検査員に確認をとらずに、システムが選択したコロニーの同定結果を取得していく。
画像取得手段114はカメラ103にて撮像された複数の画像を取得する手段であり、分光スペクトル取得手段115はカメラ103で取得されたスペクトルを受け取るものである。
コロニー抽出手段116は、画像取得手段114で取得した複数の画像に基づきコロニー有無およびコロニー位置を抽出するものであり、特徴量算出手段117は、コロニー抽出手段116で抽出されたコロニーの特徴量を算出する。
孤立判定手段118では、個々のコロニーの特徴量に基づいて、孤立して形成されたコロニーかどうかを判定する。また、コロニー分類手段119では、特徴量算出手段117で得られた特徴量からコロニーを外観に基づいたグルーピングを行い、この結果を用いてスペクトルを計測したいコロニーの選択を行う。菌種同定手段120は、分光スペクトル取得手段115で得られたスペクトルと特徴量算出手段117で算出されたの特徴量から、シャーレ107内に形成しているコロニーの同定を行う。
コロニー抽出手段116は、画像取得手段114で取得した複数の画像に基づきコロニー有無およびコロニー位置を抽出するものであり、特徴量算出手段117は、コロニー抽出手段116で抽出されたコロニーの特徴量を算出する。
孤立判定手段118では、個々のコロニーの特徴量に基づいて、孤立して形成されたコロニーかどうかを判定する。また、コロニー分類手段119では、特徴量算出手段117で得られた特徴量からコロニーを外観に基づいたグルーピングを行い、この結果を用いてスペクトルを計測したいコロニーの選択を行う。菌種同定手段120は、分光スペクトル取得手段115で得られたスペクトルと特徴量算出手段117で算出されたの特徴量から、シャーレ107内に形成しているコロニーの同定を行う。
カメラ103は、低角照明ユニット101、高角照明ユニット102による照射によって発生した散乱光に基づく複数の画像を撮像し、該撮像画像は制御ユニット110を経由し画像取得手段114にて受け取り、、コロニー抽出手段116により抽出されたコロニー位置に基づきラマン分光測定器108を移動し、シャーレ107内のコロニー表面上のスペクトルを取得する。。
図2は、本発明に係る細菌コロニー同定装置の照明系の第一の実施例であり、低角照明ユニット101および高角照明ユニット102の照明手段の詳細構成を示している。
低角照明ユニット101は照明部2011、2012、2013、2014とを備えて構成されており、制御ユニット(光学系及び分光装置制御ユニット)110の光学系制御部ユニットを用いて個別に点灯制御を行うことができる。
高角照明ユニット202は照明部2021、2022、2023、2024とを備えて構成されており、これも個別に点灯制御を行うことができるようにする。細菌コロニー表面は比較的滑らかであるため、照明をあてることにより直接反射をする箇所が明るく撮影される。
図2に示すように、シャーレ107の表面に対して異なる方位角方向に配置された照明部毎に照明を行うことにより、照明光とコロニーの中心位置とカメラ光軸を含む面におけるコロニー表面の明度を求めることができる。細菌コロニーの詳細な形状を求める場合には、照明部2011、2012、2013、2014によりそれぞれ1つずつ照明した画像を4回、更に、照明部2021,2022,2023,2024によりそれぞれを1つずつ照明した画像を4回撮像し、計8回撮影することが望ましい。 撮影時間を短縮するためには、この8個の照明部のうちのいくつかを同時に照明して撮影すればよい。一方、撮影時間を短縮するために、例えば、照明部2011、2012、2013、2014を同時に照明した画像を1枚、照明部2021,2022,2023,2024を同時に照明した画像を1枚撮像し、計2枚の画像を用いても良い。
低角照明ユニット101は照明部2011、2012、2013、2014とを備えて構成されており、制御ユニット(光学系及び分光装置制御ユニット)110の光学系制御部ユニットを用いて個別に点灯制御を行うことができる。
高角照明ユニット202は照明部2021、2022、2023、2024とを備えて構成されており、これも個別に点灯制御を行うことができるようにする。細菌コロニー表面は比較的滑らかであるため、照明をあてることにより直接反射をする箇所が明るく撮影される。
図2に示すように、シャーレ107の表面に対して異なる方位角方向に配置された照明部毎に照明を行うことにより、照明光とコロニーの中心位置とカメラ光軸を含む面におけるコロニー表面の明度を求めることができる。細菌コロニーの詳細な形状を求める場合には、照明部2011、2012、2013、2014によりそれぞれ1つずつ照明した画像を4回、更に、照明部2021,2022,2023,2024によりそれぞれを1つずつ照明した画像を4回撮像し、計8回撮影することが望ましい。 撮影時間を短縮するためには、この8個の照明部のうちのいくつかを同時に照明して撮影すればよい。一方、撮影時間を短縮するために、例えば、照明部2011、2012、2013、2014を同時に照明した画像を1枚、照明部2021,2022,2023,2024を同時に照明した画像を1枚撮像し、計2枚の画像を用いても良い。
直接反射光を検出すると、その近傍の細菌コロニーの色情報が失われてしまうという課題があるが、細菌コロニーを種類別に分類・同定するには、色情報が重要である。そこで、われわれは低角照明においては、直接反射光がなるべく検出されないような角度を選択することとした。低角照明ユニット101の照明は、シャーレの端で最も高い角度θになるが、評価の結果、角度θが45°以下であれば、ほとんどのコロニーで直接反射光の影響を受けずに色情報を取得できることがわかった。
また、高角の照明においてもシャーレの端部において、最も高角度な角度、θ2の位置より照明することになるが、この角度が80°を超えると、培地によってはシャーレの端において表面張力によって培地が傾き、この培地自体が直接反射で明るく検出される場合があることがわかった。そこで、高角照明は最も高角度な照明であっても、照明角度が80°を超えないように設定することとした。
また、高角の照明においてもシャーレの端部において、最も高角度な角度、θ2の位置より照明することになるが、この角度が80°を超えると、培地によってはシャーレの端において表面張力によって培地が傾き、この培地自体が直接反射で明るく検出される場合があることがわかった。そこで、高角照明は最も高角度な照明であっても、照明角度が80°を超えないように設定することとした。
このように照明角を設定することにより、照明部2011、2012、2013、2014を備えて構成される低格照明ユニット101による低角の照明では、ほとんどの場合、直接反射光を検出することは無いため、1つずつ照明しても得られる情報量としては多くない。このため、低角の照明はすべての方位から同時に照明して撮影することが、撮影時間を短くするという観点で望ましい。
図3は、本発明に係る細菌コロニー同定装置の照明系の第二の実施例である。
高角照明ユニット102および低角照明ユニット101による照明領域が線状である点が図2と異なる点である。図3の照明系では、低角照明ユニット101の照明部は3011、3012、3013、3014により構成され、低角照明ユニット102の照明部は3021、3022、3023、3024により構成されている。図2と同様に、この照明部のそれぞれが、制御ユニット110を用いて個別に点灯制御を行うことができる。
コロニーの直接反射光をもとに分類を行うことを考慮すると、シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし、シャーレの直径は通常φ90mm程度であり、シャーレ107の各位置においてコロニーのほぼ同一の法線方向からの直接反射光を検出するためには、高角照明ユニット102、カメラ103をシャーレ107から大きく離す必要がある。このサイズを小さくするためには、カメラをテレセントリック光学系にすることが望ましく、この方式にすることで撮像系のレンズとシャーレ間の距離を縮めることができる。また、照明系(高角照明ユニット102および低角照明ユニット101)においては、高角照明ユニット102をLED多数の集合として、各LEDにマイクロレンズを設け、比較的平行光にするといった方法を採用することで、照明とシャーレとの位置を短くすることができる。
高角照明ユニット102および低角照明ユニット101による照明領域が線状である点が図2と異なる点である。図3の照明系では、低角照明ユニット101の照明部は3011、3012、3013、3014により構成され、低角照明ユニット102の照明部は3021、3022、3023、3024により構成されている。図2と同様に、この照明部のそれぞれが、制御ユニット110を用いて個別に点灯制御を行うことができる。
コロニーの直接反射光をもとに分類を行うことを考慮すると、シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし、シャーレの直径は通常φ90mm程度であり、シャーレ107の各位置においてコロニーのほぼ同一の法線方向からの直接反射光を検出するためには、高角照明ユニット102、カメラ103をシャーレ107から大きく離す必要がある。このサイズを小さくするためには、カメラをテレセントリック光学系にすることが望ましく、この方式にすることで撮像系のレンズとシャーレ間の距離を縮めることができる。また、照明系(高角照明ユニット102および低角照明ユニット101)においては、高角照明ユニット102をLED多数の集合として、各LEDにマイクロレンズを設け、比較的平行光にするといった方法を採用することで、照明とシャーレとの位置を短くすることができる。
図19は、本発明に係る細菌コロニー同定装置のラマン分光測定器の第一の実施例である。
本発明に係る細菌コロニー同定装置のラマン分光測定器は、レーザ発生装置1901、干渉フィルタ1902、ミラー1903、ビームスプリッタ1904とを備えるラマン照明部と、対物レンズ1906、ビームスプリッタ1905、ノッチフィルタ1908、レンズ1909、分光計1910、ノッチフィルタ1913、赤外カメラ1911とを備えるラマン検出部と、を備えて構成される。
ここでコロニー1907は培地1912の上に配置されている。
本発明に係る細菌コロニー同定装置のラマン分光測定器は、レーザ発生装置1901、干渉フィルタ1902、ミラー1903、ビームスプリッタ1904とを備えるラマン照明部と、対物レンズ1906、ビームスプリッタ1905、ノッチフィルタ1908、レンズ1909、分光計1910、ノッチフィルタ1913、赤外カメラ1911とを備えるラマン検出部と、を備えて構成される。
ここでコロニー1907は培地1912の上に配置されている。
レーザー発生装置1901から出力されたレーザー光のうち、干渉フィルタ1902で励起波長の光だけが通過する。干渉フィルタ1902を通過した励起波長の光はコロニー1907に照射され、散乱光が発生する。
発生した散乱光は対物レンズ1906を通過し、ビームスプリッタ1905上で反射及び透過する。ノッチフィルタ1908、1913は、ラマン散乱光と共に通過しようとするレーザーの直接反射光を遮断する。
その後、レンズ1909で、ラマン散乱光を収束して、分光計1910でスペクトルを測定する。またコロニー1907の上部に赤外カメラ1911を置き、コロニー1907全体の散乱光の様子を確認する。このとき、スペクトル計測は400nm〜2000nmの範囲で行い、励起レーザー波長は600nm〜800nm中の単一な波長を用いると効果的である。
尚、レーザ発生装置1901をブロードな赤外レーザー発生装置に置き換え、干渉フィルタ1902、ミラー1903、ノッチフィルタ1908を取り除くことで、赤外分光による吸収スペクトル測定してもよい。
発生した散乱光は対物レンズ1906を通過し、ビームスプリッタ1905上で反射及び透過する。ノッチフィルタ1908、1913は、ラマン散乱光と共に通過しようとするレーザーの直接反射光を遮断する。
その後、レンズ1909で、ラマン散乱光を収束して、分光計1910でスペクトルを測定する。またコロニー1907の上部に赤外カメラ1911を置き、コロニー1907全体の散乱光の様子を確認する。このとき、スペクトル計測は400nm〜2000nmの範囲で行い、励起レーザー波長は600nm〜800nm中の単一な波長を用いると効果的である。
尚、レーザ発生装置1901をブロードな赤外レーザー発生装置に置き換え、干渉フィルタ1902、ミラー1903、ノッチフィルタ1908を取り除くことで、赤外分光による吸収スペクトル測定してもよい。
図20は、本発明に係る細菌コロニー同定装置のラマン分光測定器の第二の実施例である。
図20は、ラマン分光測定器108を共焦点光学系の構成にした点が図19のラマン分光測定器と異なる点である。具体的には、図19のラマン分光測定器ににレンズ2001とスリット2002とを加えたものである。これにより、培地内部2003のような培地表面より内部の位置から散乱してきた光は光路2004のをとりスリット2001において遮断されるため、対物レンズ1906の焦点位置から散乱した光に対する感度を向上させることができる。
培地は水分や添加物などを多く含み、細菌種を同定する上で不要なスペクトルの散乱光を発生するため図20に記載したような光学系は検出感度向上に効果的である。
また、細菌種によってはコロニー断面の高さが違うことが多いため、対物レンズ2005をZステージ取り付けることで、対象コロニー毎に焦点を調整する必要がある。この場合も同じようにレーザ発生装置1901をブロードな赤外レーザー発生装置に置き換え、干渉フィルタ1902、ミラー1903、ノッチフィルタ1908を取り除いた構成で赤外分光を行ってもよい。
図20は、ラマン分光測定器108を共焦点光学系の構成にした点が図19のラマン分光測定器と異なる点である。具体的には、図19のラマン分光測定器ににレンズ2001とスリット2002とを加えたものである。これにより、培地内部2003のような培地表面より内部の位置から散乱してきた光は光路2004のをとりスリット2001において遮断されるため、対物レンズ1906の焦点位置から散乱した光に対する感度を向上させることができる。
培地は水分や添加物などを多く含み、細菌種を同定する上で不要なスペクトルの散乱光を発生するため図20に記載したような光学系は検出感度向上に効果的である。
また、細菌種によってはコロニー断面の高さが違うことが多いため、対物レンズ2005をZステージ取り付けることで、対象コロニー毎に焦点を調整する必要がある。この場合も同じようにレーザ発生装置1901をブロードな赤外レーザー発生装置に置き換え、干渉フィルタ1902、ミラー1903、ノッチフィルタ1908を取り除いた構成で赤外分光を行ってもよい。
図4は、本発明に係る細菌コロニー同定方法のフローチャートである。
制御ユニット110を経由して送られてきた複数毎の画像を画像取得手段114にて受信する(step401)。
画像取得手段114にて取得された複数枚の画像はコロニー抽出部116に送られ、複数枚の画像を組み合わせることでシャーレ107全体のコロニー領域を抽出する(step402)。画像の組み合わせ方は、シャーレ情報入力部121より得られた培地の種類によって決定される。例えば、培地として可視光を透過するトリプチケースソイ寒天培地を用いた場合には、透過照明ユニット104からの透過照明によって照らされたシャーレの画像中に存在するコロニーの領域は周辺より明度が著しく低くなる。そのため、抽出の際に他の照明の画像よりも透過照明画像の重みを大きくして領域を求めることが必要となる。それに対して、可視光が内部で散乱する血寒天培地などを用いて場合には、透過照明からの可視光が培地を透過しないためコロニー領域が顕在化されないが、低角・高角照明によって照らされたシャーレ画像は培地領域の明度が低くコロニー領域の明度が顕在化されることが多いため、コロニー抽出を行う際はこれらの上方照明の画像の重みを大きくして領域を求めることが必要となる。
制御ユニット110を経由して送られてきた複数毎の画像を画像取得手段114にて受信する(step401)。
画像取得手段114にて取得された複数枚の画像はコロニー抽出部116に送られ、複数枚の画像を組み合わせることでシャーレ107全体のコロニー領域を抽出する(step402)。画像の組み合わせ方は、シャーレ情報入力部121より得られた培地の種類によって決定される。例えば、培地として可視光を透過するトリプチケースソイ寒天培地を用いた場合には、透過照明ユニット104からの透過照明によって照らされたシャーレの画像中に存在するコロニーの領域は周辺より明度が著しく低くなる。そのため、抽出の際に他の照明の画像よりも透過照明画像の重みを大きくして領域を求めることが必要となる。それに対して、可視光が内部で散乱する血寒天培地などを用いて場合には、透過照明からの可視光が培地を透過しないためコロニー領域が顕在化されないが、低角・高角照明によって照らされたシャーレ画像は培地領域の明度が低くコロニー領域の明度が顕在化されることが多いため、コロニー抽出を行う際はこれらの上方照明の画像の重みを大きくして領域を求めることが必要となる。
特徴量算出手段117にて、step402においてコロニー抽出部116で抽出された個々のコロニーから面積や周囲長、輝度、彩度といった特徴量を算出する(step403)。
孤立判定手段118では、step402で抽出されたコロニーとstep403で得られた個々のコロニーの特徴量とに基づいて、孤立して形成されたコロニーかどうかを判定する(step404)。孤立判定は、注目しているコロニーと他のコロニーとの距離がある閾値以上であること、かつ2個以上のコロニーが結合していないことである。前者の条件は、コロニー領域をモルフォロジー演算で、しきい値と同じ半径をもつ円を構造要素としてDilationを行い、別の孤立したコロニー領域と接合するかどうかで判定を行う。後者はstep403で算出された特徴量を統合的に処理し判断することが必要である。例えば同径の2個のコロニーが密に結合した場合は、結合部分が括れた楕円形状を持つことが多いため、モーメント特徴からコロニー形状の長軸と短軸を算出し、アスペクト比で判定すればよい。
孤立判定手段118では、step402で抽出されたコロニーとstep403で得られた個々のコロニーの特徴量とに基づいて、孤立して形成されたコロニーかどうかを判定する(step404)。孤立判定は、注目しているコロニーと他のコロニーとの距離がある閾値以上であること、かつ2個以上のコロニーが結合していないことである。前者の条件は、コロニー領域をモルフォロジー演算で、しきい値と同じ半径をもつ円を構造要素としてDilationを行い、別の孤立したコロニー領域と接合するかどうかで判定を行う。後者はstep403で算出された特徴量を統合的に処理し判断することが必要である。例えば同径の2個のコロニーが密に結合した場合は、結合部分が括れた楕円形状を持つことが多いため、モーメント特徴からコロニー形状の長軸と短軸を算出し、アスペクト比で判定すればよい。
step404において孤立判定されたコロニーの情報とその特徴量をコロニー分類手段119に送信し、クラスタリングによる分類処理によって外観が似ているコロニーのグルーピングを行う(step405)。
グルーピングを行った結果に基づき、コロニー分類手段(スペクトル計測コロニー決定部)119にて、スペクトルを計測するコロニーの決定を行う(step406)。スペクトルを計測するコロニーを決定するのは、スペクトル計測には時間がかかるため、同定検査のスループットを上げるためにはスペクトル計測を行うための計測対象のコロニーを絞る必要があるからである。但し、培地上に存在する細菌種すべてを同定しなくてはならないことから、外観の違いから絞り込むコロニーを選択する。例えば、step405で行ったクラスタリング処理がk−means法である場合には、各クラスタを決定するセントロイドに最も近い特徴ベクトルを持つコロニーを選択する。
次に、ラマン分光測定器108などのスペクトル計測部にてスペクトルを計測する(step407)。このとき、step406で選択されたコロニーまでラマン分光測定器108を移動してスペクトル計測を行う。このとき、コロニーのない培地上のスペクトルも計測しておき、コロニーのスペクトルとの差分をとることで、コロニー固有のスペクトルを算出することができる。
グルーピングを行った結果に基づき、コロニー分類手段(スペクトル計測コロニー決定部)119にて、スペクトルを計測するコロニーの決定を行う(step406)。スペクトルを計測するコロニーを決定するのは、スペクトル計測には時間がかかるため、同定検査のスループットを上げるためにはスペクトル計測を行うための計測対象のコロニーを絞る必要があるからである。但し、培地上に存在する細菌種すべてを同定しなくてはならないことから、外観の違いから絞り込むコロニーを選択する。例えば、step405で行ったクラスタリング処理がk−means法である場合には、各クラスタを決定するセントロイドに最も近い特徴ベクトルを持つコロニーを選択する。
次に、ラマン分光測定器108などのスペクトル計測部にてスペクトルを計測する(step407)。このとき、step406で選択されたコロニーまでラマン分光測定器108を移動してスペクトル計測を行う。このとき、コロニーのない培地上のスペクトルも計測しておき、コロニーのスペクトルとの差分をとることで、コロニー固有のスペクトルを算出することができる。
細菌種同定手段120では、step407にて計測されたコロニーのスペクトル及びピーク周波数と外観の特徴量に基づきDB113とのマッチングを行い、細菌種の同定を行う(step408)。
ユーザーはGUI112を介して同定結果の確認を行う(step409)。このとき、ユーザーの官能検査結果との間で違いがあった場合は、その情報を入力することでDB113に追加情報を加えることができる。
ユーザーはGUI112を介して同定結果の確認を行う(step409)。このとき、ユーザーの官能検査結果との間で違いがあった場合は、その情報を入力することでDB113に追加情報を加えることができる。
図5は、細菌コロニー形状と照明条件との関係を示す図である。
各照明条件による細菌コロニー形状の特徴の顕在化状態を示す。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであればこの反射光を検出した位置がコロニー中心付近であり、反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また、コロニーがドーム状から崩れた形状である場合には反射光は複数の位置で検出される。一方、低角照明においてはコロニーの表面形状が多少変化した場合でも明度は変化せず、細菌コロニーの表面の色、明度情報を取得しやすい。
各照明条件による細菌コロニー形状の特徴の顕在化状態を示す。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであればこの反射光を検出した位置がコロニー中心付近であり、反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また、コロニーがドーム状から崩れた形状である場合には反射光は複数の位置で検出される。一方、低角照明においてはコロニーの表面形状が多少変化した場合でも明度は変化せず、細菌コロニーの表面の色、明度情報を取得しやすい。
図6は、シャーレにおける細菌コロニーの分布を示す図である。
シャーレ601の中には、領域602は、シャーレの外側近くに発生したシャーレからの乱反射の領域やシャーレ縁における表面張力の影響で培地が傾くことにより発生した多少明るく見える領域である。また、領域603は、細菌コロニーの分泌液により、培地の明度あるいは色が変化してした領域である。コロニー604は、比較的培地からのコントラストが低い小型の種類の細菌コロニーであり、コロニー605はコントラストの高い細菌コロニーである。
コントラストの高い細菌コロニー605は検出しやすいが、コロニー領域は低コントラストであり、培地の平均明度あるいは色からの変化は領域602や領域603のような領域の方が大きい。培地の平均からの色あるいは明度の差分でコロニーを検出するとコロニー604を抽出可能な条件では領域602や領域603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。
シャーレ601の中には、領域602は、シャーレの外側近くに発生したシャーレからの乱反射の領域やシャーレ縁における表面張力の影響で培地が傾くことにより発生した多少明るく見える領域である。また、領域603は、細菌コロニーの分泌液により、培地の明度あるいは色が変化してした領域である。コロニー604は、比較的培地からのコントラストが低い小型の種類の細菌コロニーであり、コロニー605はコントラストの高い細菌コロニーである。
コントラストの高い細菌コロニー605は検出しやすいが、コロニー領域は低コントラストであり、培地の平均明度あるいは色からの変化は領域602や領域603のような領域の方が大きい。培地の平均からの色あるいは明度の差分でコロニーを検出するとコロニー604を抽出可能な条件では領域602や領域603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。
そこで、本発明では、次の3つのステップを用いて、孤立したコロニーを抽出できるようにする。すなわち、
(1)空間的なバンドパスフィルタをかけ、領域602や領域603の特徴である低周波数成分を除去する。
(2)着目する領域の周辺の局所的な明度をもとに培地と思われる明度、あるいは色を算出、この局所的な明度あるいは色との比較に基づき、異なる場合にコロニーの候補として抽出する。
(3)コロニーの候補として抽出された領域の明度あるいは色の分布を評価し、明度分布がドーム状に類似した場合をコロニーと判定する。
(1)空間的なバンドパスフィルタをかけ、領域602や領域603の特徴である低周波数成分を除去する。
(2)着目する領域の周辺の局所的な明度をもとに培地と思われる明度、あるいは色を算出、この局所的な明度あるいは色との比較に基づき、異なる場合にコロニーの候補として抽出する。
(3)コロニーの候補として抽出された領域の明度あるいは色の分布を評価し、明度分布がドーム状に類似した場合をコロニーと判定する。
図7は、撮像画像の一次元方向と画像明度との関係を示す図である。ここでは(2)のステップのアルゴリズムの考え方を示す。コロニー701とコロニー702とは抽出すべきコロニーであるが、単純な二値化手法を採用すると領域703がコロニーとして抽出され、領域704はコロニーとして抽出されないためコロニー702が見逃されてしまうことになる。そこで、コロニー701の有無判定を行う場合は、その近傍の領域703、コロニー702の有無判定を行う場合には領域704を基準にしてコロニーの有無を判定するのが良い。
(3)の手法としては、例えば二次関数フィッティングが挙げられる。(2)の処理において、近傍を基準に明度の明るい領域を抽出しても、図6のコロニー606に示すように複数の細菌コロニーが重なった領域を抽出してしまう恐れがある。複数のコロニーの集合体では単一の細菌のみで構成されない場合があるため、これは除去しなければならない。(2)で得られたコロニーの候補領域の透過画像明度をI(x、y)としたとき、例えば、コロニー候補領域におけるフィッティング誤差を表わすErrorは下記の式で与えられる。
Error=Σ(Ax2+Bx+C+Dy2+Ey+F+Gxy+H−I(x、y))2
このErrorが最小となるように、係数、A、B、C、D、E、F、G、Hを最小二乗法等で算出し、コロニー候補領域の面積をSとした際に、Error/Sがしきい値以下の場合のみ孤立コロニーとする、等の方法により、対応することができる。また、この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
Error=Σ(Ax2+Bx+C+Dy2+Ey+F+Gxy+H−I(x、y))2
このErrorが最小となるように、係数、A、B、C、D、E、F、G、Hを最小二乗法等で算出し、コロニー候補領域の面積をSとした際に、Error/Sがしきい値以下の場合のみ孤立コロニーとする、等の方法により、対応することができる。また、この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
(2)で説明したステップは培地の画像が急峻には変化せず、画像中の急峻な明度の変化は細菌コロニーのみによることを前提としていた。しかし、実際にはそれ以外の明度変化も存在する。その最大の問題がシャーレに記述された文字である。
図8は、照明角度とシャーレ底の文字のコントラストとの関係を示す図である。
画像801はシャーレを透過照明ユニット104のみで下方から照明して撮影した像、画像802は低角照明ユニット101で低角から照明して撮影した像、画像803は高角照明ユニット102で上方から照明して得た像である。画像801は最も鮮明な画像である。一般に細菌の培養に用いるシャーレには、そのトレーサビリティをチェックするためのバーコードの印刷がシャーレ底に行われている。このバーコードは台座106の台にシャーレが送られる際、自動的にシャーレ情報入力ユニット112にて読み取られ、検体情報・培地情報などを得ることができる。また、病院や検査機関では、類似した多数の細菌培養シャーレを区別するために、マジックインキ等で検体ID等を記載することも行われる場合がある。このように、コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。画像802の低い角度から照明した像ではこの文字はほとんど見えないが、非常に透明度の高い培地の場合は見える場合がある。シャーレの印字は、画像803は画像801に較べると鮮明でないが、画像802に較べるとはっきりと見ることができる。細菌コロニー804、シャーレの印字805である。画像801のように下方から照明した場合には、印字805が光を遮ることになるため、極めて良好に撮像される。画像802の低角照明の場合、ほとんどの光は表面で反射され、培地内部には潜り込まないので、印字はほとんど見られない。画像803は上方から照明しているため、低角照明よりも培地内部に光が入り込み、印字が鮮明に見えてしまう。ここで、透過照明以外の場合に遮光板105をおくことで画像803の文字は見えにくくなってはいるが、完全に見えなくすることは困難である。そこで、(2)のステップにおいては、まずシャーレ底の印字あるいは文字、ラベル等、局所領域処理による培地の明度、色を認識する際に障害となるマーク領域を特定することが必要になる。
画像801はシャーレを透過照明ユニット104のみで下方から照明して撮影した像、画像802は低角照明ユニット101で低角から照明して撮影した像、画像803は高角照明ユニット102で上方から照明して得た像である。画像801は最も鮮明な画像である。一般に細菌の培養に用いるシャーレには、そのトレーサビリティをチェックするためのバーコードの印刷がシャーレ底に行われている。このバーコードは台座106の台にシャーレが送られる際、自動的にシャーレ情報入力ユニット112にて読み取られ、検体情報・培地情報などを得ることができる。また、病院や検査機関では、類似した多数の細菌培養シャーレを区別するために、マジックインキ等で検体ID等を記載することも行われる場合がある。このように、コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。画像802の低い角度から照明した像ではこの文字はほとんど見えないが、非常に透明度の高い培地の場合は見える場合がある。シャーレの印字は、画像803は画像801に較べると鮮明でないが、画像802に較べるとはっきりと見ることができる。細菌コロニー804、シャーレの印字805である。画像801のように下方から照明した場合には、印字805が光を遮ることになるため、極めて良好に撮像される。画像802の低角照明の場合、ほとんどの光は表面で反射され、培地内部には潜り込まないので、印字はほとんど見られない。画像803は上方から照明しているため、低角照明よりも培地内部に光が入り込み、印字が鮮明に見えてしまう。ここで、透過照明以外の場合に遮光板105をおくことで画像803の文字は見えにくくなってはいるが、完全に見えなくすることは困難である。そこで、(2)のステップにおいては、まずシャーレ底の印字あるいは文字、ラベル等、局所領域処理による培地の明度、色を認識する際に障害となるマーク領域を特定することが必要になる。
図9は、照明角度とシャーレのマーク領域との関係を示す図である。ここでは、性質の異なる培地でのコロニー領域抽出方法について説明する。血液寒天培地901のようなコロイドを含む成分を添加された培地は、培地内部にて903や904のように可視光が散乱する。そのため、透過照明ユニット104で照らされたシャーレ画像901はコロニーの境界がぼやけた画像になり、コロニー領域が顕在化されにくい。対して上方照明による画像902は、培地内に入射しシャーレ底で反射してからカメラ方向へ向かう光がほとんど生じない。そのため、シャーレ裏面の印字が写らないので光を透過する培地よりもコロニー抽出に有効である。また、培地内部に入射した光はランダムに内部拡散し培地表面が均一な色合いになるため、透明な培地よりもコロニー領域を抽出しやすい。このような光を完全に透過しない培地は上方照明の画像を主に用いて、コロニーを抽出したほうがよい。そこでDB(二次記憶装置)113に、どの照明によって撮影された画像を主に利用するかを培地毎に設定した抽出パラメータを保存しておき、シャーレ情報入力部121により取得したシャーレ情報から最適な抽出パラメータを選択する。
図10は、細菌コロニー間の距離の測定方法に関する図である。細菌コロニー間の距離を測定は、例えば孤立判定に用いる。
コロニー1001のコロニー間距離を計測するとき、コロニー1001の周りに存在するコロニー1002、1004、1005に対し、コロニー1001の縁と他のコロニーの縁との間隔が最短のものを求める。この図例では、コロニー1002との距離1003が最も短くなる。コロニーはほぼ真円状をしているため、コロニー領域の面積からその半径と中心を求める。これらのコロニー間の距離の計算は、コロニー1003の場合、コロニー1001の中心とコロニー1002中心の距離からそれぞれのコロニーの半径r1とr2を引くことで求めることができる。コロニー1006のコロニーにおいてコロニー間距離を求める場合、最も隣接しているコロニーが複数のコロニーが結合した1008のように円形状ではない場合がある。このような場合、コロニー領域1008の輪郭上の任意の点とコロニー1006の中心との距離がもっとも短くなる点Pを求め、その距離からコロニー1006の半径を引くことで算出する。
コロニー1001のコロニー間距離を計測するとき、コロニー1001の周りに存在するコロニー1002、1004、1005に対し、コロニー1001の縁と他のコロニーの縁との間隔が最短のものを求める。この図例では、コロニー1002との距離1003が最も短くなる。コロニーはほぼ真円状をしているため、コロニー領域の面積からその半径と中心を求める。これらのコロニー間の距離の計算は、コロニー1003の場合、コロニー1001の中心とコロニー1002中心の距離からそれぞれのコロニーの半径r1とr2を引くことで求めることができる。コロニー1006のコロニーにおいてコロニー間距離を求める場合、最も隣接しているコロニーが複数のコロニーが結合した1008のように円形状ではない場合がある。このような場合、コロニー領域1008の輪郭上の任意の点とコロニー1006の中心との距離がもっとも短くなる点Pを求め、その距離からコロニー1006の半径を引くことで算出する。
図11は、コロニーの画像特徴量の抽出フローの説明図である。高角照明画像1101(高角照明ユニット102で照明)、低角照明画像1102(低角照明ユニット101で照明)、透過照明画像1103(透過照明ユニット104で照明)を処理して、コロニーを抽出する(step1104)。
step1104で抽出したコロニー1105のうち、step1106にて一部のコロニーを選択する。
高角照明画像1101、低角照明画像1102、透過照明画像1103およびstep1106にて選択されたコロニーより、少なくとも次の特徴量を算出する。なお、高角照明画像1101では、複数の方向から個別に照明して複数の高角照明画像を得てこれを個別処理することにより、弁別性の優れた特徴を得ることができる。
step1104で抽出したコロニー1105のうち、step1106にて一部のコロニーを選択する。
高角照明画像1101、低角照明画像1102、透過照明画像1103およびstep1106にて選択されたコロニーより、少なくとも次の特徴量を算出する。なお、高角照明画像1101では、複数の方向から個別に照明して複数の高角照明画像を得てこれを個別処理することにより、弁別性の優れた特徴を得ることができる。
(a)表面凹凸
図5で示したように、直接反射光の位置により観察された位置のコロニーの法線方向が算出できるため、直接反射光の位置に基づいて表面の凹凸を求めることができる。
(b)テクスチャ
コロニーの表面が荒れている場合は、コロニーの中心に対して方位別に非点対称に小領域の直接反射光が観測されるため、直接反射光の方位角方向の出方に基づきテクスチャを求めることができる。
(c)色
色特徴は低角照明ユニットから照明した画像1102か透過照明画像1103に基づいて算出する。なお、補助的に高角から照明した画像1101を用いても良い。色空間としては、通常のRGBの他にLu*v*空間や、HSV空間等を用いても良い。特に、透過照明画像を用いた場合は、RGB画像を用いるとコロニーの培地からの高さにより明度が変化するため、コロニーの高さ特徴を色特徴と別に設定した場合、特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため、明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
図5で示したように、直接反射光の位置により観察された位置のコロニーの法線方向が算出できるため、直接反射光の位置に基づいて表面の凹凸を求めることができる。
(b)テクスチャ
コロニーの表面が荒れている場合は、コロニーの中心に対して方位別に非点対称に小領域の直接反射光が観測されるため、直接反射光の方位角方向の出方に基づきテクスチャを求めることができる。
(c)色
色特徴は低角照明ユニットから照明した画像1102か透過照明画像1103に基づいて算出する。なお、補助的に高角から照明した画像1101を用いても良い。色空間としては、通常のRGBの他にLu*v*空間や、HSV空間等を用いても良い。特に、透過照明画像を用いた場合は、RGB画像を用いるとコロニーの培地からの高さにより明度が変化するため、コロニーの高さ特徴を色特徴と別に設定した場合、特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため、明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
(d)形状(大きさ、円形度、長軸/短軸)
検出したコロニーの領域のサイズや円形度、形状を楕円近似したときの長軸/短軸等を用いて求めることができる。円形度は以下の領域の周囲長を面積の平方根で割った式により求めることができる。円形度を求めることで、細菌の縁がアメーバ状になるものを顕在化することができる。
(e))明度、色、透過率、立体形状
透過照明画像1103の明度と高角照明画像1101の直接反射をもとに、透過率および培地からの高さを求めることができる。図11に高角照明画像と透過照明画像の関係を示す。高角照明画像1101はある1方向から照明した画像である。透過照明は培地が光の透過率が高い場合のみ用いることができるが、透過照明により得られる画像はコロニーの位置で暗くなり、コロニーの厚みが増すとともにさらに暗くなる。ここで、コロニーの内部におけるある明度をIC(x、y)、培地の明度の平均値をIM、コロニー種毎に決定されるゲインをGとおくと、ある(x、y)の位置でのコロニーの厚みD(x、y)は以下の式で求められる。
D(x、y)=−G(log IC(x、y))−log IM)
ある位置(X、Y)において、高角照明による反射光を検出できたと仮定する。このとき法線ベクトルが鉛直方向からθ傾いていたとすると、Δxだけ位置のずれた際の厚みの変化は−Δx tanθとなる。ここでD(x、y)の差分を計算すると、
D(X+Δx、Y)−D(X、Y)=−G(log IC(X+Δx、Y)−)log IC(X、Y))=−Δx tanθ
が成立する。すなわち、
G=Δx tanθ/(log IC(X+Δx、Y))−log IC(X、Y))
で求められ、コロニーの厚みを任意の位置で求めることができる。よって、比較的透過度の高い培地の場合には、直接反射光の発生する箇所さえ見つかればコロニーの立体的な形状、体積を求めることができ、これは細菌コロニーを識別する上で大変重要な特徴量になる。例えば、この情報からコロニーの最大高さ、体積、平均高さ、外周の高さなどを演算し、これらの特徴をそれぞれ要素としたベクトルを算出し、これを各コロニーの画像特徴量とする。
検出したコロニーの領域のサイズや円形度、形状を楕円近似したときの長軸/短軸等を用いて求めることができる。円形度は以下の領域の周囲長を面積の平方根で割った式により求めることができる。円形度を求めることで、細菌の縁がアメーバ状になるものを顕在化することができる。
(e))明度、色、透過率、立体形状
透過照明画像1103の明度と高角照明画像1101の直接反射をもとに、透過率および培地からの高さを求めることができる。図11に高角照明画像と透過照明画像の関係を示す。高角照明画像1101はある1方向から照明した画像である。透過照明は培地が光の透過率が高い場合のみ用いることができるが、透過照明により得られる画像はコロニーの位置で暗くなり、コロニーの厚みが増すとともにさらに暗くなる。ここで、コロニーの内部におけるある明度をIC(x、y)、培地の明度の平均値をIM、コロニー種毎に決定されるゲインをGとおくと、ある(x、y)の位置でのコロニーの厚みD(x、y)は以下の式で求められる。
D(x、y)=−G(log IC(x、y))−log IM)
ある位置(X、Y)において、高角照明による反射光を検出できたと仮定する。このとき法線ベクトルが鉛直方向からθ傾いていたとすると、Δxだけ位置のずれた際の厚みの変化は−Δx tanθとなる。ここでD(x、y)の差分を計算すると、
D(X+Δx、Y)−D(X、Y)=−G(log IC(X+Δx、Y)−)log IC(X、Y))=−Δx tanθ
が成立する。すなわち、
G=Δx tanθ/(log IC(X+Δx、Y))−log IC(X、Y))
で求められ、コロニーの厚みを任意の位置で求めることができる。よって、比較的透過度の高い培地の場合には、直接反射光の発生する箇所さえ見つかればコロニーの立体的な形状、体積を求めることができ、これは細菌コロニーを識別する上で大変重要な特徴量になる。例えば、この情報からコロニーの最大高さ、体積、平均高さ、外周の高さなどを演算し、これらの特徴をそれぞれ要素としたベクトルを算出し、これを各コロニーの画像特徴量とする。
図12は、孤立コロニー判定方法に関する説明図である。
孤立コロニーとは、細菌が粒上のコロニーから成長して円形上のコロニーを形成していくときに他のコロニーと接触することなく成長し、かつ他のコロニーと一定以上の距離で離れているものと定義する。コロニー間の距離については図4のstep403で計測した特徴量算出手段117による算出結果を用いて判定すればいい。ここでは、成長の過程で元々孤立していたコロニーが接触してしまったものについての判定方法を扱う。
コロニー1201やコロニー1202は、2つのコロニーが接触もしくは一部分が結合してしまった例である。特徴量算出手段117で求めた長径と短径(1201の例であれば長径1208と短径1209)のアスペクト比がしきい値よりも大きければ孤立、小さければ非孤立といったようにしきい値判別することで、これらの結合したコロニーを判定することができる。例えば、コロニー1203のような同径の3つのコロニーが結合した場合やコロニー1204のような極端に大きさの異なる2つのコロニーが結合した場合は、上述のアスペクト比によっては判定することができない。そこで、これらの特殊なコロニーを判定するような孤立判定用の特徴量を算出した。
コロニー1203や1204については、コロニー領域の境界点列(xi、)yi)(i=1、2、・・・)からk−曲率C(i)の統計量をヒストグラムにして求める。複数のコロニーが結合せず形状が真円に近ければ、任意の境界点の曲率は一定になるので境界点列のC(i)は1つの階級だけに投票されることになる。対してコロニー1203のようなコロニーの場合、円形部分の点列においての曲率は一定になるが、結合箇所の境界部分においてはくびれた形状をしているため曲率が大きく変化する。このC(i)のヒストグラムを算出すると1つの階級に対して大きいピークとその他の階級に少量の度数をもつ。コロニー1204は境界にくびれた部分と径が異なる円弧部分が存在するので、C(i)のヒストグラムは2つ階級のピークとその他の少量の度数の階級を複数もつ。
孤立コロニーとは、細菌が粒上のコロニーから成長して円形上のコロニーを形成していくときに他のコロニーと接触することなく成長し、かつ他のコロニーと一定以上の距離で離れているものと定義する。コロニー間の距離については図4のstep403で計測した特徴量算出手段117による算出結果を用いて判定すればいい。ここでは、成長の過程で元々孤立していたコロニーが接触してしまったものについての判定方法を扱う。
コロニー1201やコロニー1202は、2つのコロニーが接触もしくは一部分が結合してしまった例である。特徴量算出手段117で求めた長径と短径(1201の例であれば長径1208と短径1209)のアスペクト比がしきい値よりも大きければ孤立、小さければ非孤立といったようにしきい値判別することで、これらの結合したコロニーを判定することができる。例えば、コロニー1203のような同径の3つのコロニーが結合した場合やコロニー1204のような極端に大きさの異なる2つのコロニーが結合した場合は、上述のアスペクト比によっては判定することができない。そこで、これらの特殊なコロニーを判定するような孤立判定用の特徴量を算出した。
コロニー1203や1204については、コロニー領域の境界点列(xi、)yi)(i=1、2、・・・)からk−曲率C(i)の統計量をヒストグラムにして求める。複数のコロニーが結合せず形状が真円に近ければ、任意の境界点の曲率は一定になるので境界点列のC(i)は1つの階級だけに投票されることになる。対してコロニー1203のようなコロニーの場合、円形部分の点列においての曲率は一定になるが、結合箇所の境界部分においてはくびれた形状をしているため曲率が大きく変化する。このC(i)のヒストグラムを算出すると1つの階級に対して大きいピークとその他の階級に少量の度数をもつ。コロニー1204は境界にくびれた部分と径が異なる円弧部分が存在するので、C(i)のヒストグラムは2つ階級のピークとその他の少量の度数の階級を複数もつ。
これらのヒストグラムから孤立判定を行うるためには、正規化したヒストグラムのエントロピーで条件分けすればよい。孤立した真円状のコロニーの曲率ヒストグラムは、1つの階級においてのみ投票されるため、エントロピーは0に近い値となる。対してコロニー120303や12044などにおけるヒストグラムは、複数のピークやピーク以外の階級に度数をもつなど乱雑度が高い。そのためエントロピーは1に近くなるのでこの性質で判定すればよい。
コロニー1205は明度が異なる2つの細菌のコロニーが密に結合したものである。ほぼ真円でコロニーの境界にくびれも生じないため上記判定方法では孤立判定が難しい。そこで、コロニー領域の重心とコロニー領域の明度の重心を求めて位置を比較する。明度分布に偏りがある場合この二つの重心の位置は大きくずれるので、この違いを利用して孤立判定を行う。コロニー1206のように、大きいコロニーの内部に小さいコロニーが形成されている場合や、コロニー1207のようにほとんど明度が同じ2つのコロニーが密に結合しほぼ真円状をしている場合は、1つの特徴量だけを用いて孤立判定を行うことは難しい。人間はごく僅かな明度の変化・輪郭の歪み・直接反射光の形状などの手掛かりを総合的に判断することで孤立判定が可能である。そこでコロニー1206や1207などは、step404で算出された特徴量ベクトルに対して、コロニー1206や1207に該当する既知のコロニーの特徴量ベクトルを事前に収集し、K−NN法やSVMなどの教示分類を用いて判定を行う。
コロニー1205は明度が異なる2つの細菌のコロニーが密に結合したものである。ほぼ真円でコロニーの境界にくびれも生じないため上記判定方法では孤立判定が難しい。そこで、コロニー領域の重心とコロニー領域の明度の重心を求めて位置を比較する。明度分布に偏りがある場合この二つの重心の位置は大きくずれるので、この違いを利用して孤立判定を行う。コロニー1206のように、大きいコロニーの内部に小さいコロニーが形成されている場合や、コロニー1207のようにほとんど明度が同じ2つのコロニーが密に結合しほぼ真円状をしている場合は、1つの特徴量だけを用いて孤立判定を行うことは難しい。人間はごく僅かな明度の変化・輪郭の歪み・直接反射光の形状などの手掛かりを総合的に判断することで孤立判定が可能である。そこでコロニー1206や1207などは、step404で算出された特徴量ベクトルに対して、コロニー1206や1207に該当する既知のコロニーの特徴量ベクトルを事前に収集し、K−NN法やSVMなどの教示分類を用いて判定を行う。
図13は、DB(2次記憶装置)で保持されるデータ構成の説明図である。表1301に示すように、細菌種毎にコロニーの画像データ、画像から抽出された特徴量、コロニー表面上にレーザーを照射した時の散乱・反射スペクトル、起炎菌として表れる症状などを保存する。大抵のコロニーは時間とともに成長して大きくなり、小さい時の形状と大きい時の形状には相似関係を持っていることが多い。このため、細菌種毎に保存しておく特徴にはスケール不変なものを選んでおくとよい。しかし中には形状が大きく変化するものがある。例えば、サルモネラ菌はコロニーが成長するにつれてコロニーの中央に窪みを生じ、緑膿菌の中にはコロニーが成長するにつれてコロニーの回りに粘性の膜を形成するものがある。また、細菌コロニーの成長度合いは培養時間以外にも様々な要因で変化する。
例えば、培養する時のインキュベータの温度や培地内の添加物の量やシャーレ上のコロニーの密度によって成長の度合いがばらついたりする。また、2種類以上の細菌が混合して培養した時には、一方の細菌がもう片方の細菌の成長を抑制する場合がある。同定を高精度で行うには、成長度合いによって変化するコロニーの外観に対応する必要がある。そこでコロニー画像1302のように、培養時間が異なるコロニー画像を保存しておく。同定に用いる際は検査対象のコロニー画像とこれらの保存してある複数のコロニー画像とで位置とスケールを合わせて差の二乗和(SSD)をそれぞれ計算し、この二乗和が最も小さくなるものを各細菌種との相違度として使用すればよい。また、コロニー表面のスペクトルは周波数軸で数十〜数百次元に量子化し、遺伝的アルゴリズムを用いて分類に有効な周波数を求めて、その周波数のスペクトル強度を特徴とする。
図20のような共焦点光学系をとらない場合、培地や培地に含まれる添加物のスペクトルが混ざる。
例えば、培養する時のインキュベータの温度や培地内の添加物の量やシャーレ上のコロニーの密度によって成長の度合いがばらついたりする。また、2種類以上の細菌が混合して培養した時には、一方の細菌がもう片方の細菌の成長を抑制する場合がある。同定を高精度で行うには、成長度合いによって変化するコロニーの外観に対応する必要がある。そこでコロニー画像1302のように、培養時間が異なるコロニー画像を保存しておく。同定に用いる際は検査対象のコロニー画像とこれらの保存してある複数のコロニー画像とで位置とスケールを合わせて差の二乗和(SSD)をそれぞれ計算し、この二乗和が最も小さくなるものを各細菌種との相違度として使用すればよい。また、コロニー表面のスペクトルは周波数軸で数十〜数百次元に量子化し、遺伝的アルゴリズムを用いて分類に有効な周波数を求めて、その周波数のスペクトル強度を特徴とする。
図20のような共焦点光学系をとらない場合、培地や培地に含まれる添加物のスペクトルが混ざる。
図21は、スペクトルの差分により菌種を同定する方法の説明図である。
コロニー表面上のスペクトル2101以外に、レーザーを培地に照射した時に得られるスペクトル2102を取得する。コロニーのスペクトルと培地のスペクトルとの差分2103をDBに保存し、これを同定する際に用いる。差分のスペクトル中で2104のように大きなピークを持つ周波数のスペクトル強度は有効な特徴量になる。DBの他の構成内容としては、起炎菌となった場合の症状や検体1305のように出現する可能性のある情報も保存する。
また細菌コロニーは培地種によって外観が大きく変化することがある。例えば、赤痢菌はトリプチケースソイ寒天培地などの非選択培地ではコロニーの色が白であるが、選択培地であるヘクトエンエンテリック寒天培地ではコロニーの色が緑になる。そのため、1304のように培地種毎に保存するデータを分けておき、外部入力によって得られた検査対象の培地情報によって使うデータを選択する。
コロニー表面上のスペクトル2101以外に、レーザーを培地に照射した時に得られるスペクトル2102を取得する。コロニーのスペクトルと培地のスペクトルとの差分2103をDBに保存し、これを同定する際に用いる。差分のスペクトル中で2104のように大きなピークを持つ周波数のスペクトル強度は有効な特徴量になる。DBの他の構成内容としては、起炎菌となった場合の症状や検体1305のように出現する可能性のある情報も保存する。
また細菌コロニーは培地種によって外観が大きく変化することがある。例えば、赤痢菌はトリプチケースソイ寒天培地などの非選択培地ではコロニーの色が白であるが、選択培地であるヘクトエンエンテリック寒天培地ではコロニーの色が緑になる。そのため、1304のように培地種毎に保存するデータを分けておき、外部入力によって得られた検査対象の培地情報によって使うデータを選択する。
図22は、波長および強度が成長度合いによって変化する様子を示す図である。スペクトル1303は、図22のように培養時間毎及び成長度合い毎にDBに持っておくと同定する上で効果的である。例えば、細菌種の中には緑膿菌のように色素・ムコイド・毒素などの物質を分泌するものがおり、これらの分泌物は大概コロニーの成長するにつれて多くなる。そのため、コロニーの成長度合いに応じて分泌物のスペクトルが混じり、全体のスペクトルが大きく変化する。培養時間毎のスペクトルデータを保存しておくことで、検査対象のコロニーの成長度合いがバラついていたとしてもロバストに同定することができる。また、コロニー画像1302との対応を取ると効果的である。
ムコイドなどは、コロニーの周りに半透明の粘性物質として現れることが多く、スペクトルと画像とで相関関係がある場合は同定の時に有効な特徴となる。
ムコイドなどは、コロニーの周りに半透明の粘性物質として現れることが多く、スペクトルと画像とで相関関係がある場合は同定の時に有効な特徴となる。
図14は本発明によるコロニーのクラスタリング方式の一実施例である。
特徴量空間1401の点1403、1404、1405は、それぞれシャーレの画像1402中のコロニー1406、1407、1408に対応した特徴量ベクトルである。検査員がGUI112を介して、グルーピングしようとする細菌コロニーの典型的な例が点1403、1404、1405であることをシステムに教示すると、システムは一般的に知られているクラスタリング手法を用いて特徴量ベクトルをグルーピングする。クラスタリング手法としては、例えばEMアルゴリズムやk−means、ファジーk−meansといった手法を用いればよく、このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また、クラスタリングアルゴリズムではなく、一般的な分類アルゴリズム、例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。
分類アルゴリズムを用いる場合、この場合ではサンプルが1つずつ教示されたクラスがあるものとして実行することになる。また、システムは、検査員から教示された典型的な細菌コロニーの特徴とアルゴリズムにより得られた特徴量とが大きく離れていた場合には、分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に、典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも、グルーピング先が不明のコロニーとしてグルーピングから除外する。これは、例えばMIC法を実施するにあたり、本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。
特徴量空間1401の点1403、1404、1405は、それぞれシャーレの画像1402中のコロニー1406、1407、1408に対応した特徴量ベクトルである。検査員がGUI112を介して、グルーピングしようとする細菌コロニーの典型的な例が点1403、1404、1405であることをシステムに教示すると、システムは一般的に知られているクラスタリング手法を用いて特徴量ベクトルをグルーピングする。クラスタリング手法としては、例えばEMアルゴリズムやk−means、ファジーk−meansといった手法を用いればよく、このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また、クラスタリングアルゴリズムではなく、一般的な分類アルゴリズム、例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。
分類アルゴリズムを用いる場合、この場合ではサンプルが1つずつ教示されたクラスがあるものとして実行することになる。また、システムは、検査員から教示された典型的な細菌コロニーの特徴とアルゴリズムにより得られた特徴量とが大きく離れていた場合には、分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に、典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも、グルーピング先が不明のコロニーとしてグルーピングから除外する。これは、例えばMIC法を実施するにあたり、本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。
更にシステムは、このグルーピング結果に基づき同定処理を施すサンプルを選択する。多数のコロニーが培養された場合には、グルーピングされた結果のうち、検査員が典型的なコロニーとして選択したものに特徴量的に近いものを同定するように選択するのが望ましい。
検査員は、GUI112に示されるグルーピング結果を確認して、望ましい分類結果あるいは同定結果であれば、この結果によって同定するようシステムに指示をする。グルーピング結果が不十分であった場合には、新たにシステムにGUIを介して特定の細菌コロニーの細菌種を教示する。システムは例えばNaive Bayes法の新たな教示データとしてこれを追加して分類を実行し、ほぼリアルタイムに検査員にグルーピング結果を示す。また、これ以外に、K−NN分類の新たな教示データとして扱っても良いし、検査員の追加した教示データのグループをK−meansクラスタリングの初期状態に反映させても良い。また、これ以外の別の公知の分類アルゴリズムやクラスタリングアルゴリズムを用いてもよく、検査員にその教示データを追加した後の分類結果を示し、満足すべきグルーピング結果かを検査員がすぐ判断できるようにする。
検査員が細菌種を特定できないコロニーも存在する。この場合には細菌種が特定できないものとして該当のコロニーをシステムに登録する。システムは、このコロニーの特徴空間における最も近接した2つのグループを特定し、この2つのグループの境界面をそれぞれグループ中心に移動させて、該当のコロニーが既存のグループに判定されないようにする。
なお、このグルーピング結果は1つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており、1つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり、1つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合、複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは、このうち、1つを拡大表示しておき、GUI112を構成するマウス、トラックボール、あるいはキーボード等の操作により、容易に画像を切り替えられるようにしておけるようにする。
なお、このグルーピング結果は1つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており、1つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり、1つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合、複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは、このうち、1つを拡大表示しておき、GUI112を構成するマウス、トラックボール、あるいはキーボード等の操作により、容易に画像を切り替えられるようにしておけるようにする。
本発明のシステムではそれぞれ異なる光学条件で撮影を行う。検査員は、複数の光学条件での画像を確認しなければ正確な細菌種を特定することができない。そこで、GUI124には複数の光学条件の画像を表示できるようにしてある。検査員はマウス、トラックボール、あるいはキーボードなどの操作により、任意の光学条件の画像を表示できるようにし、あるいはそれぞれのシャーレの画像は一部のみ表示しておき複数の光学条件の画像を同時に表示するようにしても良い。
図15は本発明による細菌コロニーの分類に用いるデータベースの一実施例である。
データベース(2次記憶装置)に学習されたモデルパラメータを保存する例を表す。ここではモデルを多変量正規分布として学習させる。ある細菌種の様々な培養時間の特徴ベクトル集合から、1503に示すように平均ベクトルと共分散行列をパラメータとして保存する。横軸を培養時間、特徴量としてコロニーの大きさを縦軸にとった場合、細菌種Aの特徴量ベクトルの分布はデータ1501に示すような分布になる。この分布に対して多変量正規分布を楕円で表現した時、領域1502のようにフィッティングされる。この散布点の表示例においてはコロニーの大きさは培養時間が長くなるほど徐々に増えていくので、正の相関をとるような分布を示す。成長してもコロニーの大きくなりにくいような細菌Bの分布は1504のようになる。
データベース(2次記憶装置)に学習されたモデルパラメータを保存する例を表す。ここではモデルを多変量正規分布として学習させる。ある細菌種の様々な培養時間の特徴ベクトル集合から、1503に示すように平均ベクトルと共分散行列をパラメータとして保存する。横軸を培養時間、特徴量としてコロニーの大きさを縦軸にとった場合、細菌種Aの特徴量ベクトルの分布はデータ1501に示すような分布になる。この分布に対して多変量正規分布を楕円で表現した時、領域1502のようにフィッティングされる。この散布点の表示例においてはコロニーの大きさは培養時間が長くなるほど徐々に増えていくので、正の相関をとるような分布を示す。成長してもコロニーの大きくなりにくいような細菌Bの分布は1504のようになる。
図16は、本発明による細菌種同定部詳細のフローチャートである。
まずシャーレ情報入力部121から入力された検査対象の情報(培地種・検体・培養時間)を外部入力情報取得部123で取得する(step1601)。
培地種データ絞込み部にて、step1601で入力された培地種情報から図13の1304で区分けされている培地種のデータを選択する(step1602)。
次に、菌種の絞込み部にて、入力された検体情報と図13の検体1305の菌の発生する可能性のある検体情報に基づき、同定に使用される菌種データをよって絞り込む(step1603)。
さらに、時系列画像絞込み部にて、絞り込まれた菌種から同定に使用されるDB上の時系列画像データを絞り込む(step1604)。例えば図13のコロニー画像(時系列画像)1302中、入力された培養時間から6時間前後の時系列画像まで評価を行う。この時間はユーザーが個別に決めても良い。
次に、細菌種同定部において特徴量と分光スペクトル取得手段115によって取得されたコロニースペクトルデータとstep1604によって絞り込まれたDB内時系列コロニー画像との差分値を統合的に処理し、同定を行う(step1605)。
同定された結果は、同定結果出力部においてGUI112などに送信される(step1606)。
まずシャーレ情報入力部121から入力された検査対象の情報(培地種・検体・培養時間)を外部入力情報取得部123で取得する(step1601)。
培地種データ絞込み部にて、step1601で入力された培地種情報から図13の1304で区分けされている培地種のデータを選択する(step1602)。
次に、菌種の絞込み部にて、入力された検体情報と図13の検体1305の菌の発生する可能性のある検体情報に基づき、同定に使用される菌種データをよって絞り込む(step1603)。
さらに、時系列画像絞込み部にて、絞り込まれた菌種から同定に使用されるDB上の時系列画像データを絞り込む(step1604)。例えば図13のコロニー画像(時系列画像)1302中、入力された培養時間から6時間前後の時系列画像まで評価を行う。この時間はユーザーが個別に決めても良い。
次に、細菌種同定部において特徴量と分光スペクトル取得手段115によって取得されたコロニースペクトルデータとstep1604によって絞り込まれたDB内時系列コロニー画像との差分値を統合的に処理し、同定を行う(step1605)。
同定された結果は、同定結果出力部においてGUI112などに送信される(step1606)。
図17は、本発明によるGUIの一実施例である。
結果1701には、撮像された画像と分類結果とスペクトル計測候補のコロニーが表示されている。リスト1702ではユーザーが修正したいモードを選択して該当結果を修正することが可能となる。リスト1702によって選ばれたモードと結果1701上の画像をクリックすることで、修正したい対象を選択することが可能になる。例えば、スペクトルデータを計測するコロニーの候補を修正したいときは、リスト1702でスペクトル計測対象修正の項目をチェックしてモードを変更し、判定を直したいコロニーのうち数個のコロニーをマウスなどのデバイスを用いて結果1701の画像上で正しい判定結果の情報を与える。
初期の分類からコロニー1707が選ばれていた場合に、ユーザーがコロニー1707をスペクトル計測することは望ましくないと考え、新たにコロニー1709のスペクトルを計測したい場合には、コロニー1709を選択してボタン1710をクリックすればよい。また、結果1703はシャーレ上のコロニーを任意の2つの特徴で表示しており、縦と横の軸の特徴量は軸1704を用いてユーザーが任意に選ぶことが可能である。またグラフ1705では、補助機能として1つの特徴量に対するヒストグラムが表示される。スライダ1706は特徴量の重みを変化させることができ、これを選択することで分布1703を変化させ、かつ分類結果の修正にも反映させることができる。シャーレ上でスペクトル計測候補として選ばれたコロニー1707は、点1708のように黒塗りされた点で表される。
結果1701には、撮像された画像と分類結果とスペクトル計測候補のコロニーが表示されている。リスト1702ではユーザーが修正したいモードを選択して該当結果を修正することが可能となる。リスト1702によって選ばれたモードと結果1701上の画像をクリックすることで、修正したい対象を選択することが可能になる。例えば、スペクトルデータを計測するコロニーの候補を修正したいときは、リスト1702でスペクトル計測対象修正の項目をチェックしてモードを変更し、判定を直したいコロニーのうち数個のコロニーをマウスなどのデバイスを用いて結果1701の画像上で正しい判定結果の情報を与える。
初期の分類からコロニー1707が選ばれていた場合に、ユーザーがコロニー1707をスペクトル計測することは望ましくないと考え、新たにコロニー1709のスペクトルを計測したい場合には、コロニー1709を選択してボタン1710をクリックすればよい。また、結果1703はシャーレ上のコロニーを任意の2つの特徴で表示しており、縦と横の軸の特徴量は軸1704を用いてユーザーが任意に選ぶことが可能である。またグラフ1705では、補助機能として1つの特徴量に対するヒストグラムが表示される。スライダ1706は特徴量の重みを変化させることができ、これを選択することで分布1703を変化させ、かつ分類結果の修正にも反映させることができる。シャーレ上でスペクトル計測候補として選ばれたコロニー1707は、点1708のように黒塗りされた点で表される。
図18は、本発明によるGUIの一実施例である。結果1801には、撮像された画像と、分類結果とスペクトル計測されたコロニーがマークされて表示される。スペクトル計測されたコロニーは拡大画像1802のように拡大表示され、スペクトル1803のように計測されたスペクトルも表示される。同定結果1810としては、同定の評価に使われた細菌種の時系列コロニー画像のうち最も相違度が低かった画像1804やスペクトルデータ1805の比較ができるように表示されている。また、細菌画像180606と1807のようにユーザーが確認した結果、同定結果がまちがっていたものに対しては、次点で似ている細菌種などを再表示することができる。
本発明によれば、培養時間や条件が異なるコロニー画像やスペクトルデータを持っているので、検査対象となるコロニーの培養条件を揃えなくとも同定が可能となるという効果を得ることができる。
また、先にシャーレ上のコロニーの外観からコロニーをある程度グルーピングすることで、ラマン分光の測定を行う対象のコロニーを絞り込むことができ、同定を行う際はスペクトル以外にもグルーピングに用いた外観特徴量及び、患者の背景情報(症状、検体の採取元など)の情報を用いるため、スペクトルを繰り返して測定する必要がない。
また、非破壊検査が可能なため、同定後も培養を継続することができ、薬剤感受性検査やトレーサビリティを得ることが可能である。
また、先にシャーレ上のコロニーの外観からコロニーをある程度グルーピングすることで、ラマン分光の測定を行う対象のコロニーを絞り込むことができ、同定を行う際はスペクトル以外にもグルーピングに用いた外観特徴量及び、患者の背景情報(症状、検体の採取元など)の情報を用いるため、スペクトルを繰り返して測定する必要がない。
また、非破壊検査が可能なため、同定後も培養を継続することができ、薬剤感受性検査やトレーサビリティを得ることが可能である。
101:低角照明ユニット、102:高角照明ユニット、103:カメラ、104:透過照明ユニット、105:遮光板、106:台座、107:シャーレ、108:ラマン分光計測器、109:XYステージ、110:光学系及び分光装置制御ユニット、111:データ処理ユニット、112:GUI、113:二次記憶装置、114:シャーレ、115:シャーレ搬送手段、116:コロニー抽出手段、117:特徴量算出手段、118:孤立判定手段、119:コロニー分類手段、120:菌種同定手段、121:シャーレ情報入力部、122:外部出力部
Claims (8)
- 光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段と、
照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明手段と、
前記照明手段及び前記透過照明手段で照明された該細菌コロニーを撮像する撮像手段と、
複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、
前記撮像手段で撮像された該細菌コロニーの撮像画像を前記データベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部と、
を備える細菌コロニーの同定装置。 - 請求項1記載の細菌コロニーの同定装置であって、
前記信号処理部は、該細菌コロニーの培養条件を入力する外部情報入力取得部を備えることを特徴とする細菌コロニーの同定装置。 - 請求項2記載の細菌コロニーの同定装置であって、
前記信号処理部は、前記培養条件入力手段により入力された培養条件に基づき、該細菌コロニーの種類を識別するときに用いるデータを決めることを特徴とする細菌コロニーの同定装置。 - 請求項1乃至3のいずれかに記載の細菌コロニーの同定装置であって、
前記照明手段は、該透明な容器の表面に対して第一の仰角方向から照射する第一の照明手段と該第一の仰角よりも大きい第二の仰角方向から照射する第二の照明手段とを備えることを特徴とする細菌コロニーの同定装置。 - 請求項4記載の細菌コロニーの同定装置であって、
前記第一の照明手段および前記第二の照明手段は、該透明な容器の表面に対してそれぞれ異なる複数の方位角方向から照射することを特徴とする細菌コロニーの同定装置。 - 光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明工程と、
照明光を前記光学的に透明な容器と前記培地を透過させて該細菌コロニーを照明する透過照明工程と、
前記照明工程及び前記透過照明工程で照明された該細菌コロニーを撮像する撮像工程と、
複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースと、
前記撮像工程で撮像された該細菌コロニーの撮像画像を、複数の細菌種について複数の培養時間における細菌コロニーの画像およびスペクトルデータを格納したデータベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理工程と、
を備える細菌コロニーの同定方法。 - 請求項6記載の細菌コロニーの同定方法であって、
前記信号処理工程は、該細菌コロニーの培養条件を入力する培養条件入力工程を備えることを特徴とする細菌コロニーの同定方法。 - 請求項7記載の細菌コロニーの同定方法であって、
前記信号処理工程では、前記培養条件入力手段により入力された培養条件に基づき、該細菌コロニーの種類を識別するときに用いるデータを決めることを特徴とする細菌コロニーの同定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289125A JP2012135240A (ja) | 2010-12-27 | 2010-12-27 | 細菌コロニー同定装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289125A JP2012135240A (ja) | 2010-12-27 | 2010-12-27 | 細菌コロニー同定装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012135240A true JP2012135240A (ja) | 2012-07-19 |
Family
ID=46673254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010289125A Pending JP2012135240A (ja) | 2010-12-27 | 2010-12-27 | 細菌コロニー同定装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012135240A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013201925A (ja) * | 2012-03-27 | 2013-10-07 | Mitsui Eng & Shipbuild Co Ltd | 水検査方法及び水検査システム |
JP2014135948A (ja) * | 2013-01-18 | 2014-07-28 | Dainippon Printing Co Ltd | 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム |
WO2014123143A1 (ja) * | 2013-02-07 | 2014-08-14 | 大日本印刷株式会社 | 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム |
JP2014528253A (ja) * | 2011-10-17 | 2014-10-27 | ディー.アイ.アール.テクノロジーズ (ディテクション アイアール)リミテッドD.I.R.Technologies(Detection Ir) Ltd. | サンプル中の微生物の存在を検出するための方法 |
WO2015045183A1 (ja) * | 2013-09-30 | 2015-04-02 | 富士通株式会社 | コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置 |
WO2015045012A1 (ja) * | 2013-09-24 | 2015-04-02 | 富士通株式会社 | コロニー検査プログラム、コロニー検査装置およびコロニー検査方法 |
JP2015139417A (ja) * | 2014-01-29 | 2015-08-03 | 大日本印刷株式会社 | 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム |
JP2015533508A (ja) * | 2012-10-29 | 2015-11-26 | ビオムリュ | 生物種を観察する方法 |
JP2016508034A (ja) * | 2012-12-20 | 2016-03-17 | スリーエム イノベイティブ プロパティズ カンパニー | 画像の微生物コロニーを区別する方法 |
WO2016166847A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立ハイテクノロジーズ | 観察装置 |
JPWO2016178277A1 (ja) * | 2015-05-01 | 2017-09-14 | 光良 宮下 | 暗環境同時観察培養装置 |
WO2019138571A1 (ja) * | 2018-01-15 | 2019-07-18 | オリンパス株式会社 | 細胞解析装置及び細胞解析システム |
CN110088263A (zh) * | 2016-11-04 | 2019-08-02 | 伯克顿迪金森公司 | 用于选择菌落的系统和方法 |
JP2021135282A (ja) * | 2020-02-27 | 2021-09-13 | ブルーカー ダルトニック ゲーエムベーハー | 微生物の分光測定解析のための方法 |
CN114317675A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于机器学习定性和定量不同创面细菌的检测方法及系统 |
WO2022209433A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社日立ハイテクソリューションズ | 分析装置、分析システム、分析方法、およびプログラム |
WO2024142424A1 (ja) * | 2022-12-27 | 2024-07-04 | 株式会社キーエンス | コロニー計数装置、制御方法およびプログラム |
-
2010
- 2010-12-27 JP JP2010289125A patent/JP2012135240A/ja active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014528253A (ja) * | 2011-10-17 | 2014-10-27 | ディー.アイ.アール.テクノロジーズ (ディテクション アイアール)リミテッドD.I.R.Technologies(Detection Ir) Ltd. | サンプル中の微生物の存在を検出するための方法 |
JP2013201925A (ja) * | 2012-03-27 | 2013-10-07 | Mitsui Eng & Shipbuild Co Ltd | 水検査方法及び水検査システム |
JP2015533508A (ja) * | 2012-10-29 | 2015-11-26 | ビオムリュ | 生物種を観察する方法 |
JP2016508034A (ja) * | 2012-12-20 | 2016-03-17 | スリーエム イノベイティブ プロパティズ カンパニー | 画像の微生物コロニーを区別する方法 |
JP2014135948A (ja) * | 2013-01-18 | 2014-07-28 | Dainippon Printing Co Ltd | 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム |
WO2014123143A1 (ja) * | 2013-02-07 | 2014-08-14 | 大日本印刷株式会社 | 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム |
JP5605529B1 (ja) * | 2013-02-07 | 2014-10-15 | 大日本印刷株式会社 | 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム |
WO2015045012A1 (ja) * | 2013-09-24 | 2015-04-02 | 富士通株式会社 | コロニー検査プログラム、コロニー検査装置およびコロニー検査方法 |
JPWO2015045012A1 (ja) * | 2013-09-24 | 2017-03-02 | 富士通株式会社 | コロニー検査プログラム、コロニー検査装置およびコロニー検査方法 |
JPWO2015045183A1 (ja) * | 2013-09-30 | 2017-03-09 | 富士通株式会社 | コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置 |
WO2015045183A1 (ja) * | 2013-09-30 | 2015-04-02 | 富士通株式会社 | コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置 |
JP2015139417A (ja) * | 2014-01-29 | 2015-08-03 | 大日本印刷株式会社 | 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム |
WO2016166847A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立ハイテクノロジーズ | 観察装置 |
JPWO2016178277A1 (ja) * | 2015-05-01 | 2017-09-14 | 光良 宮下 | 暗環境同時観察培養装置 |
US10942115B2 (en) | 2015-05-01 | 2021-03-09 | Mitsuyoshi Miyashita | Dark-environment simultaneous culturing observing apparatus |
CN110088263A (zh) * | 2016-11-04 | 2019-08-02 | 伯克顿迪金森公司 | 用于选择菌落的系统和方法 |
CN110088263B (zh) * | 2016-11-04 | 2023-09-29 | 伯克顿迪金森公司 | 用于选择菌落的系统和方法 |
WO2019138571A1 (ja) * | 2018-01-15 | 2019-07-18 | オリンパス株式会社 | 細胞解析装置及び細胞解析システム |
JP2021135282A (ja) * | 2020-02-27 | 2021-09-13 | ブルーカー ダルトニック ゲーエムベーハー | 微生物の分光測定解析のための方法 |
JP7100097B2 (ja) | 2020-02-27 | 2022-07-12 | ブルカー ダルトニクス ゲーエムベーハー ウント コー.カーゲー | 微生物の分光測定解析のための方法 |
WO2022209433A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社日立ハイテクソリューションズ | 分析装置、分析システム、分析方法、およびプログラム |
CN114317675A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于机器学习定性和定量不同创面细菌的检测方法及系统 |
WO2024142424A1 (ja) * | 2022-12-27 | 2024-07-04 | 株式会社キーエンス | コロニー計数装置、制御方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012135240A (ja) | 細菌コロニー同定装置およびその方法 | |
WO2011055791A1 (ja) | 細菌コロニー釣菌装置及びその方法 | |
JP5443950B2 (ja) | 細菌コロニー釣菌装置及びその方法 | |
CN114062231B (zh) | 分析装置 | |
Kim et al. | Detection of skin tumors on chicken carcasses using hyperspectral fluorescence imaging | |
US11227142B2 (en) | Culture imaging system | |
CN107771212B (zh) | 菌落对比度收集 | |
DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
JP2012080802A (ja) | 細菌コロニーの釣菌方法及び釣菌装置 | |
US10769409B2 (en) | Culture detection and measurement over time | |
RU2011127424A (ru) | Разбиение образца на оптические срезы и регистрация частиц в образце | |
US20200257886A1 (en) | Classifier construction method and method for determining life or death of cell using same | |
CA2842699A1 (en) | Identifying and measuring reticulocytes | |
JP6872566B2 (ja) | 細菌のグラムタイプを特定するためのプロセス及びシステム | |
US20220334371A1 (en) | Intelligent automated imaging system | |
KR20200124676A (ko) | 색상 보정 | |
WO2018041900A1 (en) | Method, system and computer program product for determining the presence of microorganisms and identifying said microorganisms | |
Qin et al. | Detection of organic residues on poultry processing equipment surfaces by LED-induced fluorescence imaging | |
CN111492065A (zh) | 一种鉴别细菌革兰氏类型的系统和方法 | |
US20240309310A1 (en) | Plaque detection method and apparatus for imaging of cells | |
KR101907563B1 (ko) | 초분광 영상을 이용한 유정란 내부 배아 생존유무 판별방법 | |
US20210125335A1 (en) | Device, microscope device, method, and program | |
CA3121425A1 (en) | Automated method of identifying a structure | |
Duma et al. | Varroa destructor detection on honey bees using hyperspectral imagery | |
US20240281973A1 (en) | Information processing program, information processing device, information processing method, and microscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120521 |