JP2014515128A - 明細書微生物増殖を分析する方法およびソフトウェア - Google Patents

明細書微生物増殖を分析する方法およびソフトウェア Download PDF

Info

Publication number
JP2014515128A
JP2014515128A JP2013555707A JP2013555707A JP2014515128A JP 2014515128 A JP2014515128 A JP 2014515128A JP 2013555707 A JP2013555707 A JP 2013555707A JP 2013555707 A JP2013555707 A JP 2013555707A JP 2014515128 A JP2014515128 A JP 2014515128A
Authority
JP
Japan
Prior art keywords
classifier
pixels
pixel
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013555707A
Other languages
English (en)
Other versions
JP5997185B2 (ja
Inventor
ルシア ハリナ ガスリー
ジョン ヒューズ グラッソン
デン ヘンゲル アントン ジョン バン
リス アーンスト ヒル
ベンジャミン ウィリアム ステファン ワード
Original Assignee
エルビーティー イノベーションズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2011900786A external-priority patent/AU2011900786A0/en
Application filed by エルビーティー イノベーションズ リミテッド filed Critical エルビーティー イノベーションズ リミテッド
Publication of JP2014515128A publication Critical patent/JP2014515128A/ja
Application granted granted Critical
Publication of JP5997185B2 publication Critical patent/JP5997185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

固体培養培地上の微生物増殖を分析する方法であって、前記方法は、前記固体培養培地および任意の微生物増殖の画像データを取得するステップ、1つ以上のフィルタを前記画像データに適用することによって得られる値の関連する特徴ベクトルを生成するステップ、前記関連する特徴ベクトルに基づいて前記画像データの前記複数の画素における各画素を分類するために分類子を使用するステップ、前記固体培養培地および任意の微生物増殖の微生物学的評価を引き出すために前記画素の各々の画素分類の結果を分析するステップ、および、前記微生物学的評価を出力するステップ、を含む。
【選択図】図1

Description

本出願は、2011年3月4日に出願された豪州仮特許出願第2011900786号からの優先権を主張し、その内容は、この参照によって本明細書に援用されるように見なされる。
(技術分野)本発明は、固体培養培地上の微生物増殖、特に、微生物学的サンプルにより固体培養培地の接種および培養に続いて増殖する分離された細菌コロニー状の微生物増殖を分析する方法およびソフトウェアに関する。本発明の方法およびソフトウェアが微生物学研究所における用途を見出すであろうことを想定する。
微生物(特にバクテリア)の個々のコロニーの分離は、多くの微生物学研究所における重要な手順である。バクテリアのこの分離は、通常、研究所の熟練した科学技術者によって手動的に、またはロボット工学的ストリーキング装置によって自動的に、のいずれかで行う。いずれの場合も、微生物学的サンプルは固体培養培地の表面上に最初に投入され、それに続いて培地の表面にわたって微生物学的サンプルを拡散する(「ストリーキング」と呼ばれる)。典型的には、複数のストリークは、固体培養培地にわたって接種物の希釈を増加させることにより作られる。
希釈を増加させるストリークは、ストリークの概して末尾の方へ、培養の後に分離された微生物学的コロニーの増殖を可能にするいくつかの単一細胞を供する傾向がある。これら分離されたコロニーは、その後、各種の物理的特徴(例えばコロニー形態)のために解析され、例えば、微生物学的サンプルにおいて以前に未確認の有機体の類、種および/または菌株を決定するために必要かもしれない染色および他の手順を経てもよい。
伝統的に、この分析は、熟練した科学技術者によって微生物学研究所内で視覚的に行なわれ、科学技術者に微生物学的評価をもたらした。この評価は、細菌コロニーの有無の検出、各々のコロニー型の色の検出、発酵または溶血に起因し得る色の変化の有無を決定する色分布のマッピング、密集増殖と分離されたコロニー増殖との間の分化、コロニーのテクスチャまたは粘性の測定、および2次元および三次元形状の決定および/またはコロニーの異なる型の計数に基づいてもよい。
潜在的な病原菌増殖が識別される場合、固体培養培地は、研究所のワークフローの次のステップに進み、現在の規定上の要件に従って、さらなる確証的な識別および抗生物質感受性試験の対象になる。
本発明の目的は、微生物学的評価を提供するためにイメージを分析する方法およびソフトウェアを提供することであり、この評価は人間のオペレータ介入なしで(または、ほんのわずかの介入で)生成される。
本発明の概要に転じる前に、本発明の情況について説明するために、従来技術の上記の記述を単なる背景として提供したことを認識しなければならない。参照される題材のうちのいずれかが豪州または他の場所において公開もしくは既知または通常の一般知識の部分であったことを認めるように解釈すべきでない。
本発明は、固体培養培地上の微生物増殖を分析する方法を提供する。本方法は、
固体培養培地および任意の微生物増殖の画像データを画像データ内の複数の画素ごとに取得するステップ、
画像データの複数の画素のために、画像データに1つ以上のフィルタを適用することにより取得された値の関連する特徴ベクトルを生成するステップ、
関連する特徴ベクトルに基づいて複数の画素内の各々の画素を分類するために分類子を用いるステップ、
固体培養培地および任意の微生物増殖の微生物学的評価を導き出すために各々の前記画素の画素分類の結果を分析するステップ、および、
微生物学的評価を出力するステップ、を含む。
当業者は、「固体培養培地上の」に関して、単語「上の」は、固体培養培地の表面上、および固体培養培地内部の微生物増殖を包含するように用いられることを認識するだろう。用語「固体培養培地」は、以下、本明細書において単に「培地」としばしば呼ばれるだろう。例えば、サンプルによる培地の接種および培養に続いて微生物増殖を増殖することができるように、培地の表面上または培地内部に、以下でしばしば単に「サンプル」と呼ばれる微生物学的サンプルを投入することができることを認識するだろう。すなわち、培地上の微生物増殖は、尿サンプル、腸サンプル、血液サンプル、リンパ液サンプル、組織サンプル、水サンプル、食品サンプル、または他の適切なサンプルなどの培地上のサンプルの接種および培養により生じる。
さらに、培地は、通常、例えば寒天であり、通常、プレート、さらなる具体例では蓋を有してもよいペトリ皿などの容器内に収納されるであろうことも、また、当業者が認識するだろう。培地およびプレートの組合せは、以下、明細書の全体にわたって、当該技術分野において時として「寒天プレート」と呼ばれるかもしれない「培養プレート」と呼ばれる。
本発明は、微生物学的評価を提供するために、微生物増殖を伴う、または微生物増殖を伴わない培地のイメージ内の画素を分類するための分類子を用いる。人間のオペレータ介入は、ほとんど、またはまったく必要でない。これは、培養プレートを分類する時間の節約を可能にし、熟練者の人的資源のより効果的な利用を可能にできる。熟練者の人的資源は、他の仕事に転換することができる。例えば、本方法は、画素分類の結果に基づいて培地上の微生物増殖を分類するステップを含む。
別の例において、本方法は、画素分類の結果に基づいて微生物増殖の1つ以上のコロニーを計数するステップをさらに含む。本方法は、その後、例えば、微生物増殖の予測コロニーを示す一連の領域を判定する連結成分アルゴリズムを用いて、画素分類の結果を解析することができる。この場合、本方法は、前記領域の個々のサイズおよび/または形に基づいて、一連の領域から微生物増殖のコロニーを計数するステップをさらに含む。
微生物増殖は、例えば、細菌増殖、菌類増殖、ウイルスプラーク、または原生生物増殖のうちの1つ以上を含んでもよいし、増殖は、コロニー、菌糸体、菌糸、プラーク、または他の可視の微生物構造の形式をとってもよい。いくつかの実施形態において、各微生物増殖は、個々の微生物が分離されるようにサンプルが希釈方法で培地に適用される場合のような単一の微生物から始まる増殖であってもよい。
培地は、微生物の増殖を支援する任意の培地を含んでもよい。したがって、培地は、例えば、炭素源、窒素源、必要元素、および/または必須ビタミンを含む1つ以上の微生物の栄養素を含有していてもよい。培地は、また、典型的には、例えば、ゼラチン、寒天、ジェランガム、アガロース、または寒天ゲルを含むゼラチン化剤を包含するだろう。
いくつかの実施形態において、培地は、他の微生物の増殖を防止しながらいくつかの微生物の増殖を可能にする、制限された栄養成分をもつ固体培養培地、抗生物質を含有する固体培養培地、またはその他同種のものを含むことが当該技術分野において概して知られている選択培養培地を含んでもよい。
いくつかの実施形態において、分析のためのサンプルは、1以上の培養プレートまたは1つ以上のセグメントを有する分割した培養プレートの上に配置される。これらの実施形態において、微生物増殖の分析は、異なる培養プレートまたはセグメントにわたってイメージを撮影することにより実行され、異なる培養プレートまたはセグメント上の微生物増殖の比較に基づいて微生物学的評価を行うことができるように、上記のように画素分類の結果が解析される。
いくつかの微生物学的サンプルが特別の培地上の微生物増殖をもたらさなくてもよいことが認識されるだろう。例えば、微生物学的サンプルは、選択培地(例えば、いくつかの微生物の増殖を制限する特定の抗生物質または栄養成分を含有している培地)上の増殖が可能な微生物を含まなくてもよい。または、微生物学的サンプルは、無菌であっても(例えば、いかなる微生物も含まなくても)よい。これらの場合において、培地ごとに取得された画像データは、培地上の微生物増殖を含まなくてもよい(例えば否定的な結果)。
一例において、微生物学的評価は、培養プレートが4つまでのカテゴリーのうちの1つに分類されたか否かを識別するために用いられてもよい。1.ウェス(例えば、培養プレートは病原体を示さなかった)、2.必要とされる再培養、3.潜在的な病原菌の識別(例えば、培養プレートは肯定的な結果を示し、調整に従って検討を必要とする)、または、4.人間の検討のために(例えば、コンピュータは、カテゴリー1〜3などの明確な判断を下すことができなかった、または、熟練オペレータは、必要な出力ステーションに培養プレートを方向づけた)。
画像データの分析からの培地および任意の微生物増殖のこの評価は、上記のように、熟練した科学技術者が実行する評価を示す。すなわち、評価は、培地内の微生物増殖コロニーの検出を含み、例えば、これらのコロニー(細菌コロニー)の分類、発酵または溶血に起因し得る色の変化の有無を決定する色分布のマッピング、密集増殖と分離されたコロニー増殖との間の分化、コロニーのテクスチャまたは粘性の測定、および2次元および三次元形状の決定および/または培地上のコロニーの異なる型の計数を含むことができる。
培地およびその上の任意の微生物増殖のための画像データは、高解像度カラーデジタルカメラ、レーザー測距装置、または他の適切な装置などの画像取り込み装置を用いて撮影された1つ以上のイメージを含んでもよい。一例において、画像データは、例えば別の目的のために撮影されたかもしれない既存のイメージから取得される。別の例では、画像データは、本方法に専用の画像取り込装置を用いて撮影されたイメージから取得される。いかなる場合も、イメージは、画像データを生成するために加工されてもよい。例えば、同じ微生物増殖を含む複数のイメージが、平均化され、非モザイク化され、色補正されてもよい。画像データは、例えば、異なる照明構成を用いて撮影されたような、加工された一連のイメージを含んでもよい。画像のキャプチャおよび処理のさらなる詳細な記述は、以下で行う。
分類子は、ブースト分類子であってもよい。あるいは、分類子は、決定木、ランダムフォレストであってもよいし、または、画素を分類するために線形判別分析(LDA(Linear Discriminant Analysis))または他の技術を用いてもよい。ブースト分類子は、単一の高精度の「強」分類子を生成するために、(ランダム分類精度より低い分類精度だが、ランダム分類精度より優れた)1セットの「弱(weak)」分類子の出力を組み合わせる。弱分類子を組み合わせる際に、各々の弱分類子の結果は、好ましくは、弱分類子の正確さに対する信頼度に従って、重み付けされる。ブースト分類子を作成するための適切なブーストアルゴリズムの例は、以下に詳細に記載するであろう。Discrete AdaBoostである。Discrete AdaBoostは、Yoav FreundおよびRobert E. Schapireの「A decision−theoretic generalization of on−line learning and an application to boosting」J. Comput. Syst. Sci., 55:119−139、1997年8月において記載されたAdaBoostの変形であり、それらの内容は参照によって本明細書に援用される。Discrete AdaBoostは、次の弱分類子をトレーニングする時に弱分類子によって誤って分類された例に大きな重み付けを与えることにより、分類子の性能を適応的に改善する。Real AdaBoost、Gentle AdaBoost、またはFilterBoostなどの他のブーストアルゴリズムを代替え的に用いてもよい。変形例では、弱分類子の重み付けおよびトレーニングをする別の方法を用いる。
一実施形態において、画素を分類するために用いられる分類子は、ブースト決定木分類子である。この実施形態において、用いられる弱分類子は、決定木である。決定木は、各ノードが規則を含む2分木であり、各枝は、規則の結果、したがって決定を表わし、各葉は、分類を表わす。この配置において、各規則は、xi<tの形式の特徴ベクトルにおける値の試験である。ここで、xiは特徴ベクトルx=(x,…,x)からの値であり、tは、閾値である。木は、単一の特徴ベクトルを分類するためにルートノードから横切られる。共同配置は、被検が通過する場合に、そのノードの左枝が横切られるということであり、さもなければ、その代りに右枝が横切られる。
ブースト決定木分類子は、マルチクラス分類子であってもよい。例えば、AdaBoost.MH(マルチラベルハミング)手順を、画素を複数のクラスのうちの1つに分類するために用いてもよい。AdaBoost.MHアルゴリズムは、Jerome Friedman、Trevor Hastie、およびRobert Tibshirani「付加的なロジスティック回帰:ブーストの統計的見地(Additive logistic regression: a statistical view of boosting)」Annals of Statistics, 28:2000、1998年に記載され、それらの内容は参照によって本明細書に援用される。
より優れた分類速度およびパフォーマンスのために、分類を2段階処理として実行してもよい。例えば、本方法は、第1の複数のクラスのうちの1つとして各々の画素を初期に分類するために第1の分類子を用いるステップと、第2の複数のクラスのうちの1つとして第1の複数のクラスの1つ以上の各画素を分類するために続いて第2の分類子を用いるステップとを含んでもよい。第1の分類子の出力が、特徴ベクトルを増強するため、または第2の分類子をトレーニングする時に適用可能な画素を制限するためのいずれかに用いる場合、結果としては一続きの依存分類子である。第1の分類子は、背景または非背景として各々の画素を初期に分類するバイナリ型カスケード分類子であってもよい。第2の分類子は、第2の複数のクラスのうちの1つとして各非背景画素を分類するマルチクラス・ブースト決定木分類子であってもよい。
背景画素の初期粗分類は、コロニー型の1つにさらに正確に分類される必要のある画素数を低減する。次の段階において誤って分類された画素を正確に分類することができるように、初期バイナリ分類は、高い偽陽性率(非背景として分類された背景画素)を有してもよい。適当な初期バイナリ型分類子は、Paul ViolaおよびMichael Jones「堅牢なリアルタイム物体検出(Robust real−time object detection)」Second International Workshop on Statistical and Computational Theories of Vision、2001年7月13日に記載されたカスケード分類方法に従ってもよく、それらの内容は、参照によって本明細書に援用される。
クラスは、有機体の属、種または菌株、寒天型、背景、非背景を表わしてもよい。クラスは、個別のエンドユーザにとって重要かもしれない個別の寒天型および有機体型を可能にするために柔軟である。
本方法は、各画素分類に信頼値を割り当てるステップをさらに含んでもよい。信頼値は、画素の正確な分類の可能性を表わす。
本方法は、画素分類の結果を向上させるために後処理アルゴリズムを適用するステップをさらに含んでもよい。擬似的なラベルまたは不確かな領域を除外するために、様々なアルゴリズムを適用してもよい。例えば、後処理アルゴリズムは、拡張または伸縮、または代替え的にグラフカットなどのモルフォロジー演算を含んでもよい。適当なグラフカット・アルゴリズムの例は、Yuri Boykov、Olga Veksler、およびRamin Zabih「グラフカットを介した高速の近似エネルギー最小化(Fast approximate energy minimization via graph cuts)」IEEE Trans. Pattern Anal. Mach. Intel/., 23:1222−1239、2001年11月において与えられ、それらの内容は、参照によって本明細書に援用される。グラフカット・アルゴリズムは、2つ以上の集合の中へのグラフの最適な区分化を計算する。グラフカット・アルゴリズムのアプリケーションは、画像データ内の画素のうちのいくつかの再分類に結びついてもよい。グラフカット・アルゴリズムの適用は、
(a)複数のノードを有するグラフを構築するステップであって、各ノードは画像データ内の複数の画素のうちの1つおよび複数のラベルに対応し、各ラベルはクラスに対応するステップ、
(b)画像データ内の近隣の画素に対応するノード間にエッジを付加するステップ、
(c)各ノードと各ラベルとの間にエッジを付加するステップ、および、
(d)ノードへのエッジをカットし、かつクラスの中へグラフを分割するために、グラフカット・アルゴリズムを用いるステップであって、グラフカット・アルゴリズムは、そのノードに対応する画素および近隣の画素に対して画素分類結果に基づくステップ、を含んでもよい。
グラフカット・アルゴリズムの適用は、分類子から低い信頼度を与えられた画素分類に対して分類結果を向上させてもよい。グラフカット・アルゴリズムは、そのノードに対応する画素のための画素分類の信頼値および/または近隣の画素のための画素分類の信頼値を考慮に入れてもよい。これは最終分類における雑音を低減して、結果を空間的に平滑化する。特に、低い信頼度注釈がより等質の出力を取得するために置換されていてもよい一方で、高い信頼度注釈は通常維持されるだろう。例えば、低い信頼度の画素が高信頼度をもつ同じクラスに分類された近隣の画素によって取り囲まれる場合、低い信頼度の画素の分類内にさらに信頼度がある場合がある。同じ理由で、近隣の画素が高信頼度をもつ異なるクラスに分類される場合、低い信頼度の画素のそのクラスに対する分類を変更するための強力な実例がある。
グラフカット・アルゴリズムは、3つ以上の集合にグラフを分割するマルチクラスグラフカット・アルゴリズムであってもよい。これはバイナリ型グラフカットよりも複雑なアルゴリズムであるが、より明確に画素が分類できるので、より有意義な評価を提供することを可能にする。このようなアルゴリズムは、α拡張手順であってもよい。α拡張において、各ノードの現在のラベルと可能性のあるラベルの集合からの候補ラベルと間をセグメント化する度に、一連のグラフカットが実行される。この手順は、各々の可能性のあるラベルを通じて反復して、収束するまで繰り返される。グラフを構築する際に、補助のノードは、カットの際のこのラベルづけのコストを含むように、異なるラベルをもつ隣接ノード間に付加される。
適切なグラフカット・アルゴリズムのさらなる詳細な記述は、「分類子の分類結果を向上させる方法(Method for Improving Classification Results of a Classifier)」と題された同一出願日で同一出願人の同時継係属の国際出願に記載され、それらの内容は、参照によって本明細書に援用される。
ここで、分類子に入力される特徴ベクトルx=(x,…,x)に転じる。特徴ベクトルは、サンプルごとの画像データに1つ以上のフィルタを適用することにより作成される特徴画像から撮影された値から構成してもよい。特徴画像の取得は、中間ステップであり、また、代替え的に、画素単位上にフィルタを適用することにより、撮影された値から特徴ベクトルが構成され得るであろうことを認識するだろう。用語「フィルタ」は、画像データの一部またはすべてを分類子に入力されてもよい1つ以上の値に変換する任意のイメージプロセシングまたは他のアルゴリズムを包含するように理解するべきである。
1つ以上のフィルタは、次のものを含むグループから選択されてもよい。
・3つまでの特徴画像(赤色チャネルに対して1つ、緑色チャネルに対して1つ、および青色チャネルに対して1つ)を作成するRGBフィルタ。
・LAB色空間(ここで、Lは明るさを表わし、A、Bは有彩色情報を含む)における3つまでまたはそれ以上の特徴画像を作成するLABフィルタ。
・イメージに様々な方向の1Dガウス核を適用する方向性ガウスフィルタ(Oriented Gaussian Filter)。また、ガウス核の1階導関数および2階導関数を利用することも可能である。
・例えば培養プレートのエッジから各々の画素の距離を示す特徴画像を作成する位置フィルタ。前の分類子の出力が利用可能なときにフィルタが適用されれば、他の位置フィルタは、特別のラベルからの各画素の距離を示してもよい。
・同様の色の領域を見つけるのを支援するために、通常はヒストグラムを介して、イメージ内の数の色が低減されるカラー量子化フィルタ。
・各画素のまわりのテクスチャを測定する1つ以上の特徴画像を作成するテクスチャフィルタ。
フィルタは、コロニーと培地との間の差、およびプレート自体を改善してもよい。フィルタのうちのいくつかは、フィードバックメカニズムを含み、それによって前の分類子からの出力を入力として用いることができる。
特徴ベクトルは、任意の数のフィルタを使用して構築されてもよい。例えば、画素ごとの特徴ベクトルは、その画素ごとにR、G、およびBチャネル値に対応するx、x、およびxと、その画素ごとにL、A、およびb値に対応するx、x、およびxと、プレートのエッジからの画素の距離に対応するxと、x方向およびy方向のイメージ勾配に対応するxおよびxとの9つの値を含んでもよい。任意の数の特徴値を用いてもよいし、特徴値は、(例えば、上部光または下部光により照明された)同一の増殖ごとの異なる画像データからとられてもよいことは認識されるだろう。
テクスチャに関して、画像データに1つ以上のフィルタを適用することは、
(a)イメージ内の各画素ごとに勾配値を抽出するステップ、および、
(b)各画素のまわりの窓における勾配値の分散行列のトレースを計算するステップ、によって画像データのテクスチャを測定することを含んでもよい。
ソーベル核を用いて画像データのx方向およびy方向に畳み込むことにより、勾配値を抽出してもよい。ソーベル核の使用は、勾配情報を抽出するのと同時にイメージを平滑化する。イメージ勾配の分散行列のトレースの計算は、「平滑」メトリックを供して、領域内の勾配の変動性、したがってテクスチャの程度を測定する。
トレーニングの間に必要とされる計算を、画像データから複数の画素を低密度にサンプリングすることにより低減してもよい。これは、大画像のためには特に有用である。用いてもよい2つのアルゴリズムは、高密度または低密度のサンプリングを含む。高密度のサンプリングは、1/N画素ごとに取るのに対して、低密度のサンプリング手法は、画像データ内のラベルづけされた画素の利用可能なプールからランダムにてN画素を取る。トレーニングにおいて、低密度のサンプリング手法は、トレーニングされる各クラスに個別のプールを構築し、結果としてすべてのクラスごとに利用可能なN画素に至る。高密度の方法は、クラスの全部に対して単一のプールを構築する。したがって、各クラスにおける画素数は、イメージ内のそのクラスの配分に依存するだろう。
本方法は、また、培地を陰性対照(negative control)として識別してもよい。例えば、分類子は、背景としての画素、または非増殖を分類してもよい。本方法は、背景として分類された画素数が画像キャプチャおよび有効であるべき分析に対してあらかじめ定義された最小数を超えるか否かを判定してもよい。背景(例えば、ありのままの寒天)として分類されなければならない所定の最小画素数は、寒天の型、および培養プレート上で識別される他のバクテリアに依存する値のテーブルから導き出される。最大値が単にイメージ内の培養プレートの上にある画素数であることに留意されたい。
画像キャプチャおよび分析の完全性のさらなるチェックとして、分類の信頼度を検討してもよい。十分なサイズの任意の領域が連続して低い信頼度で存在する場合、未知のアイテムが培養プレート上にあると考えられる。この場合、オペレータは、警告を受けることができるし、または、培養プレートは点検のためにマークされる。
評価を生成するために、画素分類の結果を解析する。これは、上述したように、コロニー数算定、コロニーサイズ、培養プレート上に存在する有機体の範囲、成長パターン、溶血、人工物、汚染物質、寒天の傷などの、付加的なメタデータを抽出するために画素分類の処理を含んでいてもよい。
各々の型のコロニーの数は、定量化として既知の処理を用いて算定される(計数される)。多くのコロニーが互いに分離されないかもしれないので、コロニーの算定が困難な仕事であることは、当業者によって認識されるだろう。したがって、以下の3つのアプローチが提案されている。
1.基礎的な算定。ここで、各々の型の寒天上の各有機体型に対して平均コロニーサイズを判定することによりコロニー数算定が推測される。特別の培養プレート上で検出された各有機体の画素数は、コロニーの数を得るために、この数で除算することができる。
2.密度に基づく算定。ここで、各コロニーのエッジからの距離は、算定アルゴリズムに含まれる。これは、増殖の広面積が、いくつかの別個のコロニーとして算定されるべきであるという観測に基づく。したがって、コロニーの中心にある内部の画素には、このような結果を実現するために、より高い重量を割り当てる。テーブルは、多くのコロニー数算定を手動的に測定し、この計量に対する結果を表にすることから形成される。テーブルは、その後、観測されていない培養プレート上で評価された場合に、計量からコロニー数算定を取得するために用いられてもよい。
3.イメージ処理に基づく算定。ここで、ラベルを含むイメージが連結成分アルゴリズムによってまず解析される。このアルゴリズムによって検出された各成分は、順番に検査される。特定のコロニーが閾値の事前設定テーブルよりも大きすぎると見なされる場合、最も優れているものとして提案された方法が適用される。コロニーが小さすぎると考えられる場合、単一のコロニーとして算定される。他の場合には、成分の形状を考慮してもよい。円形に見える場合、単一のコロニーと見なされる。他の場合には、成分を個々のコロニーに分割するために、流域アルゴリズムが適用される。個々のコロニーの各々は、コロニー数算定をインクリメントする。
続いて、アルゴリズムは、培養プレート上で検出された各コロニー型の適切な計数を算出するだろう。このような計数は、特定分野の専門家に有意義であり、象限指定(「1+」など)、または溶液の1ミリリットル当たりのコロニー数の評価(10cfu/mlなど)の形式を取ってもよい。1つ以上の培養プレートの計数は、その後、サンプルの評価を導き出すために組み合わせられる。
評価を生成する際に、本方法は、また、上記のように、分類子および/または生成された定量(計数)によって生成された分類を解明する臨床的ルールを用いてもよい。これらの臨床的ルールは、患者の年齢または臨床症状、分析された患者のサンプルの型、識別されたバクテリアの型、局所的な研究所業務、または分類子の通常の決定に優先するであろう一連の他の特定用途向けのユーザ定義の状況を評価してもよい。臨床的ルールは、顕著な情報だけが報告される場合に、研究所の科学技術者のために適切なフォーマットで典型的なハイレベルの評価に、正確なコロニー数算定およびコロニーサイズなどのソフトウェアによって提供される低レベルの評価からブリッジを提供する。
本方法で用いてもよい適切な装置の詳細な記述は、「画像キャプチャおよび照明器具(Image Capture and Lighting Apparatus)」と題され、同一出願人および同一の出願日で同時係属の国際特許出願により提供され、それらの内容は、参照によって本明細書に援用される。
本方法がこの装置により使用されるようには限定されないし、また、1つ以上の照明装置とともに1つ以上の画像取り込み装置(例えばカメラ)の任意の適当な配置によって培地の画像データを取得してもよいことは、認識されるだろう。
画像データは、培地の表面、培地を含むプレート、および培養プレートのまわりのエリアのイメージを含んでもよい。理想的には、画像データは、プレートのバーコードデータ、画像取得パラメータ、時間/日付印、および画像取り込み装置の仕様データを含む関連するプレートデータとともにデータベースに保存されるだろう。
微生物増殖を示す画像データの正確な分析を実行するために、高品質で正確な画像データが必要である。画像取り込み装置から未加工のイメージを適当な形式に処理するために、ステップを取ることができる。画像取り込み処理は、一連の取り込み画像の平均化、それに続く非モザイク化、分析のために適切な画像データを取得するためのホワイトバランスおよびカラー補正を含んでもよい。
用いてもよい色較正方法の詳細な記述は、同一の出願人名に対する、および「画像取り込み装置のための色較正方法(Color Calibration Method for an Image Capture Device)」と題され、同一出願人および同一の出願日で同時係属の国際特許出願により提供され、それらの内容は、参照によって本明細書に援用される。
一例において、装置および方法は、完成画像取得および分析の機能を提供することができ、完全パッケージとして研究所に提供することができる。代替え的に、画像データは、本発明の方法ステップが行なわれる場所から隔たった別のサプライヤ、場所、または国から供給されてもよい。したがって、画像データを取得するために用いられるいかなる画像取得装置も、画像データの分析が行なわれる場所から離れて設置してもよい。
本発明は、ソフトウェアを保存するためのプロセッサおよびメモリを含むコンピュータで用いるソフトウェアまで及び、ソフトウェアは、上記の実施形態のうちのいずれか1つに従って方法を実行するプロセッサにより実行可能な一連の命令を含む。
本発明は、また、ソフトウェアを含むコンピュータ読み取り可能な媒体にまで及び、装置は、プロセッサにアクセス可能なメモリ内に駐在のプロセッサ、メモリ、およびソフトウェアを含み、ソフトウェアは、上記の実施形態のうちのいずれか1つに従って方法を実行するプロセッサにより実行可能である。
別の態様において、本発明は、固体培養培地上の微生物増殖の分析で使用するための分類子をトレーニングする方法を提供する。本方法は、
固体培養培地上の微生物増殖の複数のサンプルごとに画像データを取得するステップ、
画像データ内の各々の複数の画素ごとに、画像データに1つ以上のフィルタを適用することにより取得された値に関連する特徴ベクトルを生成するステップ、および、
画像データ内の画素に関連するラベルに従って複数の画素内の各画素を分類する分類子をトレーニングするために関連する特徴ベクトルを用いるステップ、を含む。
好ましくは、各々の前記画素の画素分類の結果は、固体培養培地上の微生物増殖の微生物学的評価を導き出すために解析される。
本発明の実施形態は、ここで、添付の図面を参照しながら、単なる例として記載されるだろう。図の特殊性が本発明の先の記述の一般原理に取って代わらないことは理解されるべきである。
図1は、培養プレート内の固体培養培地上の微生物増殖を分析するのに用いられる装置の概略図である。 図2aは、ユーザが画像を取り込むためのGUIのスクリーンショットである。 図2bは、図2aのスクリーンショットの左側の詳細の詳細図である。 図2cは、図2aのスクリーンショットの左側の詳細の詳細図である。 図2dは、図2aのスクリーンショットの左側の詳細の詳細図である。 図2eは、図2aのスクリーンショットの左側の詳細の詳細図である。 図3は、画像内の培養プレートの位置を入力するためのGUIを示す一連のスクリーンショットである。 図4は、固体培養培地およびその上の任意の微生物増殖の画像を取り込むための方法を示すフローチャートである。 図5は、取り込まれた画像を処理する方法を示すフローチャートである。 図6は、見かけの色から実際の色までマッピングを推定する方法を示すフローチャートである。 図7は、取り込まれた画像の輝度を補正するための曲線の例を示すグラフである。 図8は、円形の色相空間の中で複数の制御ポイントを示すHSV空間の線図である。 図9は、特定の画像取り込み装置のための(a)色相/彩度空間全体のマッピング、(b)分離されたカラーマッピング機能、および(c)分離された彩度マッピング機能のグラフィック表現である。 図10は、マッピングの精度を示すグラフである。 図11は、(a)色較正の前および(b)色較正の後のカラーチャートの2つの写真である。 図12は、見かけの色を実際の色にマップする方法を示すフローチャートである。 図13は、分割した培養プレート上で実行する画像取り込みパイプラインを示すフロー線図である。 図14は、固体培養培地上の微生物増殖を分析するのに用いる分類子をトレーニングする方法を示すフローチャートである。 図15は、(a)固体培養培地上の微生物増殖のための画像データ、(b)赤色チャネル特徴画像、(c)緑色チャネル特徴画像、および(d)青色チャネル特徴画像、の一連の表現である。 図16は、(a)L特徴画像、(b)A特徴画像、(c)B特徴画像、(d)11×11のウィンドウにおけるL特徴画像の相違、(e)11×11のウィンドウにおけるA特徴画像の相違、(f)11×11のウィンドウにおけるB特徴画像の相違、(g)11×11のウィンドウにおけるL特徴画像の平均、(h)11×11のウィンドウにおけるA特徴画像の平均、および(i)11×11のウィンドウにおけるB特徴画像の平均、の一連の表現である。 図17は、分割した培養プレートのための位置特徴画像の表現である。 図18は、(a)x方向の勾配値の特徴画像、(b)y方向の勾配値の特徴画像、(c)5×5のウィンドウのための滑らかさ特徴画像、(d)13×13のウィンドウのための滑らかさ特徴画像、および(e)21×21のウィンドウのための滑らかさ特徴画像、の一連の表現である。 図19は、決定木の一例である。 図20は、固体培養培地上の微生物増殖の一連の画像を分析する方法のフローチャートである。 図21は、ブースト分類子の分類結果を改善するためにグラフカット・アルゴリズムを適用する方法のフローチャートである。 図22は、(a)最初のグラフ、および(b)グラフカット・アルゴリズムが適用された後のラベリングを示す分割されたグラフを示す。 図23は、α展開手順に用いる補助ノードとともに作られるグラフを示す。 図24は、α展開手順においてなされることができるありうるカットを示す一組のグラフである。
コンピュータソフトウェアの概要
ソフトウェアの4つの主コンポーネントがある。
・情報およびプロセスを格納して、管理するために用いるデータのライブラリ。
・ブースト(boosted)分類子をトレーニングするためのサーバ上で実行されるコマンドライン・プログラムの形のソフトウェア。
・画像を取り込み、処理して、未知の培養プレートのための報告を生成するために用いる、デスクトップコンピュータ上で実行するGUIプログラム。
・トレーニングラベルを提供して、メタデータを操作する、デスクトップコンピュータ上で実行するGUIプログラム。
ライブラリでは、拡張マークアップ言語(Extensible Markup Language;XML)ファイルは、メタデータを保存するために用いられる。そして、ポータブル・ネットワーク・グラフィックス(Portable Network Graphics;PNG)フォーマットは、画像を保存するために用いられる。すべてのファイルは、ディスク上にまたはデータベースに直接格納されてよい。メタデータは、3つの主要なXMLファイルタイプに格納される。すなわち、画像メタデータファイル、プレート・メタデータファイルおよび、付加的なメタデータを格納して、画像およびプレート・メタデータファイルと一緒に結びつけるためのメイン・メタデータファイル。患者およびサンプルに関する情報にアクセスするために、ライブラリは、研究所情報管理システム(Laboratory Information Management System;LIMS)にリンクされてよい。
画像データは、4つの方法で格納される。すなわち、画像メタデータファイル、未処理画像(カメラから読みとった生の値)、処理済み画像(それは、デモザイク化され、色補正された)、およびプレビュー画像(より小さいサイズを有する)。画像メタデータファイルは、情報の範囲を捕える。画像メタデータファイルの一例は、下に示される。
格納されるメタデータは、露光時間、キャプチャの日付、照明の情報、画像を補正するために用いる色変換、およびカメラデータを含む。ファイルの一組の特性は、特定の画像の位置を決めて、確かめるために用いることができる。第1の特性は、パスである。そしてそれは、後述する主要なメタデータファイルのロケーションと関連して、画像ファイルのロケーションを提供する。次いで、画像の幅および高さは、バイトでディスク上の画像のサイズとともに格納される。最後に、MD5チェックサムは、それがキャプチャされたのでデータが修正されなかったことを確実にするために、格納される。これらの特性は、画像ロード上で点検されてよい。付加的に、XMLファイルは、修正を防止するために、暗号によって署名される。
プレート・メタデータファイルの一例は、下に示される。
ペトリ皿(シャーレ)は1枚の培養プレートにおいて2つ以上の異なる寒天を有して分割されてよいので、ディッシュ(シャーレ)は、いくつかの関連するプレート・メタデータファイルを有してよい。格納されるメタデータは、寒天のタイプ、それが含むサンプル・タイプに適切な増殖情報、微生物タイプのリストを含む。そしてそれは、オペレータまたは自動分析プロセスによって定義される。微生物(organism)リストは、微生物の名前をラベル番号と関連させる。そして、ラベルづけされた画像が解釈される方法を提供する。最後に、ラベルづけされた画像の適切な部分をソフトウェアが読み込むことができるように、培養プレートのためのマスクが提供される。単一のラベルづけされた画像は、単一のペトリ皿のために用いられる。しかし、ディッシュが複数の寒天、したがって複数のプレート・メタデータファイルを含んでよいので、マスクは、どのラベルがどの寒天と関連するかを決定するために用いられる。
メイン・メタデータファイルの一例は、下に示される。
格納されるメタデータは、培養プレートの内部ID、培養プレートのタイプ(全体または分割)、患者ID(培養プレート上のバーコードから読み込まれることを意図する)、キャプチャの日付、画像が取り込まれたときにソフトウェアを使用していたオペレータの名前、培養プレート上に置かれたサンプル・タイプ(例えば尿または腸)、およびプレート・メタデータファイルへの参照リスト、を含む。培養プレートのための診断は、次いで、記録される。そのソースは、オペレータまたは自動分析ソフトウェアのいずれかであることができる。診断のための許容値は、ポジティブ、ネガティブ、培養、または検査である。オペレータは、任意のテキストを入力してもよい。そしてそれは、注タグに保存される。培養プレートのロケーションは、相対的なフォーマットに格納される。培養プレートの画素ロケーションを得るために、x,y座標は、それぞれ画像の幅wおよび高さhによって掛けられなければならない。半径は、
によって掛けられなければならない。培養プレートに取り付けられる画像の各々は、次いで、それらの画像メタデータファイルを介して参照される。ラベルづけされた画像はまた、パスを介してそれらのPNGファイルに参照される。メイン・メタデータファイルは、計算されたラベルの参照を含んでもよいが、しかしこれはオプションである。
ラベリングの一貫性を確実にするために、特定のメタデータ例の寒天、サンプルおよび微生物のタイプのためのそのリスト受け入れ可能な値を列挙する生物学データベースが使われてもよい。データベースの正確な内容は、システムが展開される研究所に依存する。生物学データベースは、最初にサンプル・タイプによって、次いで寒天タイプによって組織される。次いで、各寒天タイプは、有効な微生物のリストを含む。データベースにおけるあらゆるエントリは、少なくとも3つのフィールド、すなわち、名前、短い説明、および説明、を含む。機械で読み取り可能なエンティティの名前が必要であり、データベースへのキーとして作用するときはいつでも、名前が使われる。短い説明は、この種のテキストが適切である(例えばメニューまたは他のユーザ・インターフェース・エレメントの)場所においてGUIの中での使用を目的とする。説明は、任意に長くなることができて、特定のエンティティのための完全な専門的な名前である。
画像キャプチャ
図1は、寒天プレートの形態の培養プレート102における培地上で微生物増殖を分析するのに使用するための装置100の実施形態を示す。この装置100は以下の構成要素を備える。
・適切な固定焦点レンズ108を有するマシンビジョンクオリティの高解像度デジタルカメラ106の形態の画像キャプチャ装置104。そのカメラ106はリング照明110の約200mm上に位置する。
・リング照明110は培養プレート102の直径より大きな直径を有する。この例において、リング照明は180mmの直径を有する。リング照明110は、円形アレイに配置される数百の白色LEDおよび拡散器を含む。この照明は、培養プレートを均一に照射できる低角度の拡散された側部照明を提供する。リングライト110は、フレーム118の一部を形成する不透明なカバー112の約40mm上に配置されるので、培養プレート102の約30mm上にある。白色LEDからの光が低角で培養プレート102の表面上に作用するようなリング照明110の位置により、画像キャプチャ装置104によりキャプチャされる培地の中心表面からのLEDの鏡面反射が防止される。
・拡散器の後方にある白色LEDのアレイに基づいたフラットパネル照明の形態の照明装置114。照明装置114は不透明なカバー112の約150mm下にある。リング照明110からの光が、培養プレート102の後方照射を減少させるために照明114以外のバッフルに当たるようにこの距離は選択される。
・画像キャプチャ装置104の直接的視野において培養プレート102を支持するための支持部116。支持部116は3mm厚である透明なガラスステージである。そのガラスは時間が経って傷がついたら交換されてもよい。支持部116は支持部上に培養プレート102を位置決めするための2つ以上の三角形状の透明な位置決め要素を備える。三角形の頂点は培養プレート102を配置するための支持部の中心を向き、それにより、頂点は培養プレート102の円周に触れる。
・画像キャプチャ装置104、支持部116、リング照明110および照明装置114を互いに対して配置するフレーム118。そのフレーム118はシート金属またはプラスチックなどの不透明材料から作製され、装置100に入る光の量を減少させる。装置100の内側面は、レンズ108内への内側面からの光の反射を減少させることができるように黒くなっている。
・フレーム118は、培養プレート102を支持部116上に配置するために人の操作者にアクセスパッチを提供するドア120を備える。代替として、ロボットによるプレート操作装置が、画像化のために培養プレート102を支持部116上に正確に配置し、次いで設計された出力チャネル/スライドに培養プレートを取り外すためにアクセスパッチを使用してもよい。例えば、培養プレートは上記の4つのカテゴリーまでのうちの1つを表す出力チャネル内に配置されてもよい。
・不透明なカバー112は、フレーム118の幅にわたって延びるアルミニウムプレートであり、フレーム118を上側エンクロージャ122および下側エンクロージャ124に効果的に分割する。不透明なカバー112は、照明装置114からの光が培養プレート102に透過できる穴126を備える。穴126の幅は、培養プレート102の幅(この例において90mmであり、典型的に88〜100mmである)よりわずかに大きく、リング照明110の直径未満である。これにより、リング照明110から照射される光が、フレーム118の底面128またはフラットパネル照明114の表面から反射し、培養プレート102に戻ることが防がれる。
・フレーム118はまた、不透明なカバー112の下に配置される光バッフル130を備える。
・支持部116に対してリング照明110の位置を変化させるための手段131もまた、ラックアンドピニオンアセンブリの形態で提供される。
・フレーム118、不透明なカバー112および光バッフル130はキャビティ132を規定し、それにより、支持部116は画像キャプチャ装置104とキャビティ132との間に培養プレート102を支持する。支持部(ガラスステージ)116はキャビティ132を封止し、望ましくない物質がキャビティ132に入ることを防ぐ。リング照明110が照射し、照明装置114がオフである場合、不透明なカバー112は、リング照明110からの光がキャビティ132の視野領域を照射することを防ぐ。この構造において、キャビティ132は黒いバックグランドのように見える。
・側角照明134は、くぼみまたは粒状組織などの寒天上の任意の表面トポグラフィー(形状)をハイライトするようにある角度から培養プレート102を照射するように使用される。側角照明134の代替はリング照明110におけるLEDの一部のみを起動することであり、それにより、培養プレート102は1つの方向のみから照射される。
・コンピュータ136などの処理手段が、物理インターフェースまたはワイヤレスインターフェースを介して画像キャプチャ装置104、リング照明110および照明装置114に接続される。コンピュータ136は、プロセッサ138および異なるコンポーネントを起動し、生データをキャプチャし、データを処理するためのソフトウェア142を記憶するメモリ140を備えてもよい。
・画像、メタデータおよび他の情報のライブラリは、コンピュータ136に記憶されてもよいか、またはネットワークを介してコンピュータ136においてアクセス可能であってもよい。同様に、LIMSがコンピュータ136を介してアクセスされてもよい。
異なるコンポーネントが、上記の装置のコンポーネントのいずれかと置き換えられてもよく、コンポーネント間の距離およびコンポーネントの位置が調節されてもよいことは理解されるであろう。例えば、カメラ106およびレンズ108はフレーム118の内側に示されているが、別の例において、それらはフレーム118の外側に配置されてもよく、レンズ108はフレーム118の上面における穴を通して突出する。また、フレーム118の幅は装置100の全体のサイズを減少させるために減少させてもよい。
装置100を使用する画像収集プロセスをここに記載する。このプロセスは、訓練された機械学習分類子を使用して、またはこのような分類子の訓練において培養プレート102上での微生物増殖を分類するのに使用するための画像を得るのに好適であり得る。多くのステップが人の操作者によって実施される手動プロセスが記載されているが、そのプロセスのステップの多くは、ソフトウェアにおいて、またはロボット装置によって自動化され、実施されてもよいことは理解されるであろう。
最初に、接種され、インキュベートされた培養プレート102は、ユーザにより三角形停止部内の支持部116上に配置される。培養プレート102は一般に、寒天を裏返して(蓋上の凝結が寒天面に落ち、損傷させることを防ぐために)実験室内に保存されるので、支持部上の培養プレート102の配置は、培養プレート102の蓋を取り外し、寒天が上面を向くように培養プレートを回転させることを含んでもよい。
ソフトウェア142は画像キャプチャプロセスを開始するように起動される。ソフトウェア142は、ユーザが、培養プレート102上のバーコードを走査すること、または手動で数を入力することを必要とする。バーコードはサンプルIDにリンクし、培養プレートを特定のサンプル、およびLIMシステムを介して特定の患者に関連付ける。バーコードが入力されると、カメラ出力のライブビデオプレビューが図2(a)に示したウィンドウに現れる。ユーザは、ライブビデオストリームにより提供されるフィードバックに基づいて培養プレート102のロケーションまたはレンズ108の焦点もしくは開口を調節できる。
次いでユーザは、培養プレートの種類(例えば分割(スプリット)または全体)、サンプルの種類(例えば尿、腸、血液または組織)および寒天の種類(複数も含む)(例えば血液または発色)を選択することを必要とする。プレートのデータ選択オプションの例を図2(b)および図2(a)の左上に示す。代替において、ユーザが培養プレート、サンプルおよび寒天の種類を選択することを必要とする以外に、この情報は入力されたバーコードに基づいてLIMシステムから抽出されてもよい。
このデータが入力された後、培養プレートの位置が入力される。この情報がユーザにより入力され得る2つの方法が存在する。第1は、半径と共に皿のx,yロケーションの入力を可能にする、従来のスライダのセットによる。ディッシュがスプリット(分割)ディッシュである場合、ユーザはまた、スプリットのロケーションを入力しなければならない。この例を図2(c)および図2(a)の左下に示す。第2の方法はライブビデオプレビュー上のマーカーのセットを操作することによる。ユーザは3点によって寒天周囲に円を置き、それにより、ユーザは相互作用的に動かすことができる。これらの3点は円を一意的に規定する。4番目の制御ポイントにより、ユーザは、必要に応じて、中心スプリットのロケーションを特定できる。このような制御ポイントは迅速かつ容易で非常に正確に配置される。図3はこのような相互作用が発生できる方法の例を示す。ロボット培養プレートの配置を有するシステムにおいて、培養プレートのロケーションは既知であり、スプリットのロケーションが演算され得る。
露光および照明設定は、選択される培養プレート、サンプルおよび寒天種類(複数も含む)に基づいてデータベースから引き出されてもよい。
正確な露光は良いクオリティの画像キャプチャにとって重要である。カメラ106を試験している間、別の露光が、含むことができる寒天の異なる種類の異なる不透明度に起因してスプリット培養プレートの各々の側に必要とされることが決定された。照明の選択はまた、必要な露光設定に強い影響を与えるので、ユーザはまた、上部または下部光が起動されている任意の利用可能な構成で画像をプレビューできる。図2(d)は、起動される上部光または下部光のいずれかを選択するために使用され得るラジオボタンを示す。示していないが、ユーザは代替として起動される側角照明を選択してもよい。
露光設定は、例えば図3(e)に示すものなどのドロップダウンメニューを使用して選択され得る様々な自動露光アルゴリズムを使用してユーザにより調節されてもよい。自動露光アルゴリズムの各々は同じコアを有する。所与の標的輝度、btgt、および測定輝度、bmeans、新たな露光、enewは以下のように計算される。
つまり、輝度が非常に高い(画像が飽和されている)場合、その以前の値の80%までの露光に無条件に落ちる。この事例でないならば、変化は次いで0.5から2の間に固定される。2つの連続した露光設定が互いの10マイクロ秒以内である場合、調節が停止する。両方の輝度測定は典型的に0から1の間の数として表され、0はブラック(明るさなし)であり、1はホワイト(完全な明るさ)である。
種々の自動露光アルゴリズム間の相違は、現在の画像の輝度をどのように演算するかである。使用され得る異なるアルゴリズムは以下を含む。平均−このモードにおいて、画像における全てのピクセルの平均輝度が演算される。
中央加重平均−中央加重平均は全てのピクセルの平均輝度を演算するが、中央の追加加重の
内のこれらのピクセルを与える(各々の中央サンプルは8回数えられる)。
スポット−この方法は再度、平均輝度であるが、中央の
内のこれらのピクセルのみを演算する。この方法は、画像の中央が特別な平均を有さないので、寒天プレートに適していない。
中央値−この方法は、ヒストグラム計算により画像にわたる中央値輝度を演算する。ヒストグラムの各binは4レベル幅であるので、入力画像が16ビットである場合、ヒストグラムは16384binである。画像の真のbit深さはまた、カメラから読み取られることができ、アルゴリズムに与えられ得る。
グリーン−この方法は平均と同じであるが、輝度を演算するためにグリーンチャネルのみを使用する。これは2つの理由のために有益である。第1に、Bayerモザイク画像においてレッドまたはブルーの2倍の多さの真のグリーンピクセルが存在する。第2に、人の眼はグリーンに敏感であるので、画像を調節するためにそれを使用することにより、概念的にハイクオリティの画像を提供するはずである。
ソフトウェア142は、例えば正常な色とレッドとの間にピクセルを打つことによって、ユーザが良好な露光設定を選択することを支援するプロセスをさらに含んでもよい。これは、標的画像輝度を減少させることによって修正され得る、露出過度、または飽和されたピクセルを識別することに役立つ。
初期露光設定がデータベースからロードされ、以前に記載したアルゴリズムの1つを使用して各キャプチャ前に調節される。露光設定が所与の照明構成について仕上げられると、図4に示される方法を使用して画像キャプチャが実施される。ステップ164において、キャプチャは初期化され、ステップ166において照明構成(例えばリング照明110)が起動される。画像は、この照明構成を使用して画像キャプチャ装置104によってステップ168においてキャプチャされる。画像キャプチャは各培養プレートについて複数回反復され、各回は同じ露光を有する(ステップ170)。これらの画像の各々は、画像ノイズを減少させるために処理段階の間に一緒に平均化される。連続した5つの画像が十分である。プロセスは、スプリット培養プレートの場合、培養プレートの他の側(ステップ172)について、および他の照明構成について、例えば下部照明装置114(ステップ174)について反復される。ステップ176において、キャプチャされた画像はデータ処理についてハンドオフされ、次いで画像キャプチャが完了する(ステップ178)。一例として、スプリット培養プレートの画像のキャプチャは、5×2×2=20画像を必要としてもよく、これは約2秒かかり、カメラ106が9フレーム/秒で作動すると仮定する。
画像がキャプチャされると、それらは、非同期処理のための実行のスレッドを分離するためにハンドオフされ得る。次いでキャプチャウィンドウはバーコードの入力を待つために戻る。培養プレート画像がキャプチャされるごとに、任意の目立ったメタデータと共に画像はライブラリにセーブされる。
上記のソフトウェアにおいてユーザは培養プレートを位置決めし、メタデータを入力することを必要とするが、このプロセスは自動化されてもよいことは理解されるであろう。例えば、ロボットアームにより、画像キャプチャ前に培養プレートを支持部上に配置してもよく、画像キャプチャ後にそれを取り除いてもよい。ソフトウェアは、画像内の培養プレートの位置およびそれがスプリット(分割)か全体かどうかを自動的に検出してもよい。培養プレート上の識別子またはバーコードを読み取るためにロボットシステムが使用されてもよい。バーコードまたは他の識別子は、培養プレート種類、サンプル種類および寒天種類などの情報にアクセスすることを可能にし、それにより、この情報はユーザにより入力されることを必要としない。完全に自動化処理を目的とするソフトウェアのバージョンにおいて、ユーザは露光または標的輝度設定を調節しない。
画像処理
一旦画像が良好な露光を用いて取り込まれると、ブースト分類子を生成するためのブースティング・アルゴリズムを用いて特徴画像を生成するために使用することができるサンプルのためのより正確な画像を得るために、画像取り込み装置からの生データは、処理される。この実施形態がブーストアルゴリズムの使用を説明するにもかかわらず、分類子は、異なる技術を用いて代わりに生成されることができると認識される。
図5に示される方法に関して、画像処理は、ステップ163で開始する。そして、ステップ165で、画像取り込み装置によって撮られた画像を平均化し、ステップ167で、平均化した画像をデモザイク化し、ステップ169で、結果として生じる画像を色補正し、ステップ171で、特徴ベクトルを計算し、ステップ173で、処理を停止する、ことを含む。
単一の全体像への同じ露光時間で撮られる画像の5つ(または他の数)を結合するために、画像は、平均値になる。5つの平均値になる画像の使用は、ノイズの効果を減らす。
大部分のカメラが、例えばカラーフィルタのバイエル取り決め(Bayer arrangement)を用いて、各物理的ロケーションで1色のみを測定することのできるセンサを有しているので、デモザイク化は、実行される。これは、カメラからの生データが個々の赤色、緑色、青色の画素のモザイクのパターンであることを意味する。デモザイク化する好適な方法は、以下を含む。
・ニアレスト・ネイバー(Nearest Neighbour)−ニアレスト・ネイバーは、速くて低品質の結果をもたらす単純な方法である。この方法では、各2×2ブロックは、一緒に処理される。赤色および青色値は、それらの最初のロケーションから、そのそれぞれの値を逃している3つの他の画素へコピーされる。次いで、緑色値は、垂直にまたは水平にコピーされることができる。これは、すべてのロケーションにおいて満たされるすべてのチャネルを有する各2×2ブロックに、結果としてなる。
・ダウンサンプリング−ダウンサンプリング方法は、おそらく解像度を代償にして最善の結果をもたらす。この方法では、各2×2ブロックは、単一の画素へと折りたたまれる。2つの緑色値は、平均値になり、赤色および青色価は、単に割り当てられる。この方法は、補間を必要としなくて、それ故、オリジナルの画素データに最も忠実である。
・適応可能な均質性に誘導されたデモザイク化(Adaptive−Homogeneity−Directed demosaicing;AHD)−このアルゴリズムは、最も適切であるとわかった。AHDプロセスの詳細は、K. HirakawaおよびT. W. Parks.の“Adaptive homogeneity−directed demosaicing algorithm” ICIP, 2003で見つかることができる。その内容は、参照により本明細書に組み込まれる。本質的には、AHDプロセスは、2つの画像を生成するために緑色のチャネルを垂直におよび水平に内挿することによって進行する。次いで、これらの各々は、赤色および緑色のチャネルと青色および緑色のチャネルとの違いを平滑化することによって追加される赤色および青色のチャネルを有する。最後に、2つの画像は、均質な領域を識別して、各ポイントで画素を引き出すのに最も適切な画像を選択することによって、結合される。このプロセスは、非常に高品質な結果をもたらす。
画像の色補正は、ホワイトバランスおよび輝度のための補正、および、平均値になる画像の見かけの色を真の色にマップする予め計算されたマッピングの使用を必要とする。寒天およびコロニーの色の正確な決定を確実にするためのホワイトバランスおよび色補正は、有益である。そしてそれは、種分化および現象(例えば発酵作用および溶血作用)の検出にとって重要である。それ故、高品質の色較正は、重要である。
画像を修正するために用いるホワイトバランスおよび色補正のパラメータは、画像取り込み装置および照明の配置に特有であり、そして、カラーチャートを用いて予め計算される。図6に関して、ステップ180で、参照カラーチャートの画像は、取り込まれる。チャートは、標準の「gretagmacbeth ColorChecker(登録商標)のカラー描出チャート」でよい。そしてそれは、24のカラーパッチを有し、その各々は、関連する参照赤、緑、青のチャネル値を有する。画像は、手動でまたはソフトウェア142を用いて送られる電子的信号を介してカメラ106を起動することによって、取り込まれることができる。カメラセンサによって取り込まれたデータは、色較正を無効にして、物理的なまたはワイヤレス接続を介してコンピュータ36に送信される。
ステップ182で、ユーザは、参照カラーチャートにおける各カラーパッチのロケーションを示す。例えば、ソフトウェアは、GUIにカメラ106からの画像のプレビューを表示させることができる。そして、ユーザは、決定すべきカラーパッチのロケーションを有効にするために、特定の命令においてチャートの四隅をクリックしてよい。他の変形例では、パッチのロケーションは、異なるユーザーインターフェース、マシンビジョン技術を用いて、または、参照カラーチャートを特定の既知のロケーション(すなわちカメラから一定の距離)に配置することによって、決定されてよい。
各ロケーションの平均色は、21×21画素のウィンドウに取り込まれて、ステップ184でパッチカラーのために使われる。もちろん、異なる大きさの画素ウィンドウが平均色を計算するために用いられ得ることは、いうまでもない。
ステップ186で、ホワイトバランスは、単一のパッチ(すなわち、参照カラーチャートにおいて3番目に暗い灰色のパッチ)から計算される。R、G、B値は、この中立の灰色パッチにおいて等しいと仮定される。ホワイトバランスは、次式で表される。
ここで、wは、1として暗黙に定められる。重みづけwおよびwは、g’値に等しいr’値およびb’値を生成するために計算される。計算されたホワイトバランス値
は、カメラによって取り込まれる画像のホワイトバランスを修正するために用いられる。
一旦ホワイトバランスが計算されると、ステップ188で、見かけの灰色値をできるだけうまく一緒にマップする曲線Cは、計算される。これは、カメラのための輝度マッピングを提供する。曲線の形は、次式の通りである。
ここで、gは入力色であり、g’は出力であり、そしてa、b、cは、計算される曲線Cのパラメータである。図7は、このプロセスから得られる曲線の例を示す。一旦推定されると、曲線は、カラーチャネルごとに独立して適用されてよい。カラーマッピング機能(ステップ190)の最後のステージは、各画素の色相および彩度のためのマッピングを生成することを意図する。
複数のカラーパッチの見かけの色相および彩度は、ホワイトバランスおよび色補正された画像に基づいて判定され、そして、色相および彩度マッピングは、ステップ190で計算される。カラーマッピングは、見かけの色相値を実際の色相値にマップするために、一連の制御ポイントを用いて提供される。これを達成するために、キュービック補間(または他の高位の補間法)を使用する。各制御ポイントは、固定される円形の色相空間における位置、および、最適化の間、計算される角度オフセットから構成される。特定の色相値を実際の色相にマップする特定の色相値のためのオフセットを提供するために、オフセットは、三次元的に内挿される。
彩度マッピング機能は、彩度値を調整するために一連の制御ポイントを使用する。これらの制御ポイントは、色相値をマップするために用いる制御ポイントと同じかまたは異なってもよい。彩度マッピング機能は、色相マッピング機能と同じ補間方式を使用してよい。彩度は、範囲[0、1]内になければならず、そしてそれ故、この機能からの出力値は、この範囲が強調されるのを確実にするためにクランプされることに注意されたい。変形例では、彩度マッピングは、輝度補正のために適用されるそれと類似の曲線を介してなされてよい。
色相および彩度マッピング機能において使用する制御ポイントは、図8に示すように、円形の色相空間のエッジの周りに均等に広がってよい。この円形の色相空間は、着色した円(例えば、制御ポイント192)によって表される16の制御ポイントを含む。例えば、着色した円は、色相が0度および彩度が1で赤色でもよく、色相が90度および彩度が1で緑色でもよく、色相が180度および彩度が1で青色でもよく、色相が270度および彩度が1で紫色でもよい。角度オフセット194およびスケール196の方向は、図4にも示される。制御ポイントの角度位置は、それらの色相値によって定義される。そして、制御ポイントの半径方向位置は、それらの彩度によって定義される。制御ポイントの2つのリングが示され、内部リングは、彩度0.5を有し、外部リングは、彩度1を有する。制御ポイントの単一のリングの場合、適切なポイント(色相に対応する値)を選択するために単一の値のみが必要とされる。色相は、角度として表される。そして、機能は、制御ポイントを選択するときにこれを考慮しなければならない。
制御ポイントの最大数は、利用可能なカラーサンプルの数によって定義される。各制御ポイントは、2つのパラメータを有し、各サンプルは、3つの残差(residual)を提供する。それ故、n色のカラーサンプルは、多くても3n/2の制御ポイントを有することができる。しかしながら、実際には、判定プロセスは、色判定にエラーを誘導する。制御ポイントを選択することは、制御ポイントの異なる数を用いた一連の候補マッピングのためのエラーを計算して、許容エラーをもたらすポイントの最小数に基づいて一連からマッピングを選択することを含んでよい。24のパッチを有するチャートにとって12の制御ポイントで充分であることが分かっている。
輝度曲線がすでに推定されたので、輝度値は、正しいと仮定され、それ故、それらは、調整される必要がない。参照カラーチャートにおける等価なカラーパッチの実際の色の上への画像からパッチの見かけの色を最もよくマップするために、角度オフセットおよびスケールは、最適化される。これは、マッピングf(p)を計算することによってなされる。そうすると、真の色とマップされた色との間の距離は、最小になる。
ここで、
は、真の色であり、
は、判定された色である。色は、いかなる色空間(例えばRGB、YUV、LABまたはXYZ)においても表されてよい。
コスト関数は、非常に大きな変化(例えば360°よりも大きいオフセット)を防止するために、スケールが1周辺の値を維持し、かつオフセットがゼロ周辺であることを確実にする条件を含む。以下のエラー判定を与えられる。
ここで、
は、制御ポイントのためのオフセットであり、sは、制御ポイントのためのスケールである。
を最小化するために、
およびsを選択することが求められる。
他のいかなる無制約の最小化手法も十分であるが、この式に対する解は、Levenberg−Marquardtアルゴリズムを用いて得られてよい。コスト関数は、色を一緒にマップする際にエラーを最小化しようとする。その一方で、色相オフセットをゼロ近くに、そして彩度スケールをゼロ近くに維持する。
要約すると、ゼロ近くの角度オフセットおよび1に近いスケール(1からスケールを引いたものを最小にする)を保持する間、各変わる見かけの色(例えばRGB)と各パッチのための参照色(例えばRGB)との間の距離の平方和が最小にされるように、角度オフセット194およびスケール196は、制御ポイントごとに決定される。
図9は、特定のカメラのための(a)色相/彩度空間全体のマッピング、(b)分離された色相マッピング機能、および(c)分離された彩度マッピング機能、のグラフィック表現を示す。図10は、マッピングの精度に関するいくらかの詳細を提供する。y軸上の各位置は、24のカラーパッチのうちの1つを表し、x軸は、各々が0〜1であることができる色値を表す。マッピングを用いて画像を色補正する一例を、図11に示す。ユーザがカラーパッチの位置を選択した後、カメラによって取り込まれるように、第1の画像(a)は、入力イメージを示す。この例では、ホワイトバランスは、すでにおおよそ正しい点に注意されたい。第2の画像(b)は、補正された色を示す。パッチを通じて見える小さい着色した正方形は、各パッチの真の色を示す。
次いで、このマッピングは、同じ(または同じタイプの)画像取り込み装置を用いて取り込まれた画像を色補正するために使用されることができる。図12に関して、見かけの色を実際の色にマップする方法は、ステップ181でカメラを用いて画像を取り込むことを含む。画素ごとの見かけのRGBカラー値は、決定されてよい。そして、色値は、先に計算された重み/曲線を用いて補正されるホワイトバランスおよび輝度でもよい。次いで、方法は、ステップ183で、画像の1つ以上の画素を関係させ、画素の見かけの色相および彩度を決定し(ステップ185)、見かけの色相と関連した角度オフセットを決定するために円形の色相空間における2つ以上の制御ポイントの角度オフセット間を補間し(ステップ187)、見かけの彩度と関連したスケールを決定するために円形の色相空間における2つ以上の制御ポイントのスケール間を補間し(ステップ189)、角度オフセットを見かけの色相に適用し(ステップ191)、そして、スケールを見かけの彩度に適用する(ステップ193)。
一旦マッピングが適用されると、HSV色空間は、RGB空間へと、または所望通りに他の任意の出力空間に変換されることができる。
線形方法は、HSV方法と置換されてもよい。ここで、色は、以下を介してマップされる。
ここで、Tは、3×3の変換行列であり、残りの変数は、スカラーである。
図13は、半分の血液寒天培地および半分の色原体寒天培地を有する分割した培養プレートのための全体の画像取り込みパイプラインを示す。パイプラインは、照明構成(上部光照明および下部光照明)の各々につき1回で、2回実行する。別々の培養プレートの各側の画像を取り込むために、パイプラインもまた、2つの分岐を有する。そして、各分岐は、寒天培地のタイプのために最適化される。入力培養プレート200を与えられて、露光は、半分の色原体の202または血液204用に設定される。次いで、2つの異なったRGB画像を生成するために、カメラからの生画像206、208は、取り込まれて、デモザイク化210、212される。デモザイク化された画像の関連した半分ずつは、色補正216された合成画像214を形成するために縫合される。変形例では、生画像は、一緒に合成されてよい。そして、合成された画像は、デモザイク化されて、必要とされる計算を減らす。
一旦画像が平均値になり、デモザイク化されて、カラー較正されると、その結果は、培地のための画像データである。分類子をトレーニングするための画像データ、および培養プレートを分類するための画像データを得るために、画像を取り込み、そして処理する同じプロセスは、使用されることができる。
画像ラベリング
分類子をトレーニングするために、画像データは、経験豊かな微生物学者によってラベルづけされる。これは、オフサイトでそして画像化および照明装置から離れてなされてよい。ラベリングは、特定の培養プレート用の画像データのために正しいラベルを提供するプロセスである。ラベルの選択は、異なる寒天および興味のあるバクテリアのタイプのために異なってもよい。ラベリングするときに、オペレータは、それが正しいことを確実にするために、培養プレートのためのメタデータを点検してもよい。
ラベリングは、単純な描画ツール(概して任意のペイントソフト)を介してなされてよい。ラベリング・プログラムは、特定の画像と関連したメタデータをロードしてよく、そして、どんな微生物が特定の培養プレートに適用できるか決定するために、それを使用してよい。分割した培養プレートの場合、ユーザは、次いで、培養プレートのどちら側にラベルをつけることを望むかについて選択してよい。そしてそれは、利用できる微生物のセットを変更してよい。実施形態では、ペイントする微生物を選択した後、ユーザは、ペイントするための利用可能な3つの主要なツール、すなわち、ブラシツール、充填ツールおよびイレーザを有する。ブラシツールは、可変的な大きさのサーキュラーブラシである。充填ツールは、カーソルの下のポイントからフラッドフィル(flood fill)を実行する。クリックされるときにカーソルの下にあるものに応じて、それは、背景または特定のラベル色の隣接する領域を充填する。イレーザは、ブラシツールと同様に機能するが、微生物ラベルよりもむしろ「未知の」ラベルを書き込む。
他のツールは、ユーザが同様に利用できる、スポイト、インスペクタおよびプレートロケーションツールでもよい。スポイトは、目下選択された微生物をカーソルの下に変えるために用いられる。それはまた、マウスをスクリーン上で動かすときに、カーソルの下の微生物の名前にウィンドウ状態をセットする。インスペクタは、カーソルの下の目下の色および画像上のカーソルの画素の位置にウィンドウ状態をセットする。それはまた、カーソルの下のいかなる微生物も強調して、画素におけるそれらのサイズを提供する。プレートロケーションツールは、キャプチャウィンドウにおけるツールと同様であり、画像における培養プレートの位置を調整するために用いられる。
微生物学者が特定のラベルを与えられるべき画像データの領域を選択するときに、選択される領域の中の各画素は、そのラベルを割り当てられる。ラベルづけされた画像データは、ラベルから抽出されるメタデータと共にライブラリに保存される。
トレーニング
画像セットおよび特徴ベクトル(下で後述する)のためのユーザに供給されたラベルを用いて、ブースト決定木の分類子は、プレート自体と細菌増殖との間の、および異なる増殖タイプ間の区別をするためにトレーニングされる。
図14を参照すると、分類子のトレーニングのための方法は、ステップ220で、微生物増殖の複数のサンプルのためのラベルづけされた画像データを得ること、ステップ222で、ラベルづけされた画像データごとに繰り返す(for)こと、画像データの複数の画素のために、1つ以上のフィルタを画像データに適用することによって得られる値の特徴ベクトルを生成すること(ステップ224で)、およびステップ226で、ラベルづけされた画像データの画素と関連したラベルによる複数の画素における各画素を分類するために押し上げられた分類子をトレーニングするために特徴ベクトルを使用すること、含む。
画像データを変換して、分類子をトレーニングするために用いることのできる情報を抽出するために、1つ以上のフィルタは、適用される。そしてそれは、各タイプの細菌増殖の弁別的特徴を学ぶことができる。フィルタは、各画素でそしてその周りで、培養プレートの色および肌合いに関する情報を抽出する。フィルタの出力は、一組の特徴画像でもよい。フィルタおよびそれらの結果として生じる特徴画像のいくらかの例は、以下に与えられ。
RGBフィルタ−いくらかの増殖タイプは、それらの色によって容易に区別されることができる。RGBフィルタは、最も単純なフィルタタイプであり、画像データのRGBチャネルを特徴ベクトルへとコピーする。そして、画素ごとにR、G、B値を与える。図15は、オリジナル画像データ(a)、赤色チャネル特徴画像(b)、緑色チャネル特徴画像(c)、および青色チャネル特徴画像(d)を示す。
LABフィルタ−付加的な色情報は、LABフィルタによって提供される。このフィルタは、主にRGB画像データをLAB色空間(そこではLチャネルが明るさを表し、A、Bチャネルがカラー情報を含む)に変換する。この空間は、いくらかのバクテリアタイプの色の間のより簡単な区別を許容する。加えて、このフィルタは、異なる大きさのウィンドウにおけるL、A、Bの平均および相違を判定するために用いてよい。5×5、11×11、および21×21のウィンドウが、良好な結果を提供するとわかった。画素の近傍の色上のこの追加情報は、類似の外形を有するタイプ間の区別をする際に助けることができる。そしてそれは、個々の画素のための色を共有してよいが、より大きな領域を通じて見られる色の範囲において異なってよい。図16は、L特徴画像(a)、A特徴画像(b)、B特徴画像(c)、11×11のウィンドウにおけるL特徴画像の相違(d)、11×11のウィンドウにおけるA特徴画像の相違(e)、11×11のウィンドウにおけるB特徴画像の相違(f)、11×11のウィンドウにおけるL特徴画像の平均(g)、11×11のウィンドウにおけるA特徴画像の平均(h)、および11×11のウィンドウにおけるB特徴画像の平均(i)を示す。
正しい位置に置かれたガウシアンフィルタ−それは、さまざまな方向における1Dのガウシアン・カーネルを画像に適用する。ガウシアン・カーネルの第1および第2の順序導関数を利用することもできる。
位置フィルタ−位置フィルタは、培養プレートの縁部からの各画素の距離を、分類子に提供する。非常に困難な場合が寒天培地のメニスカス上またはディッシュのプラスチック脚より上のいずれかで培養プレートの縁部上でしばしば発生するという観察によって、この特徴は、動機づけされた。位置情報の存在によって、分類子は、縁部からの異なる距離で培養プレートのさまざまな外観のために適応することができる。縁部からの各画素の距離は、マスク画像上の距離変換を実行することによって得られる。位置特徴画像の例は、図17に示される。
カラー量子化フィルタ−それは、類似の色の領域の位置決めするのを助けるために、通常ヒストグラムを介して、画像の色の数が減らされる。
テクスチャフィルタテクスチャ情報は、分類子が、類似のカラーを有するが、異なる表面性状を有するタイプ間の区別をするのを助ける。テクスチャフィルタを適用すると、画像は、最初にグレースケールに変換される。ノイズを減らすために、次いで、画像は、ガウシアン・カーネルを用いる畳み込みによって滑らかにされる。2Dのガウシアン・カーネルは、以下に定義される。
このカーネルは線形に分離可能であるので、実際には、この畳み込みは、最初に1Dのガウシアン・カーネル
によってx方向に畳み込み、次いで、σ=4:0を有して、1Dのガウシアン・カーネルによってy方向に畳み込むことによって実行される。次いで、テクスチャフィルタは、縁部の情報を抽出する。そして、各画素でグレースケールのx、y画像勾配を戻す。画素のための勾配値は、ソーブル・カーネル
を用いる畳み込みによって抽出される。x方向の勾配値の特徴画像は、図18(a)に示され、そして、y方向の勾配値の特徴画像は、図18(b)に示される。
フィルタはまた、画素まわりの5×5、13×13、および21×21の画素ウィンドウにおいて「滑らかさ」判定基準(metric)を計算する。そして、どのようにテクスチャされた培養プレートがその領域にあるかを判定する。使用する滑らかさ判定基準は、各ウィンドウにおける勾配値の共分散行列のトレースである。そして、そのウィンドウにおける勾配の完全な分散の判定を与える。5×5、13×13、および21×21のウィンドウのための滑らかさ特徴画像の例は、それぞれ図17(c)、(d)、(e)に示される。
一旦特徴画像が作成されると、複数の画素の各々のための特徴値x=(x,…,x)のベクトルは、これらの特徴画像から生成されて、分類子に渡される。培養プレートのための複数の画像(例えば、上部照明構成を用いて撮られる第1の画像セットおよび下部照明構成を用いて撮られる第2の画像セット)がある場合、次いで、特徴ベクトルは、いずれか一方または両方の画像セットを用いて作成される特徴画像からの値を含んでよい。各画素と関連したラベルyは、分類子にも渡される。
特徴ベクトルは、画像データの全画素のために、または画素サンプルに関してのみ生成されてよい。画素サンプルをとることは、必要とされる計算を減らし、したがって、分類子をトレーニングするためにかかる時間を減らす。無作為サンプリング手順は、ラベルづけされた画素の完全なセットからトレーニングの際に使用する例のセットを選択するために用いてよい。これは、まばらなサンプリングまたは密度の高いサンプリング手順でもよい。まばらなサンプリング法は、トレーニングされるクラスごとに別々のプールを作り、そこからN個のサンプルが選択される。1つのクラスのためのラベルづけされた画素の数がこの指定されたサンプルの数未満である場合、画素は、置換を用いてサンプルをとられる。クラスごとの実施例に等しくサイズ決めされたセット上のトレーニングは、より一般に見られるタイプ上のより良好な性能に向かって分類子を付勢することを回避する。密度の高いサンプリング法は、全てのN個のサンプルにおいて1つを検索する。背景の分類子のトレーニングでは、負の例のセットは、各増殖タイプの例を含む。N個の負のサンプルおよびJ個の増殖タイプのために、各タイプのN/J個のサンプルは、選択される。
各画素を分類して、それ故、プレートの背景としてまたは増殖タイプのセットのうちの1つとしてそれにラベルづけするために、分類子は、トレーニングされなければならない。本実施形態では、押し上げられた分類子は、ウィーク分類子として決定木を用いてトレーニングされる。トレーニング中に、入力データの最適分割を正および負のサンプルに与える各ノードでテストを発見することによって、次いで、テストにしたがってデータを分割すること、およびデータのそのサブセット上の子ノードごとにプロセスを繰り返すことによって、決定木は、ルートノードから始めて、再帰的に作られる。ツリーが最大の指定された深さに達しなくて、ノードのすべてのサンプルが同じクラスに属し、分割がデータのランダムな分離よりもより良好なものを与えるのを発見されることができず、またはノードが意味のある分割を実行するにはあまりに少数のサンプルを有する限り、子ノードは分割される。決定木の例は、図19に示される。
本実施形態において使用するブースティング手順は、Discrete AdaBoostである。Discrete AdaBoostのための擬似コードは、下記に与えられる。
Discrete AdaBoostは、一連のTウィーク分類子h(x)を繰り返しトレーニングする。そして、各付加的な分類子を有するトレーニング性能を高めるために適応する。各分類子は、その例の相対的重要性を示す各例(example)に関連した重みwを有する、N個のラベルつきのトレーニング例(x,y)のセット上にトレーニングされる。各トレーニング例(x,y)は、値x=(x,…,x)および、それが正(+1)のまたは負(−1)の例であるかどうかを示すラベル
の特徴ベクトルから成る。ウィーク分類子は、その分類子によって誤って分類される例の重みの合計であるエラー
を最小にするために最適化される。
次の分類子のためのこれらの例上の性能を高めるために、所与の重みセットのための最適分類子のトレーニング後に、目下の分類子のセットによって誤分類される例上により高い重要性を位置づけるために、重みは、更新される。分類子のエラーに基づいて誤分類された例のための重みを増加させて、全ての例全体の重みを正常化することによって、これは、なされる。
バイナリ分類子を用いて2つ以上のタイプのための分類をするために、AdaBoost、MH手順は、用いられてよい。このアルゴリズムにおいて、追加の特徴値は、トレーニング例のクラスを示す整数値(1,…,J)を有する画素ごとに特徴ベクトルに追加される。J個のクラスのために、各トレーニング例は、Jがサンプルのクラスである場合は+1に、そうでなければ−1に、例のセットがラベルyによってJ回繰り返される。画素は、最も強い分類の子結果を有するクラスを割り当てられる。信頼値は、最も強い分類子の相対強度に応じて、その画素のために設定されてよい。例えば、J個のクラスを有するマルチクラス分類子の正しい分類の確率のための式によって計算される特徴ベクトルxにラベルlを割り当てる信頼値
は、以下の式を用いて引き出されてよい。
特定のコロニー・タイプ、培地タイプ、背景の混乱状態、付加的なコロニー特性または他の区別される特徴にとっての結果を得るために、いくつかの分類子は、平行に独立して実行してよい。
より良い分類速度および性能のために、分類は、2段階プロセスとして実行されてよい。第1ステージでは、背景画素と他の全てのタイプとを区別するバイナリ分類子は、大多数の背景画素を迅速に分類する。次いで、マルチクラス分類子は、残りの画素を分類する。
最初のバイナリ分類子は、カスケード分類子法に追従してよい。次のステージにおいて実行されるより正確な分類については、この分類子は、背景の多くを迅速に分類することを意図する。それ自体、誤分類された画素が次のステージにおいて正しく分類されることができるので、比較的高い偽ポジティブ率(前景と分類される背景画素)は、受け入れ可能である。しかしながら、これが次のステージにおいて補正されることができないので、偽ポジティブ率は、非常に低くなければならない。速い分類のために、分類子によって用いられるツリーの数は、できるだけ少なく維持される。最初の分類子は、トレーニングされる。そしてその分類性能は、指定された最大の偽ポジティブ率に対して試験される。それがこの閾値よりも大きい場合、新たな分類子は、トレーニングされる。そして、分類子の組み合わせが所望の偽ポジティブ率を有するまで、これは続ける。各分類子が追加されるにつれて、前景として分類されるための閾値は、その分類子ステージのための所望の偽ポジティブ率を達成するように調整される。
分類子のカスケードをトレーニングするための擬似コードは、下記に与えられる。
ここで、fはステージ当たりの最大受け入れ可能な偽ポジティブ率であり、dはレイヤ当たりの最小受け入れ可能な真ポジティブ率であり、Fはステージiのための偽ポジティブ率であり、Dはステージiのための真ポジティブ率であり、Ftargetは最大の全体偽ポジティブ率であり、Pはポジティブ例のセットであり、Nはネガティブ例のセットであり、そして、tはレイヤごとの分類閾値である。その上で、そのステージの分類子による予測は、ポジティブであるとみなされる。
トレーニングステージからの出力は、新たな試料のための画像データの画素を分類するために用いることができるブースト分類子である。
分類結果を改善するために、ラベルづけされた画像データのラベルは、主として分類子エラーを訂正し、そして分類子を再トレーニングし、フィードバックループを作成するために、編集されてよい。これは、何回も繰り返されてよい。しかし、実際には、2回または3回で通常充分である。上記のように新たな分類子をトレーニングするための特徴ベクトルを作成するために、分類子からの結果は、フィルタへの入力として使用されることもできる。
分類子は、トレーニング画像データのライブラリを用いて、サーバ上にトレーニングされてよい。トレーニングプログラムは、実行されてよい。そして完了にあたり、分類子は、さまざまな統計およびトレーニングの実行からの結果とともに書かれる。次いで、分類子は、新たな培養プレート上の画素に自動的にラベルをつけるために用いることができる。
自動プレート分析
未知の微生物増殖を有する新たな培養プレートを分析する方法は、図20に示される。ステップ250で、培養プレートのためのメタデータは、セットされる。メタデータは、ユーザによって入力されてよいか、または上記のようにLIMシステムから得られてよい。メタデータ値のためのオプションは、バイオロジーデータベース252から選択されてよい。ステップ254で、培養プレートの画像は、取り込まれる(または、培養プレートが大量に処理される場合、複数の培養プレートの画像は、取り込まれる)。画像の取り込みは、上記のようにGUIプログラムを介してオペレータによって実行されてよい。次いで、ソフトウェアは、画像を撮り、それをデモザイク化し、そしてステップ256で培養プレートのロケーションを検出する。ステップ258で、デモザイク化した画像上に一組の画像フィルタを実行させ、次いで、ステップ260で、その結果を適切な分類子に与える。フィルタリングおよび分類ステップは、必要に応じて繰り返される。次いで、分類子は、培養プレート上のバクテリアの画素当たりの推定を生成する。そしてそれは、予測されたラベルおよびラベルの信頼を含む。ステップ262で、推定上にグラフカットが実行され、グラフカットの出力は、ステップ264で報告を生成するのに用いられる。
グラフカット・アルゴリズムは、2つ以上のセットへのグラフの最適分割を計算する。画素分類結果を改善する方法は、図21に示される。ステップ270で、グラフは、画像データの画素(または画素サンプルの1つ)に対応する各ノードを用いて作られる。ラベルもまた追加され、各ラベルは、クラスに対応する。ステップ272で、隣接するまたは近傍の画素に対応するノード間にエッジが追加され、そしてステップ274で、各ノードと各ラベルとの間にエッジが追加される。ステップ276で、グラフカット・アルゴリズムは、ノードへのエッジをカットして、グラフをクラスに区切るために用いられる。画素の分類の入力として用いるグラフカット・アルゴリズムは、そのノードおよび近傍の画素に対応する画素のための結果を生じる。
図22は、初期のグラフ(a)、およびカット後のラベリングを示している分割されたグラフ(b)の一例を示す。図22では、ソースノードSおよびシンクノードTは、ありうるノードラベルに対応する。グラフカットは、各ノードとシンクまたはソースとの間のエッジをカットする、そして異なるラベルを有する隣接ノード間のエッジをカットする、各ノードのためのラベルを決定する。特定のリンクがカットされるたびに、コストを要する。最小限のコストでのカットの計算において、グラフカット手順は、形のエネルギー関数を最小化する。
ここで、lはラベルのセットであり、Nはノードのセットであり、Mはすべての近傍ノードのセットであり、xは、特徴データであり、U(l,x)は、各ありうるラベルの割り当てのための各ノードへのコスト(ソースまたはシンクにエッジをカットするコストとして行われる)を割り当て、およびV(l,l)は、取付けたノードに異なるラベルを割り当てるための各エッジへのコストを割り当てる。
li(x)は、ラベルlを特徴ベクトルxに割り当てる際の信頼である。そしてそれは、J個のクラスを有するマルチクラス分類子の正しい分類の確率のための式によって計算される。ここで、h(x,k)は、クラスkのための分類子の結果である。
グラフカット・アルゴリズムへの他の入力は、画像の色およびエッジデータを含んでよい。さらに、ラベリングのための予想されるコロニーサイズは、U(l,x)のコスト割り当てに含まれることができる。考慮されてよい他のファクタは、エキスパートシステム(例えば、互いに次に見えないかまたは一緒に見えそうなコロニー・タイプの定義)からの予め定められた規則である。これは、滑らかさの項V(l,l)に組み込まれてよい。
ありうるラベルの数が2を上回る場合、α展開手順は、バイナリ・ラベリングから複数のクラス・ラベリングを実行するために用いる。α展開手順のための擬似コードは、Yuri Boykov, Olga Veksler,およびRamin Zabihの「Fast approximate energy minimization via graph cuts」IEEE Transの第2ページに与えられる。Pattern Anal. Mach. Intell., 23:1222−1239, November 2001を以下に示す。
手順は、グラフの全エネルギーEを増加させることなしに異なるクラスの任意のラベルがそのクラスに切り替えられることができるかどうか調べる(例えば、バクテリアタイプまたは背景のための)ありえるクラスの各々のためのステップ3.1および3.2を繰り返す。一旦手順がクラスごとに繰り返されて、さらなるエネルギー減少が可能でないと、最適ラベリングは、戻される。
グラフの作成では、このラベリングのコストをカットに含ませるために、異なるラベルを有する隣接ノード間に補助ノードが追加される。図23は、ノードpとqとの間に補助ノードを追加すること、およびこのグラフのためのエッジの重みを与えることを示す。カットのコストは、そのエッジの重みの合計に等しい。画素の各ペアのために、図24に示すように、カットは、エッジの3つのグループのうちの1つを切断しなければならない。この線図は、Yuri Boykov, Olga Veksler,およびRamin Zabihの文献の第6ページからとられた。α展開手順は、3つのグループのうちどれが最小のエッジ重みを有して、これらのエッジをカットするかを決定する。カットが画素をラベルαから切り離す場合、画素は、ラベルαを割り当てられる。
一旦グラフカットが実行されると、結果として生じる画素の分類は、評価を出力するために分析されてよい。これは、タイプおよび培養プレート上の増殖量を決定するために、どのくらいの画素が各クラスにおいてラベルづけされるかを計数することを、必要としてもよい。それは、特定のクラスの画素数が予め定められた数よりも大きいかどうかを評価することを、必要としてもよい。
コロニーを計数する3つのアプローチは、提案される。
1.基本的な計数。ここでは、各タイプの寒天上の微生物のタイプごとに平均コロニーサイズを決定することによって、コロニー数が推定される。コロニー数をもたらすために、特定の培養プレート上に検出される各微生物の画素数は、この数で割られることができる。
2.密度に基づく計数。ここでは、各コロニーのエッジからの距離が計数アルゴリズムに含まれる。これは、増殖の広い領域がいくつかの異なったコロニーとしてカウントされなければならないという観察に基づく。それ故、コロニーの中央の内部画素は、この種の結果を達成するために、より高い重みを割り当てられる。手動で多くのコロニー数を判定して、この判定基準に対して結果を表にすることから、テーブルは、形成される。次いで、テーブルは、目に見えない培養プレートを査定するときに、判定基準からコロニー数を得るために用いてよい。
3.画像処理に基づく計数。ここでは、ラベルを含んでいる画像が接続コンポーネント・アルゴリズムによって最初に分析される)。このアルゴリズムによって検出される各コンポーネントは、次々に検討される。特定のコロニーが閾値の予め設定されたテーブルによってあまりに大きいと考えられる場合、次いで、数字1が適用されるような方法が提案される。コロニーがあまりに小さいと考えられる場合、それは単一のコロニーとしてカウントされる。さもなければ、コンポーネントの形状は、考慮されてよい。円のようにみえる場合、それは単一のコロニーとしてカウントする。さもなければ、分水界アルゴリズムは、コンポーネントを個々のコロニーに分けるために適用される。そしてその各々は、コロニー数をインクリメントする。
次いで、カウントは、微生物学の専門家のための増殖の意味のある判定を生じるために定量化される。
評価は、陰性対照として培地の識別を含んでよい。この方法は、素の寒天(例えば、背景として分類される画素の所定の最小数)の領域のための期待値を決定する。そしてこれは、有効であるべき画像キャプチャおよび分析のための特定の最小領域を上回らなければならない。見えなければならない素の寒天の正確な領域は、寒天のタイプおよび培養プレート上で識別される他のバクテリアに依存するテーブルの値に由来する。
画素の分類および/または定量化の結果を分析して、評価を生成するために、臨床的ルールが用いられる。臨床的ルールは、患者の試料のタイプ、寒天のタイプ、識別されたバクテリアの混合、国内規格、ローカルの研究所プラクティス、およびいくらかのユーザ・カスタマイズ可能な規則を組み込んでいるテーブルを含んでよい。
メイン・メタデータおよびプレート・メタデータのファイルは、評価を反映して、分類から得られる詳細情報を追加するために更新されてよい。
加えて、評価に基づき、次いで、各培養プレートは、実施形態において、装置100(図示されない)の4つの出力プレート・スタックのうちの1つに送られてよい。そしてそれは、(1)廃棄物、(2)再培養、(3)潜在的病原性バクテリアの識別、または(4)必要な人間の再調査、である。いろいろな形で、これらのスタックは、単一のスタックに併合されてよいと想定される。いかなる場合も、次いで、オペレータは、さらなる動きのために培養プレートを出力プレート・スタックから取り除くことができる。一旦すべての培養プレートが処理されると、全部のワークフローは、繰り返されることができて、または、システムは、シャットダウンされることができる。
本発明の範囲を逸脱することなく以前に記載されたパーツに、さまざまな変更、追加および/または修正がなされてよいことを、そして、上記の教示に照らして、本発明は、当業者によって理解されるようにさまざまなやり方のソフトウェア、ファームウェアおよび/またはハードウェアにおいて実施さてよいことを、理解すべきである。

Claims (22)

  1. 固体培養培地上の微生物増殖を分析する方法であって、
    前記固体培養培地および任意の微生物増殖の画像データを取得するステップ、
    前記画像データの複数の画素のために、1つ以上のフィルタを前記画像データに適用することによって得られる値の関連する特徴ベクトルを生成するステップ、
    前記関連する特徴ベクトルに基づいて前記複数の画素における各画素を分類するために分類子を使用するステップ、
    前記固体培養培地および任意の微生物増殖の微生物学的評価を引き出すために前記画素の各々の画素分類の結果を分析するステップ、および、
    前記微生物学的評価を出力するステップ、
    を含む方法。
  2. 前記画素分類の結果に基づいて前記微生物増殖の1つ以上のコロニーを列挙するステップをさらに含む、請求項1に記載の方法。
  3. 前記微生物増殖の予測されるコロニーを示す一連の領域を決定するために、接続コンポーネント・アルゴリズムを用いて前記画素分類の結果を分析するステップをさらに含む、請求項2に記載の方法。
  4. 前記領域の各々のサイズおよび/または形状に基づいて前記一連の領域から前記微生物増殖の前記1つ以上のコロニーを列挙するステップをさらに含む、請求項3に記載の方法。
  5. 前記分類子は、前記画素を3つ以上のクラスに分類するためのマルチクラス分類子である、請求項1〜4のいずれか1項に記載の方法。
  6. 前記分類子は、ブースト分類子である、請求項1〜4のいずれか1項に記載の方法。
  7. 前記ブースト分類子は、ブースト決定木分類子である、請求項6に記載の方法。
  8. 前記複数の画素における各画素を分類するために前記分類子を使用するステップは、
    第1の複数のクラスのうちの1つとして各画素を最初に分類するために第1の分類子を使用するステップ、および、
    第2の複数のクラスのうちの1つとして前記第1の複数のクラスのうちの1つ以上の各画素を分類するために第2の分類子をその後使用するステップ、
    を含む、請求項1〜7のいずれか1項に記載の方法。
  9. 前記第1の分類子は、各画素を背景または非背景として最初に分類するバイナリ・カスケード分類子であり、前記第2の分類子は、前記第2の複数のクラスのうちの1つとして各非背景画素を分類するマルチクラス・ブースト決定木分類子である、請求項8に記載の方法。
  10. 前記画素分類の各々に信頼値を割り当てるステップをさらに含む、請求項1〜9のいずれか1項に記載の方法。
  11. 前記画素分類の前記結果を改善するためにポスト処理アルゴリズムを適用するステップをさらに含む、請求項1〜10のいずれか1項に記載の方法。
  12. 前記ポスト処理アルゴリズムは、グラフカット・アルゴリズムである、請求項11に記載の方法。
  13. 各ノードが前記画像データにおける前記複数の画素のうちの1つに対応する複数のノード、および、各ラベルがクラスに対応する複数のラベルを有するグラフを作成するステップ、
    前記画像データにおける近傍の画素に対応するノード間にエッジを追加するステップ、
    各ノードと各ラベルとの間にエッジを追加するステップ、および、
    ノードへのエッジをカットして、グラフをクラスに区切るために前記グラフカット・アルゴリズムを用いるステップであって、前記グラフカット・アルゴリズムは、そのノードおよび近傍の画素に対応する前記画素のための前記画素分類の結果に基づく、ステップ、
    をさらに含む、請求項12に記載の方法。
  14. 請求項10に依存しているとき、前記グラフカット・アルゴリズムは、そのノードに対応する前記画素のための前記画素分類の前記信頼値にさらに基づく、請求項13に記載の方法。
  15. 前記グラフカット・アルゴリズムは、近傍の画素のための前記画素分類の前記信頼値にさらに基づく、請求項14に記載の方法。
  16. 前記評価は、陰性対照として前記固体培養培地の識別を含む、請求項1〜15のいずれか1項に記載の方法。
  17. 前記画素分類の前記結果を分析して、前記評価を引き出すために臨床的ルールを使用するステップをさらに含む、請求項1〜16のいずれか1項に記載の方法。
  18. 固体培養培地上の微生物増殖を分析するのに用いる分類子をトレーニングする方法であって、
    前記固体培養培地上の微生物増殖の複数のサンプルのための画像データを取得するステップ、
    前記画像データにおける複数の画素の各々のために、前記画像データに1つ以上のフィルタを適用することによって得られる値の関連する特徴ベクトルを生成するステップ、および、
    前記画像データの前記画素と関連するラベルにしたがって前記複数の画素における各画素を分類するために分類子をトレーニングするために前記関連する特徴ベクトルを使用するステップ、
    を含む方法。
  19. 前記複数の画素は、前記画像データからまばらにサンプルをとられる、請求項18に記載の方法。
  20. プロセッサおよびソフトウェアを格納するためのメモリを含むコンピュータとともに用いるソフトウェアであって、前記ソフトウェアは、請求項1〜19のいずれか1項に記載の方法を実施するために前記プロセッサによって実行可能な一連の命令を含む、ソフトウェア。
  21. 請求項20に記載のソフトウェアを含むコンピュータ可読媒体。
  22. プロセッサ、
    メモリ、および、
    前記メモリに常駐し、前記プロセッサにアクセス可能なソフトウェアであって、前記ソフトウェアは、請求項1〜19のいずれか1項に記載の方法を実施するために前記プロセッサによって実行可能な一連の命令を含む、ソフトウェア、
    を含む装置。
JP2013555707A 2011-03-04 2012-03-02 明細書微生物増殖を分析する方法およびソフトウェア Active JP5997185B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2011900786A AU2011900786A0 (en) 2011-03-04 Method and software for analysing microbial growth
AU2011900786 2011-03-04
PCT/AU2012/000211 WO2012119191A1 (en) 2011-03-04 2012-03-02 Method and software for analysing microbial growth

Publications (2)

Publication Number Publication Date
JP2014515128A true JP2014515128A (ja) 2014-06-26
JP5997185B2 JP5997185B2 (ja) 2016-09-28

Family

ID=46797325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013555707A Active JP5997185B2 (ja) 2011-03-04 2012-03-02 明細書微生物増殖を分析する方法およびソフトウェア

Country Status (8)

Country Link
US (1) US9292729B2 (ja)
EP (1) EP2681715B1 (ja)
JP (1) JP5997185B2 (ja)
KR (1) KR101989202B1 (ja)
CN (1) CN103518224B (ja)
AU (1) AU2012225196B2 (ja)
ES (1) ES2928897T3 (ja)
WO (1) WO2012119191A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211718A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 画像処理装置および画像処理方法
JP2018511847A (ja) * 2015-01-31 2018-04-26 ベンタナ メディカル システムズ, インコーポレイテッド スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法
JP2020042756A (ja) * 2018-09-06 2020-03-19 アクセンチュア グローバル ソリューションズ リミテッド 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理
WO2020079933A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP2020064604A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置、情報処理方法及びプログラム
JPWO2020021604A1 (ja) * 2018-07-23 2021-08-02 株式会社島津製作所 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292927B2 (en) * 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
US9549161B2 (en) * 2013-07-08 2017-01-17 Samsung Display Co., Ltd. Image and video in mosaic formats
US10200625B2 (en) 2014-01-30 2019-02-05 Bd Kiestra B.V. System and method for image acquisition using supervised high quality imaging
CN106164242B (zh) * 2014-02-04 2019-07-12 分子装置有限公司 用于识别和挑取光谱不同的菌落的系统
CN103871031A (zh) * 2014-03-07 2014-06-18 西安电子科技大学 基于核回归的sar图像相干斑抑制
CN105095901B (zh) * 2014-04-30 2019-04-12 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
EP3172683A4 (en) * 2014-07-25 2018-01-10 Samsung Electronics Co., Ltd. Method for retrieving image and electronic device thereof
FR3026745B1 (fr) * 2014-10-06 2018-03-02 Fondation Mediterranee Infection Methode d'analyse et interpretation automatisee d'un antibiogramme
US10696938B2 (en) * 2015-04-23 2020-06-30 Bd Kiestra B. V. Method and system for automated microbial colony counting from streaked sample on plated media
CN113667584A (zh) * 2015-04-23 2021-11-19 Bd科斯特公司 菌落对比度收集
EP3147893B1 (en) * 2015-09-24 2021-06-09 Dolby Laboratories Licensing Corporation Light field simulation techniques for dual modulation
CN106097231A (zh) * 2016-08-15 2016-11-09 黄星 一种用于洁净区域的微生物监测统计管理方法
US10585121B2 (en) * 2016-09-12 2020-03-10 Tektronix, Inc. Recommending measurements based on detected waveform type
CA3042681A1 (en) * 2016-11-04 2018-05-11 Becton, Dickinson And Company System and method for selecting colonies
US11057542B2 (en) 2017-04-26 2021-07-06 Hewlett-Packard Development Company, L.P. Color calibration
US11727699B2 (en) * 2017-10-05 2023-08-15 Becton, Dickinson And Company Application development environment for biological sample assessment processing
CN107833187A (zh) * 2017-10-27 2018-03-23 中国农业大学 一种基于孢子计数的设施蔬菜病害预警方法及系统
WO2019152424A1 (en) * 2018-01-31 2019-08-08 Monsanto Technology Llc Systems and methods for quantitative phenotype analysis
CN112689841A (zh) * 2018-09-07 2021-04-20 韦务拓客公司 微生物信息提供装置及方法
CN112997200B (zh) * 2018-09-28 2024-02-02 陶氏环球技术有限责任公司 用于编码分类的混合机器学习模型
KR102140385B1 (ko) * 2018-12-31 2020-07-31 (주)유아이엠디 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템
WO2020177943A1 (en) * 2019-03-01 2020-09-10 Agricam Aktiebolag Method, device and system for detection of micro organisms
WO2020261555A1 (ja) * 2019-06-28 2020-12-30 オリンパス株式会社 画像生成システムおよび画像生成方法
EP3848472A3 (en) * 2020-01-13 2021-12-15 Airamatrix Private Limited Methods and systems for automated counting and classifying microorganisms
US20230351602A1 (en) * 2020-08-17 2023-11-02 Thrive Bioscience, Inc. Cell segmentation image processing methods
CN112651305B (zh) * 2020-12-10 2022-08-30 哈尔滨师范大学 一种微生物种类的鉴别方法
EP4341373A2 (en) * 2021-05-20 2024-03-27 Clara Foods Co. Systems for end-to-end optimization of precision fermentation-produced animal proteins in food applications
WO2024091807A1 (en) * 2022-10-24 2024-05-02 Charles River Laboratories, Inc. Automated enumeration system
CN117253555A (zh) * 2023-11-17 2023-12-19 山东阜丰发酵有限公司 一种改进黄原胶发酵工艺的方法及其运行系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307358A (ja) * 2006-04-17 2007-11-29 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2009116401A (ja) * 2007-11-01 2009-05-28 Canon Inc 画像処理装置および画像処理方法
US20100022408A1 (en) * 2007-09-14 2010-01-28 Prometheus Laboratories Inc. Addressable antibody arrays and methods of use
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690817B1 (en) * 1993-08-18 2004-02-10 Applied Spectral Imaging Ltd. Spectral bio-imaging data for cell classification using internal reference
US20040253660A1 (en) 2003-06-12 2004-12-16 Giles Scientific, Inc. Automated microbiological testing apparatus and method
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
EP2237189B1 (en) * 2005-01-27 2018-08-01 Cambridge Research & Instrumentation, Inc. Classifying image features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307358A (ja) * 2006-04-17 2007-11-29 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20100022408A1 (en) * 2007-09-14 2010-01-28 Prometheus Laboratories Inc. Addressable antibody arrays and methods of use
JP2009116401A (ja) * 2007-11-01 2009-05-28 Canon Inc 画像処理装置および画像処理方法
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015047350; CHEN, Wei-Bang et al.: 'An automated bacterial colony counting and classification system' Information Systems Frontiers vol. 11, no. 4, 20090218, pp.349-368 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211718A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 画像処理装置および画像処理方法
JP2018511847A (ja) * 2015-01-31 2018-04-26 ベンタナ メディカル システムズ, インコーポレイテッド スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法
JPWO2020021604A1 (ja) * 2018-07-23 2021-08-02 株式会社島津製作所 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
JP7250795B2 (ja) 2018-07-23 2023-04-03 株式会社島津製作所 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
JP2020042756A (ja) * 2018-09-06 2020-03-19 アクセンチュア グローバル ソリューションズ リミテッド 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理
US11373287B2 (en) 2018-09-06 2022-06-28 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
WO2020079933A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP2020064604A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置、情報処理方法及びプログラム
CN111417960A (zh) * 2018-10-18 2020-07-14 松下电器(美国)知识产权公司 信息处理装置、信息处理方法及程序
JP7311310B2 (ja) 2018-10-18 2023-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP5997185B2 (ja) 2016-09-28
EP2681715A4 (en) 2014-10-08
US9292729B2 (en) 2016-03-22
EP2681715A1 (en) 2014-01-08
CN103518224A (zh) 2014-01-15
KR101989202B1 (ko) 2019-07-05
KR20140045923A (ko) 2014-04-17
AU2012225196B2 (en) 2015-05-14
EP2681715B1 (en) 2022-07-13
US20140219538A1 (en) 2014-08-07
WO2012119191A1 (en) 2012-09-13
AU2012225196A1 (en) 2013-03-21
ES2928897T3 (es) 2022-11-23
CN103518224B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
JP5997185B2 (ja) 明細書微生物増殖を分析する方法およびソフトウェア
AU2021202750B2 (en) Method and system for automatically counting microbial colonies
US11669971B2 (en) Colony contrast gathering
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
Kaur et al. A novel methodology for automatic bacterial colony counter
CN117831031A (zh) 一种血小板微管结构识别方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160825

R150 Certificate of patent or registration of utility model

Ref document number: 5997185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250