JP2016123407A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP2016123407A
JP2016123407A JP2015135336A JP2015135336A JP2016123407A JP 2016123407 A JP2016123407 A JP 2016123407A JP 2015135336 A JP2015135336 A JP 2015135336A JP 2015135336 A JP2015135336 A JP 2015135336A JP 2016123407 A JP2016123407 A JP 2016123407A
Authority
JP
Japan
Prior art keywords
image processing
region
petri dish
image
colony
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015135336A
Other languages
English (en)
Inventor
遠藤 進
Susumu Endo
進 遠藤
正樹 石原
Masaki Ishihara
正樹 石原
昌彦 杉村
Masahiko Sugimura
昌彦 杉村
馬場 孝之
Takayuki Baba
孝之 馬場
上原 祐介
Yusuke Uehara
祐介 上原
あきら 宮崎
Akira Miyazaki
あきら 宮崎
内藤 宏久
Hirohisa Naito
宏久 内藤
武部 浩明
Hiroaki Takebe
浩明 武部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to EP16174739.9A priority Critical patent/EP3115929A1/en
Priority to CN201610496447.1A priority patent/CN106337019A/zh
Priority to US15/198,812 priority patent/US9996937B2/en
Publication of JP2016123407A publication Critical patent/JP2016123407A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06Quantitative determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Microbiology (AREA)
  • Analytical Chemistry (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Biochemistry (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Immunology (AREA)
  • Sustainable Development (AREA)
  • Toxicology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)

Abstract

【課題】 コロニーを検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】 画像処理装置は、画像センサが取得した画像において弧状領域を抽出する抽出部と、前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する検出部と、を備える。【選択図】 図4

Description

本件は、画像処理装置、画像処理方法および画像処理プログラムに関する。
菌は小さくて直接見ることが困難であるため、菌を培養することによってコロニーを生成することが行われている。例えば、培地上の菌のコロニーの数を、画像から自動的にカウントする技術が開示されている(例えば、特許文献1参照)。
特開2014−39519号公報
しかしながら、上記技術では、シャーレの影などの影響により、コロニーを検出できないおそれがある。
本件は上記課題に鑑みなされたものであり、コロニーを検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
1つの態様では、画像処理装置は、画像センサが取得した画像において弧状領域を抽出する抽出部と、前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する検出部と、を備える。
コロニーを検出することができる。
(a)および(b)はコロニーを説明するための図である。 (a)はグレースケール化した画像の例であり、(b)は二値化画像であり、(c)はシャーレ内を切り出した二値化画像の例である。 (a)は撮影装置を例示する図であり、(b)はシャーレを上から見た図である。 (a)は実施例1に係る画像処理装置のハードウェア構成を説明するためのブロック図であり、(b)は画像処理プログラムの実行によって実現される各機能のブロック図である。 画像処理装置によって実行されるフローチャートの一例を説明するための図である。 (a)はステップS1およびステップS2の詳細を例示するフローチャートであり、(b)は各画素の輝度値の例を表す図であり、(c)は二値化後の輝度値を表す図であり、(d)はラベリングの結果である。 解析領域抽出部がシャーレ縁の反射領域を抽出する際に実行するフローチャートの一例である。 (a)はシャーレ縁の反射領域を例示する図であり、(b)は変換後の反射領域を例示する図である。 (a)はシャーレの形にゆがみが無い場合の反射を例示する図であり、(b)はシャーレの形にゆがみが有る場合の反射を例示する図であり、(c)は培地にムラが無い場合の反射を例示する図であり、(d)は培地にムラが有る場合の反射を例示する図である。 (a)はシャーレ縁の反射領域として抽出された連結成分を例示する図であり、(b)は分離されたはみ出し部分であり、(c)は検出されたコロニー候補である。 (a)はコロニー候補が重畳したシャーレ縁の反射領域を例示する図であり、(b)は両側へのはみ出し部分の検出を例示する図であり、(c)ははみ出し部分が円状をなすか否かを判定する図である。 実施例2において候補検出部が実行するフローチャートの一例である。 (a)〜(g)はピークの傾きを求める例である。 はみ出しの基準線を例示する図である。 (a)〜(c)は円形を判定する図である。 (a)はコロニー候補検出前の二値化画像であり、(b)はコロニー検出後の二値化画像である。 (a)および(b)はコロニーが2つの反射領域にまたがる場合を例示する図である。 シャーレの内側に複数の反射領域が現れた場合の二値化画像の例である。 解析領域抽出部がステップS21〜S23の代わりに実行するフローチャートの一例である。 ステップS52の詳細を表すフローチャートである。 (a)および(b)は角度θ=20度における開始半径および終了半径を例示する図である。 ステップS53の詳細を表すフローチャートである。 (a)はステップS72〜ステップS75の繰り返しにより得られた領域を例示し、(b)は(a)の結果について求めたアスペクト比である。 ステップS56の詳細を表すフローチャートである。
実施例の説明に先立って、菌の検査の概略について説明する。飲食店や食料品メーカーでは、菌数の検査が行われている。菌は小さくて直接見ることができないため、図1(a)で例示するように、例えば、検査対象の食品を希釈したうえで培地上に塗り、数日間培養を行う。その結果、図1(b)で例示するように、菌が増殖して目に見える大きさのコロニーが生成される。このコロニーをカウントすることによって、菌数の検査を行うことができる。しかしながら、コロニーを目視でカウントする方法は非効率である。そこで、より簡易にコロニーをカウントする技術が望まれる。
例えば、装置を用いてコロニーを自動で検出する方法が挙げられる。培養後の菌の画像を取得し、コロニーの個数を求めるという手法である。例えば、コロニーの輝度の範囲を人手で指定し、当該輝度の画素が占める領域を菌として自動的に抽出技術が挙げられる。
図2(a)は、グレースケール化した画像の例である。この画像に対し、あらかじめ人手で指定したしきい値よりも明るい領域を二値化によって抽出すると、図2(b)のような二値化画像が得られる。図2(b)で例示するように、コロニー部分は白で表される。しかしながら、単純な二値化では、シャーレの部分も白で表されることになる。そこで、シャーレの位置を人手で指定し、その内側を解析範囲とすればよい。例えば、カメラと撮影対象のシャーレとの相対位置を固定して撮影することで、画像中のシャーレの位置が決まるため、当該位置を解析に使用することが考えられる。
図2(c)は、シャーレ内を切り出すことで得られた二値化画像の例である。この図2(c)で、例えばラベリング手法により白い画素がつながっている領域を求め、当該領域をカウントすれば、コロニーの数が得られる。ただし、得られる画像のコントラストが十分でないと、コロニーの未検出や誤検出が発生する場合がある。そこで、コントラストを向上させるため、光源の光強度を大きくすることが考えられる。
図3(a)は、撮影装置を例示する図である。図3(a)で例示するように、撮影装置は、光源201でシャーレ202に光を当てつつ、シャーレ202をカメラ203で撮影する。しかしながら、シャーレ202に対して斜めに入射する光は、シャーレ202の縁で反射する。したがって、光源201の光強度が大きいと、カメラ203の撮影画像に、シャーレ202の縁で反射した光に起因する反射領域204が写り込む場合がある。例えば、図3(a)で例示するように、シャーレ202の実際の縁の内側に、同心円状に反射領域204が写り込む場合がある。図3(b)は、シャーレ202を上から見た図である。
このように、シャーレ202の縁の反射がコロニーと重畳するなどして、コロニーが検出できないおそれがある。以下の実施例では、コロニーを検出することができる画像処理装置、画像処理方法および画像処理プログラムについて説明する。
図4(a)は、実施例1に係る画像処理装置100のハードウェア構成を説明するためのブロック図である。図4(a)で例示するように、画像処理装置100は、CPU101、RAM102、記憶装置103、表示装置104、画像センサ105、光源106等を備える。
CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置103は、画像処理プログラムなどを記憶している。
表示装置104は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、画像センサ105が取得した画像、コロニーのカウントの結果などを表示する。画像センサ105は、培養された菌の画像を取得できるものであれば特に限定されるものではなく、一例としてCMOS(Complementary Metal Oxide Semiconductor)カメラなどである。光源106は、培養された菌に対して光を照射する装置である。光源106と画像センサ105とシャーレとの配置関係は、図3(a)と同様である。
なお、画像センサ105は、一例として、シャーレ上で卵黄加マンニット食塩寒天培地等の培地で培養処理を行った後の画像を取得する。シャーレの位置は、予め決められているものとする。例えば、撮影中の画像に解析範囲の円形を重畳表示して、人がおおざっぱな位置合わせを行う方法等がある。また、画像を解析して、ハフ変換などの既存手法を用いてシャーレの円形を抽出する方法等も考えられる。
記憶装置103に記憶されている画像処理プログラムは、実行可能にRAM102に展開される。CPU101は、RAM102に展開された画像処理プログラムを実行する。それにより、画像処理装置100による画像処理が実行される。図4(b)は、画像処理プログラムの実行によって実現される各機能のブロック図である。画像処理プログラムの実行によって、画像処理装置100には、二値化部10、解析領域抽出部20、候補検出部30、およびカウント部40が実現される。
二値化部10は、画像センサ105が取得した画像において輝度に応じて領域を分類する。本実施例においては、二値化部10は、画像を二値化することで、二値化画像を取得する。解析領域抽出部20は、二値化部10によって分類された各領域において、弧状領域を抽出する抽出部の一例として機能する。本実施例においては、解析領域抽出部20は、円形(弧状)として現れるシャーレ縁の反射領域を弧状領域として抽出する。候補検出部30は、解析領域抽出部20が抽出した弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する検出部の一例として機能する。カウント部40は、候補検出部30が検出する候補がコロニーであるか判定し、コロニーをカウントする。
続いて、画像処理装置100の動作の詳細について説明する。図5は、画像処理装置100によって実行されるフローチャートの一例を説明するための図である。図5で例示するように、二値化部10は、画像センサ105が取得した画像に対して二値化を行うことで、二値化画像を取得する(ステップS1)。次に、二値化部10は、二値化画像において、連結成分を抽出する(ステップS2)。連結成分については後述する。
次に、解析領域抽出部20は、未処理の連結成分の1つを選択する(ステップS3)。次に、解析領域抽出部20は、ステップS3で選択した連結成分がシャーレ縁の反射領域であるか否かを判定する(ステップS4)。ステップS4で「No」と判定された場合、候補検出部30は、当該連結成分をコロニー候補として検出する(ステップS5)。ステップS4で「Yes」と判定された場合、解析領域抽出部20は、当該連結成分をシャーレ縁の反射領域として抽出し、候補検出部30は当該反射領域からコロニー候補を検出する(ステップS6)。
ステップS5またはステップS6の実行後、候補検出部30は、全ての連結成分についてステップS5またはステップS6の処理が実行されたか否かを判定する(ステップS7)。ステップS7で「No」と判定された場合、ステップS3から再度実行される。ステップS7で「Yes」と判定された場合、カウント部40は、コロニー候補のうちコロニーと判定される候補をカウントし、カウント結果を出力する(ステップS8)。例えば、カウント部40は、候補検出部30が検出した候補の全てをカウントしてもよい。または、カウント部40は、所定条件を満たすものだけをカウントしてもよい。例えば、カウント部40は、コロニーが円形になることを前提として、円形度(=面積/周囲長)がしきい値以上となるコロニー候補をカウントしてもよい。以上の処理の実行によって、コロニーをカウントすることができる。
図6(a)は、ステップS1およびステップS2の詳細を例示するフローチャートである。正確にシャーレを画像センサ105の中心に置けば、画像センサ105が取得する画像においてシャーレの位置が固定される。それにより、シャーレの位置を予め決めておくことができる。そこで、図6(a)で例示するように、二値化部10は、画像センサ105が取得した画像において、予め決められているシャーレの位置からシャーレの外周を特定し、縁を除去する(ステップS11)。例えば、二値化部10は、シャーレの外周よりも外側全てを除去してもよい。
なお、シャーレを置く位置が微妙にずれる場合があるため、シャーレの縁の位置を検出する手法を用いてもよい。例えば、ハフ変換などを用いてシャーレの円形を抽出する方法も考えられる。また、シャーレの周りにエッジとなるようなものがないことが前提として、シャーレ枠抽出部がエッジ抽出を行い、すべてのピクセルを包含する円を求めることで、シャーレの外周の位置とその中心を推定する方法が考えられる。エッジ抽出手法としては、CannyエッジやSobelフィルタ、Laplacianフィルタなどの既存の画像処理手法を用いることができる。
次に、二値化部10は、シャーレが除去された画像に対して二値化を行う(ステップS12)。図6(b)は、各画素の輝度値の例を表す図である。座標位置(x,y)の画素の輝度をp(x,y)とする。二値化部10は、あらかじめ指定したしきい値(たとえば100)を指定して、p(x,y)がしきい値以上の場合はp(x,y)を255に書き換え、しきい値未満の場合はp(x,y)を0に書き換える。ここでは便宜的に255と0を使用しているが、この値はそれぞれ異なる値であればどの値でも問題ない。図6(c)は、二値化後の輝度値を表す図である。
次に、二値化部10は、二値化画像において、ラベリング処理を行う(ステップS13)。ラベリング処理とは、図6(d)で例示するように、輝度値が255の画素について、互いに隣接する画素に同じ番号を付して連結し、隣接しない画素には異なる番号を付す処理である。同じラベル番号が割り振れられたひとまとまりの領域を、連結成分と称する。ラベル番号は各画素に割り振られるため、ラベル番号L(x,y)は以下のようになる。ここではラベル番号が0より大きく、連結成分以外を0にしているが、この値は別の値でも問題ない。
p(x,y)=255の場合、L(x,y)=ラベル番号>0
p(x,y)=0の場合、L(x,y)=0
図7〜図8(b)は、ステップS4の詳細を例示する図である。図7は、解析領域抽出部20がシャーレ縁の反射領域を抽出する際に実行するフローチャートの一例である。図7で例示するように、解析領域抽出部20は、各連結成分に対して、極座標変換を行う(ステップS21)。極座標変換とは、それぞれの画素を、中心からの距離の座標軸rおよび角度の座標軸θに投影する手法である。中心として、シャーレの中心を用いてもよい。
例えば、直交座標(x,y)から極座標(r,θ)への変換は、下記式(1)および下記式(2)で行うことができる。ここで、シャーレの中心の座標を(C,C)とする。角度θについては、tan−1の値の範囲が−π〜+πであることを前提に、0〜360になるように正規化している。後述する角度の間隔を1度以外にする場合は式中の180の値を変更しても問題ない。
Figure 2016123407
Figure 2016123407
なお、シャーレの範囲が、左上座標(Sx1,Sy1)と右上座標(Sx2,Sy2)とで表される場合、上記中心座標のCは、C=(Sx1+Sx2)/2で表され、Cは、C=(Sy1+Sy2)/2で表される。
この手法により、各連結成分を直線成分に変換することができる。なお、図8(a)のシャーレ縁の反射領域は、図8(b)で例示するような細長い直線成分に変換される。円形のシャーレを用いれば、シャーレ縁の反射領域は円形状を有している。なお、シャーレ縁の反射領域が現れる確率が高い領域が予め把握できている場合には、その付近の領域のみの連結成分に対して極座標変換を行ってもよい。
次に、解析領域抽出部20は、各連結成分における半径rおよび角度θの最大値および最小値を求めることで、幅および長さを抽出する(ステップS22)。例えば、解析領域抽出部20は、極座標変換時にその座標について、ラベル番号L(x,y)を参照し、この値が0より大きい場合、その画素のr,θについて、最小値および最大値を求める。
角度θについては、単純に最大値と最小値を求めると、循環している場合に問題が発生する。たとえば、角度が350度〜5度に広がっている場合、最小値5、最大値350にしてしまうと意味が異なってしまう。そのため、解析領域抽出部20は、角度毎の画素の有無を求め、その表を基に、角度の最大値および最小値を求める。
解析領域抽出部20は、画素の有無について単純にフラグのみ保持してもよいが、本実施例では、後の処理のために角度毎の画素の半径の最小値および最大値を求める。具体的には、解析領域抽出部20は、あらかじめ作成された角度の表を用いて、初期値(ここでは−1)で初期化しておく。表1では1度間隔で表が作成されているが、間隔は1度でなくても問題ない。次に、解析領域抽出部20は、極座標変換で画素の座標を変換した際に、その角度を求める。初期値のままとなる場合は、解析領域抽出部20は、最小半径および最大半径を変換した画素の半径の値に書き換える。初期値から変更される場合は、解析領域抽出部20は、画素の半径の値が範囲を外れていたら、最小半径および最大半径を書き換える。解析領域抽出部20は、これを連結成分内のすべての画素について行う。
Figure 2016123407
解析領域抽出部20は、表1において、初期値から初期値以外の値に変わった角度(表1では3度)と初期値以外から初期値に変わる直前の角度(表1では5度)を求める。解析領域抽出部20は、これらをもとに長さを求める。たとえば、解析領域抽出部20は、開始角度sと終了角度eとを用いて以下のように長さを求める。なお、maxは、1度間隔で表を作成した場合、360/1で360となる。
e>sの場合、長さL=e−s+1
それ以外の場合、長さL=s+1+max−e
次に、解析領域抽出部20は、シャーレ縁の反射領域を抽出する(ステップS23)。具体的には、解析領域抽出部20は、各連結成分のアスペクト比を算出する。アスペクト比とは、長手方向の長さが当該方向に直行する方向の幅に対してなす比(長さ/幅)のことである。本実施例においては、解析領域抽出部20は、アスペクト比がしきい値を上回る成分をシャーレ縁の反射領域として抽出する。
次に、ステップS6の詳細について説明する。候補検出部30は、シャーレ縁の反射領域からコロニーの候補を検出する。まず、シャーレ縁の反射領域からはみ出した領域をコロニーの候補として検出する手法が考えられる。しかしながら、シャーレ縁の反射領域自体が揺らぎによりはみ出す場合がある。すなわち、シャーレ縁の反射領域の幅が部分的に広くなる場合がある。
光源106からの照射光にばらつきが有る場合、反射に濃淡が生じる場合がある。光源106としてLEDなどの発光素子を所定間隔で並べたものを使用すると、発光素子に近い部分は明るく、発光素子から遠い部分は暗くなる。反射領域が濃くなると、幅が広がる。反射領域が薄くなると、幅が狭くなる。このように、反射領域の濃淡に応じて反射領域の幅にばらつきが生じる。
または、シャーレの形のゆがみなどに起因して、シャーレ縁の反射領域の幅にばらつきが生じる場合がある。図9(a)は、シャーレの形にゆがみが無い場合の反射を例示する図である。図9(b)は、シャーレの形(例えば側壁)にゆがみが有る場合の反射を例示する図である。図9(a)および図9(b)で例示するように、シャーレの形にゆがみが有ると、反射が見える位置や形にズレが生じ、幅にバラツキが生じることになる。
または、培地のムラ(傾斜など)などに起因して、シャーレ縁の反射領域の幅にばらつきが生じる場合がある。図9(c)は、培地にムラが無い場合の反射を例示する図である。図9(d)は、培地にムラが有る場合の反射を例示する図である。図9(c)および図9(d)で例示するように、培地にムラが有ると、反射が見える位置や形にズレが生じ、幅にバラツキが生じることになる。
シャーレ縁の反射領域の幅にバラツキが生じたとしても、シャーレ縁の反射領域は、元々はシャーレとほぼ同じ大きさであるため、はみ出す場合の弧長が大きくなる。一方、コロニーはシャーレと比較して小さい円形であるため、弧長に対するはみ出しの量の比が大きくなる。そこで、本実施例においては、シャーレ縁の反射領域自体の揺らぎとコロニー候補とを区別するための第1基準を用いることによってシャーレ縁の反射領域の揺らぎとコロニー候補とを区別する。
図10(a)は、シャーレ縁の反射領域として抽出された連結成分を例示する。図10(a)において、円形の外側の太線は、外側の輪郭を表す。候補検出部30は、あらかじめ設定された関数(円関数や楕円関数など)を用いて、当該外側の輪郭形状を表す近似式を求める。図10(b)において、太線は、近似式の軌跡を表す。候補検出部30は、近似式が表す図形(円や楕円などの弧状部分)より外側にはみ出した画素の集合(はみ出し部分)を分離する。候補検出部30は、このはみ出し部分において、シャーレ縁の反射領域が延びる方向(長手方向)におけるはみ出し部分の長さ(弧長)に対するはみ出し量(ピクセル数)の比がしきい値を上回った場合に、当該領域をコロニー候補として検出する。図10(c)は、検出されたコロニー候補である。なお、弧長が大きいと、シャーレ縁の反射領域の揺らぎとして除外される。また、候補検出部30は、内側の輪郭形状を表す近似式を求め、当該近似式が表す図形よりも内側にはみ出した画素の集合を分離し、同様の判定を行ってもよい。
本実施例によれば、長手方向の長さが幅に対してなす比がしきい値を超える連結成分を弧状領域として抽出することで、シャーレ縁の反射領域などの細長い領域を抽出することができる。また、当該弧状領域において、長手方向におけるはみ出し部分の長さに対するはみ出し部分のはみ出し量の比がしきい値を超える場合に、当該はみ出し部分がコロニーの候補として検出される。したがって、シャーレ縁の反射領域がコロニーに重畳しても、精度良くコロニーを検出することができる。
実施例2では、ステップS6の他の例について説明する。画像処理装置100が備える機器は、実施例1と同様である。実施例2では、解析領域抽出部20が抽出したシャーレ縁の反射領域のはみ出し部分が長手方向を挟んで両側にはみ出しかつ当該はみ出し部分が形状に関する第2基準を満たす場合に、当該はみ出し部分をコロニー候補として検出する。本実施例では、解析領域抽出部20が抽出したシャーレ縁の反射領域のはみ出し部分が長手方向を挟んで両側にはみ出しかつ当該はみ出し部分の形状が第2基準を満たすことが第1基準を満たすことに相当する。
まず、実施例2の概略について説明する。図11(a)は、コロニー候補が重畳したシャーレ縁の反射領域を例示する図である。候補検出部30は、長手方向の各位置において、幅を取得する。次に、候補検出部30は、周囲と比較して幅が大きい領域を抽出する。それにより、図11(b)で例示するように、シャーレ縁の反射領域の内外にはみ出すはみ出し部分が検出される。次に、候補検出部30は、図11(c)で例示するように、はみ出し部分が円状をなすか否かを判定する。円状をなすと判定された場合、候補検出部30は、当該はみ出し部分を1つの円としてシャーレ縁の反射領域から分離する。実施例2によれば、シャーレ縁の反射領域からのはみ出し量が実施例1で設定されたしきい値よりも小さい場合などであっても、コロニー候補として検出することができる。
続いて、実施例2の詳細について説明する。図12は、実施例2において候補検出部30が実行するフローチャートの一例である。図12で例示するように、候補検出部30は、コロニー候補の幅のグラフを作成する(ステップS31)。まず、候補検出部30は、図13(a)で例示するシャーレ縁の反射領域に対して極座標変換を行うことによって、図13(b)の結果を得る。次に、候補検出部30は、角度軸1度ごとの幅のグラフを作成する。図13(c)は、作成された幅のグラフを例示する。候補検出部30は、各幅の角度毎の最大半径および最小半径を求め、最大半径から最小半径を引くことで容易に幅のグラフを作成することができる。表2では、はみ出し部分が無い領域について、幅が0となっている。
Figure 2016123407
次に、候補検出部30は、図13(d)で例示するように、ステップS31で作成されたグラフからピークを抽出する(ステップS32)。なお、候補検出部30は、角度軸におけるピークの角度値を併せて記録する。表3は、その結果の例を表す。候補検出部30は、特定の角度aにおける幅をL(a)とした場合、L(a)>L(a−1)かつL(a)>L(a+1)の条件を満たす場合をピークとする。なお、L(a)については0未満と360以上は循環しているものとする。たとえば、L(−1)=L(359)、L(360)=L(0)、L(−5)=L(355)となる。間隔が1度単位でない場合は、上の式はそれに応じて置き換わる。ピークにはコロニー候補以外にもシャーレ縁の反射領域の揺らぎなども含まれるが、これらのピークは以降のステップで除外する。
Figure 2016123407
次に、候補検出部30は、ステップS32で抽出されたピークのうち未選択のピークを1つ選択する(ステップS33)。次に、候補検出部30は、選択したピークの根元を取得し、ピークの情報と関連付けて記録する(ステップS34)。例えば、特定の角度aにおける幅をL(a)とし、ピークの根元を求める対象のピークの角度をpとし、探索を行う角度の幅をwとする。wはあらかじめ指定した固定値でもよく、幅L(p)に固定値の倍数をかけたものでもよい。候補検出部30は、図13(e)で例示するように、ピーク近傍のグラフ上の点とピークとのなす角度を求め、最大値のグラフ上の点をピークの根元として取得する。具体的には、候補検出部30は、下記式(3)および下記式(4)を用いてピークの傾きを求める。また、候補検出部30は、これらのピークの傾きが発生した地点(はみ出しの開始点)のxの値をピークの根元とする。「low」はピークの低角度側の根元を意味し、「high」はピークの高角度側の根元を意味する。plowはAplowの場合のxであり、phighはAphighの場合のxである。また、表4は、候補検出部30によって記録されるテーブル例である。
Figure 2016123407
Figure 2016123407
Figure 2016123407
次に、候補検出部30は、ピークの根元とピークとのなす角度がしきい値以下であるか否かを判定する(ステップS35)。例えば、候補検出部30は、AplowおよびAphighについて、いずれか一方または両方についてしきい値以下である場合に、当該ピークはコロニー候補ではないと判断してもよい。図13(f)で例示するように、コロニー以外の場合は、幅の変化が小さいため、いずれかの傾きがしきい値より小さくなる。ステップS35で「Yes」と判定された場合、候補検出部30は、当該ピークを削除する(ステップS36)。図13(g)は、コロニー候補以外のピークが削除されたグラフを例示する。
ステップS35で「No」と判定された場合、候補検出部30は、当該ピークの根元同士をつなぐはみ出しの基準線を取得する(ステップS37)。まず、図14で例示するように、候補検出部30は、反射領域の内外の両側において、根元同士を結ぶ。具体的には、(plow,Rmin(plow))と(phigh,Rmax(phigh))とを結んだ線と、(plow,Rmax(plow))と(phigh,Rmax(phigh))とを結んだ線の2本となる。ただし、ピークをpとし、ピークの根元をplow,phigh、角度aにおける最小半径および最大半径をRmin(a),Rmax(a)とする。
次に、候補検出部30は、基準線からコロニーがはみ出しているか否かを判定する(ステップS38)。最小半径側のはみ出し量dmin(a)および最大半径側のはみ出し量dmax(a)は、下記式(5)および下記式(6)で表される。さらに、これらの値の総和を算出することで、下記式(7)および下記式(8)のように、はみ出し量の平均dmin,dmaxを算出することができる。表5は、はみ出し量の平均の算出例である。
Figure 2016123407
Figure 2016123407
Figure 2016123407
Figure 2016123407
Figure 2016123407
上記式(7)および上記式(8)では、負の値も反映される。しかしながら、非負の値だけを反映させてもよい。また、コロニー候補の中心とシャーレ縁のエッジの中心が重ならない場合は、はみ出しが大きい側のピークの根元は正しく抽出できるが、はみ出しが小さい側のピークの根元が外側にずれることがある。この場合、上記式(5)および上記式(6)のdmin(a)やdmax(a)が正の範囲(ただし、plow<a<phigh)を抽出し、それを新しいピークの根元としてもよい。
候補検出部30は、これらの値があらかじめ定められたしきい値を上回る場合にはみ出しがあると判定する。はみ出しの判定に2種類のしきい値を用意し、それぞれを用いて判定を行ってもよい。例えば、しきい値t,tを用意し、t<tとする。dminかdmaxのどちらか一方がtより大きい場合は単独でコロニー候補であると判定を行う。dminおよびdmaxの両方がtより大きい場合は、以降の処理を行い、dminとdmaxのどちらか一方のみがtより大きい場合は、コロニー候補としての抽出を行わない。
次に、候補検出部30は、はみ出し部分が左右両方ではみ出していると判定されたか否かを判定する(ステップS39)。ステップS39で「Yes」と判定された場合、候補検出部30は、図15(a)で例示するように、ピーク同士を結んだ線の中点をはみ出し部分の中心とする(ステップS40)。
次に、候補検出部30は、はみ出し部分が円形であるか否かを判定する(ステップS41)。ピークをpとした場合、ピークの中心位置cは、c=((Rmin(p)+Rmax(p))/2,p)となる。二つのピークが円の直径を構成する場合の半径rはr=(Rmax(p)−Rmin(p))/2となる。ここで、はみ出し部分が円形を構成する場合は、ピークの根元の座標pln=(dmin(plow),plow),phn=(dmin(phigh),phigh),plx=(dmax(plow),plow),phx=(dmax(phigh),phigh)が円形を構成する場合、中心位置cからの距離が一定になる。したがって、dln=|pln−c|,dhn=|phn−c|,dlx=|plx−c|,dhx=|phx−c|がrに近い値となる。そこで、差の二乗を求め、ばらつきを表すσ=((dln−r)+(dhn−r)+(dlx−r)+(dhx−r))/4がしきい値より小さい場合には、これらの4点が円を構成すると判定してもよい。
ステップS41で「Yes」と判定された場合、候補検出部30は、コロニー候補として検出する(ステップS42)。図15(b)は、検出されたコロニー候補を例示する図である。候補検出部30は、円形と判定された領域を、ピークの上下2本のピークの根元の角度で切り出す。図15(b)のように直線で切り出してもよいが、円形として切り出してもよい。さらに、候補検出部30は、切り出し結果に対して極座標の逆変換を行うことで、図15(c)で例示するように、元の画像での位置を求めることができる。
次に、候補検出部30は、全てのピークが選択されたか否かを判定する(ステップS43)。ステップS43で「No」と判定された場合、ステップS33から再度実行される。ステップS43で「Yes」と判定された場合、カウント部40は、ステップS42で検出されたコロニー候補をカウントし、結果を出力する(ステップS44)。なお、ステップS36の実行後には、ステップS40が実行される。ステップS39またはステップS41で「No」と判定された場合、ステップS43が実行される。表6は、カウント部40によってカウントされたデータ例である。
Figure 2016123407
なお、ステップS44において、カウント部40は、コロニー候補の座標(四角形の座標等)を出力してもよい。例えば、カウント部40は、シャーレ縁の反射領域の場合は、抽出された円の位置と半径からその円に内接する四角形の座標を求め抽出する。カウント部40は、それ以外の場合は、ラベリング結果L(x,y)で指定したIDがある位置の最大値と最小値を求め、それを基に位置を指定する。これらの情報はラベリング実行の際に同時に計算してもかまわない。
また、カウント部40は、領域を画像として出力する場合は、円形と判定されたコロニーの領域は、ピークの上下2本のピーク根元の角度で切り出す。直線で切り出してもよいが、円形として切り出してもよい。さらに、切り出し結果を極座標の逆変換を行うことで、元の画像での位置を求める。切り出しについては、極座標の逆変換を行ってから切り出しを行ってもかまわない。これらは、細長い領域(反射領域)として判定されなかった領域についての菌の検出結果と合わせて出力することでも構わない。画像として出力する場合、前述のラベリング結果について、シャーレ縁の反射で菌以外の部分のラベリング結果L(x,y)を0に書き換えることで行うことができる。
図16(a)は、候補検出部30によるコロニー候補検出前の二値化画像である。シャーレ縁の反射領域からコロニー候補が検出されれば、図16(b)で例示するように、シャーレ縁の反射領域除去後にもコロニー候補がカウント対象として残ることになる。
本実施例によれば、シャーレ縁の反射領域において、はみ出し部分が長手方向を挟んで両側にはみ出していることと、はみ出し部分が形状に関する第2基準を満たす場合に、当該はみ出し部分がコロニー候補として検出される。それにより、精度良くコロニー候補を検出することができる。第2基準が、シャーレ縁の反射領域において、はみ出し部分における開始点(ピーク根元)とピークとを結ぶ線が長手方向となす角度がしきい値を上回ることを含むことで、コロニー候補の検出精度が向上する。ただし、ピーク根元とピークとを結ぶ線に限らず、はみ出し部分においてピークとピーク以外の点とを結ぶ線が長手方向となす角度がしきい値を上回ることを判定基準としてもよい。
また、長手方向を挟む両側において、はみ出し部分の長手方向における長さに対するはみ出し量の比がそれぞれしきい値を上回る場合に両側にはみ出していると判定することで、コロニー候補の検出精度が向上する。また、はみ出し部分のピーク同士を結ぶ線分の中点から各ピーク根元までの距離のばらつきが所定値以下である場合に当該はみ出し部分が円形であると判定することで、コロニー候補の検出精度が向上する。ただし、中点から各ピーク根元までの距離に限らず、中点からはみ出し部分のピーク以外の点への距離のばらつきが所定値以下であることを判定基準としてもよい。また、はみ出し部分の形状の円形度がしきい値以上となる場合に円形であると判定してもよい。
実施例3では、図7のステップS21〜S23の他の例について説明する。画像処理装置100が備える機器は、実施例1と同様である。図3(a)および図3(b)において、シャーレ202の縁で反射した光に起因する1つの反射領域204が現れる場合について説明したが、反射の態様によっては2つ以上の反射領域204が同心円状に現れることがある。同心円状の反射領域204の間隔は狭くなることが多い。コロニーが同心円状の2つの反射領域204の間に位置する場合、図17(a)で例示するように、当該コロニーは2つの反射領域204にまたがることになる。その結果、2つの反射領域204がコロニーを介してつながることになる。
この場合、コロニーが反射領域204から外側にはみ出さない場合がある。また、つながった領域の幅が変化しないと、つながった領域が1つの弧状領域として抽出されるおそれがある。また、図17(b)で例示するように、2つの反射領域204の間において、コロニーがいずれか一方に接する場合もあり得る。この場合においても、つながっている領域全体が1つの弧状領域として抽出されるおそれがある。そこで、本実施例においては、同心円状の複数の反射領域を分離し、当該複数の反射領域の間に位置するコロニーを検出する構成について説明する。
まず、概略について説明する。図18は、シャーレ202の内側に複数の反射領域204が現れた場合の画像の例である。各反射領域204は、同じ半径位置で円形状に存在する。そのため、コロニーに繋がっていない部分の反射領域204は、同一の円周上に存在する。反射領域204は、コロニーに繋がっていなければ、円周方向に細く広がり、かつシャーレ202の中心から見て全方向に現れる。一方、コロニーは、丸いため、円周方向に細長く広がらず、シャーレ202の中心から見て1方向に現れる。この差異を利用すれば、反射領域204の位置を抽出することができる。
まず、コロニーに繋がっていない反射領域204の候補として、各領域の半径方向の幅を抽出し、それらが円周方向に繋がっている長さを抽出する。それにより、半径方向に対して円周方向が長い領域を抽出することができる。次に、反射領域204は全方向に現れるため、同じ半径範囲でかつあらかじめ指定した閾値(例えば90度)以上離れた角度に別の長い領域がある場合、その半径を反射領域204の位置として抽出する。
このようにすることで、反射領域204が多重の同心円として現れた場合に、それらの同心円の両方につながるコロニーが存在する場合でも、反射領域204を個別に抽出することができる。これらの反射領域204を個別に弧状領域として抽出することで、反射領域204に繋がったコロニーを検出することができる。その結果、より精度良くコロニーをカウントすることができる。以下、詳細について説明する。
図19は、解析領域抽出部20が図7のステップS21〜S23の代わりに実行するフローチャートの一例である。図19で例示するように、解析領域抽出部20は、ステップS21と同様の処理により、各連結成分に対して極座標変換を行う(ステップS51)。この極座標変換は、直交座標系p(x,y)を半径と角度の座標系p´(r,θ)に変換する処理である。
次に、解析領域抽出部20は、各連結成分の幅を抽出する(ステップS52)。具体的には、ある角度θ(未調査の角度)において、中心からシャーレの各外周位置に向かう直線において、p´(r−1,θ)=0かつp´(r,θ)=255となる場合のrを、輝度値255の領域の開始半径とする、また、p´(r−1,θ)=255かつp´(r,θ)=0となる場合のrを、輝度値255の領域の終了半径とする。
次に、解析領域抽出部20は、ステップS52の結果を用いて、細長い領域を抽出する(ステップS53)。具体的には、解析領域抽出部20は、ステップS52で抽出された幅が閾値以下であり、かつその幅での長さが閾値以上となる領域を細長い領域として抽出する。
次に、解析領域抽出部20は、全ての角度について調査を行ったか否かを判定する(ステップS54)。ステップS54で「No」と判定された場合、解析領域抽出部20は、調査対象を、隣接する角度に設定する(ステップS55)。隣接する角度とは、例えば0.1度異なる角度である。その後、ステップS52から再度実行される。
ステップS54で「Yes」と判定された場合、解析領域抽出部20は、同じ半径の細長い領域を抽出し、反射領域204を抽出する(ステップS56)。具体的には、解析領域抽出部20は、ステップS53で抽出した細長い領域について、一定角度以上離れた位置に、中心位置からの同範囲に輝度値255の領域がある場合に、当該細長い領域を反射領域として抽出する。なお、1つの細長い領域が一定角度以上の角度で広がっている場合も含む。これらは、中心から各外周位置へ向かう所定数以上の直線において、中心位置からの同範囲に輝度値255の領域が現れる場合と同義である。
以上の処理により、解析領域抽出部20は、シャーレ縁の反射領域を抽出することができる。その後、図5のステップS3以降の処理を行うことにより、シャーレ縁の反射領域がコロニーに重畳しても、精度良くコロニーを検出することができる。
図20は、ステップS52の詳細を表すフローチャートである。図20のフローチャートは、0.1度間隔などで、各角度に対して実行される。まず、解析領域抽出部20は、シャーレの縁が除去された二値化画像において、最大半径を設定する(ステップS61)。最大半径は、シャーレの縁が除去された円形の二値化画像において、中心(Cx,Cy)からシャーレの外周までの距離である。言い換えれば、最大半径は、シャーレ縁の内径である。
次に、解析領域抽出部20は、ある角度θにおいて、シャーレの中心から外周に向かう直線上において1つ外側の画素を取得する(ステップS62)。初期値は中心(Cx,Cy)であるため、ステップS62が繰り返し実行されることにより、中心(Cx,Cy)から外周に向かって順に画素が取得されることになる。次に、解析領域抽出部20は、ステップS62で取得した画素が輝度値255の領域が開始するか否か判定する(ステップS63)。ステップS63では、p´(r−1,θ)=0かつp´(r,θ)=255であれば、「Yes」であると判定される。すなわち、二値化画像において輝度値が0から255に変わる画素が開始半径である。
ステップS63で「Yes」と判定された場合、解析領域抽出部20は、当該画素を、輝度値255の領域の開始半径として記録する(ステップS64)。ステップS64の実行後、解析領域抽出部20は、次の画素があるか否かを判定する(ステップS65)。ステップS65では、1つ外側の画素が、ステップS61で設定された最大半径以下であるか否かが判定される。ステップS65で「Yes」と判定された場合、ステップS62が再度実行される。
ステップS63で「No」と判定された場合、1つ外側の画素で輝度値255の領域が終了するか否か判定する(ステップS66)。ステップS66では、p´(r−1,θ)=255かつp´(r,θ)=0であれば、「Yes」と判定される。すなわち、二値化画像において輝度値が255から0に変わる場合に、輝度値255の領域が終了すると判定される。
ステップS66で「No」と判定された場合、ステップS65が実行される。ステップS66で「Yes」と判定された場合、解析領域抽出部20は、開始半径が記録されているか否か判定する(ステップS67)。ステップS67で「Yes」と判定された場合、開始半径および終了半径のペアとして幅を記録する(ステップS68)。終了半径は、現時点の注目している画素位置の半径である。ステップS68の実行後、解析領域抽出部20は、記録された開始半径を削除する(ステップS69)。その後、ステップS65が実行される。ステップS67で「No」と判定された場合にも、ステップS65が実行される。
図21(a)および図21(b)は、角度θ=20度における開始半径および終了半径を例示する図である。なお、シャーレ縁やシャーレ縁の反射は、シャーレの外側の領域に近い範囲でのみ現れるため、開始半径および終了半径については、あらかじめシャーレ縁が出現する可能性がある半径位置の範囲を指定し、開始半径と終了半径が両方ともその範囲内に含まれている場合に処理を行ってもよい。
図22は、ステップS53の詳細を表すフローチャートである。図22のフローチャートは、ステップS52で抽出した全ての幅について実行される。図22で例示するように、解析領域抽出部20は、調査済のマークが付されていない幅が閾値Twidth以下であるか否かを判定する(ステップS71)。
ステップS71で「Yes」と判定された場合、解析領域抽出部20は、隣接した角度における領域が繋がっているか否かを判定する(ステップS72)。具体的には、隣接した角度で、幅同士が下記式(9)を満たす場合に、繋がっていると判定してもよい。
2つの幅が一定割合(閾値=Toverlap)以上重なっている。
Figure 2016123407
なお、上記式(9)において、aは角度を表し、s(a)は角度aでの開始半径を表し、e(a)は角度aでの終了半径を表す。また、s(a+1)のa+1は、s(a)に対して隣接する角度を意味する。したがって、図20のフローチャートが0.1度間隔で実行されている場合には、a+1は、(a+0.1)度を表す。
ステップS72で「Yes」と判定された場合、解析領域抽出部20は、ステップS72で対象とした領域に調査済マークを付す(ステップS73)。次に、解析領域抽出部20は、下記式(10)を用いて、隣接した角度で結合した幅(w´)が閾値Twidth以下であるか否か判定する(ステップS74)。ステップS74で「Yes」と判定された場合、解析領域抽出部20は、隣接する角度に着目し(ステップS75)、ステップS72から再度実行する。図23(a)は、ステップS72〜ステップS75の繰り返しにより得られた領域を例示する。
Figure 2016123407
ステップS74で「No」と判定された場合またはステップS72で「No」と判定された場合、解析領域抽出部20は、つなげた領域の幅と長さとのアスペクト比を算出する(ステップS76)。次に、解析領域抽出部20は、つなげた領域が細長い領域であるか否か判定する(ステップS77)。ステップ77では、下記式(11)を用いることができる。図23(b)は、図23(a)の結果について求めたアスペクト比である。閾値Taspectとして3.0を用いた場合、1番目と2番目の領域は細長い領域であると判定され(S77のYes)、3番目の領域は細長い領域ではないと判定される(S77のNo)。次に、解析領域抽出部20は、細長い領域の情報を記録する(ステップS78)。
Figure 2016123407
図24は、ステップS56の詳細を表すフローチャートである。図24で例示するように、解析領域抽出部20は、ステップS53で抽出した細長い領域の1つを取得する(ステップS81)。次に、解析領域抽出部20は、当該細長い領域のうち同じ半径範囲の領域を抽出する(ステップS82)。2つの領域が同じ半径範囲にあるかどうかの判断については、上記式(9)と同様の下記式(12)を利用することができる。この場合の閾値は、上記式(9)のToverlapと同じであってもよく、異なっていてもよい。また、下記式(12)では、s(a)は細長い領域aの開始半径であり、e(a)は細長い領域aの終了半径であり、s(b)は細長い領域bの開始半径であり、e(b)は細長い領域bの終了半径である。
Figure 2016123407
次に、解析領域抽出部20は、これらの領域で求めた範囲がなす角度が閾値以上離れているかどうかを判定する(ステップS83)。例えば、ある細長領域aの角度がs(a)からe(a)である場合、下記式(13)に従って、二つの細長領域a、bがあらかじめ指定した角度(Tangle)以上離れているか否かを判定することができる。
max(E(a),E(b))−min(S(a),S(b))≧Tangle (13)
ステップS83で「Yes」と判定された場合、解析領域抽出部20は、当該領域を反射領域として抽出し、記録する(ステップS84)。次に、解析領域抽出部20は、全ての細長い領域について調査したか否かを判定する(ステップS85)。ステップS83で「No」と判定された場合も、ステップS85が実行される。ステップS85で「No」と判定された場合、ステップS81から再度実行される。ステップS85で「Yes」と判定された場合、フローチャートの実行が終了する。
なお、図24のフローチャートでは、2つの領域が一定角度以上離れていることを条件としたが、下記式(14)に従って、1つの領域が一定間隔以上繋がっている場合も、反射領域として抽出してもよい。また、1つしかない場合でも、細長い領域として抽出された領域のアスペクト比が一定値以上(例えばTaspect=5)の場合に、当該細長い領域を反射領域として抽出してもよい。
E(a)−S(a)≧Tangle (14)
また、一つしかない場合でも、細長領域抽出部で求めたアスペクト比が一定値以上(たとえばTaspect=5)の場合に、シャーレ縁の反射として抽出してもよい。
本実施例によれば、同心円状に複数の反射領域が現れる場合に、各反射領域を分離して抽出することができる。それにより、反射領域と反射領域とを接続するようにコロニーが現れる場合に、当該コロニーがカウントできなくなることを回避することができる。その結果、精度良くコロニーを検出することができる。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
以上の実施例1〜3を含む実施形態に関し、さらに以下の付記を開示する。
(付記)
(付記1)
画像センサが取得した画像において弧状領域を抽出する抽出部と、
前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する検出部と、を備えることを特徴とする画像処理装置。
(付記2)
前記第1基準は、前記弧状領域の長手方向における前記はみ出した部分の長さに対する当該部分のはみ出し量の比がしきい値を上回ることを含むことを特徴とする付記1記載の画像処理装置。
(付記3)
前記第1基準は、前記はみ出した部分が前記弧状領域の長手方向を挟んで両側にはみ出していることと、前記両側にはみ出した部分が形状に関する第2基準を満たすことを含むことを特徴とする付記1記載の画像処理装置。
(付記4)
前記第2基準は、前記両側にはみ出した部分において、ピークとピーク以外の点を結ぶ線が所定の条件を満たすことを含むことを特徴とする付記3記載の画像処理装置。
(付記5)
前記第2基準は、前記両側にはみ出した部分が円形状を有することを判定するための基準を含むことを特徴とする付記3または4記載の画像処理装置。
(付記6)
前記抽出部は、長手方向の長さが幅に対してなす比がしきい値を超える領域を弧状領域として抽出することを特徴とする付記1〜5のいずれか一項に記載の画像処理装置。
(付記7)
前記抽出部は、前記画像センサが取得した画像中のシャーレの中心位置と外周とを特定し、前記中心位置から各外周位置に向かう直線上の画素値を直線ごとに取得し、所定数以上の前記直線上において、前記中心位置からの同範囲に所定画素値または所定画素値範囲が現れる場合に、前記同範囲を結ぶ円弧を前記弧状領域として抽出することを特徴とする付記1〜6のいずれか一項に記載の画像処理装置。
(付記8)
抽出部が、画像センサが取得した画像において弧状領域を抽出し、
検出部が、前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する、ことを特徴とする画像処理方法。
(付記9)
前記第1基準は、前記弧状領域の長手方向における前記はみ出した部分の長さに対する当該部分のはみ出し量の比がしきい値を上回ることを含むことを特徴とする付記8記載の画像処理方法。
(付記10)
前記第1基準は、前記はみ出した部分が前記弧状領域の長手方向を挟んで両側にはみ出していることと、前記両側にはみ出した部分が形状に関する第2基準を満たすことを含むことを特徴とする付記8記載の画像処理方法。
(付記11)
前記第2基準は、前記両側にはみ出した部分において、ピークとピーク以外の点を結ぶ線が所定の条件を満たすことを含むことを特徴とする付記10記載の画像処理方法。
(付記12)
前記第2基準は、前記両側にはみ出した部分が円形状を有することを判定するための基準を含むことを特徴とする付記10または11記載の画像処理方法。
(付記13)
前記抽出部は、長手方向の長さが幅に対してなす比がしきい値を超える領域を弧状領域として抽出することを特徴とする付記8〜12のいずれか一項に記載の画像処理方法。
(付記14)
前記抽出部は、前記画像センサが取得した画像中のシャーレの中心位置と外周とを特定し、前記中心位置から各外周位置に向かう直線上の画素値を直線ごとに取得し、所定数以上の前記直線上において、前記中心位置からの同範囲に所定画素値または所定画素値範囲が現れる場合に、前記同範囲を結ぶ円弧を前記弧状領域として抽出することを特徴とする付記8〜13のいずれか一項載の画像処理方法。
(付記15)
コンピュータに、
画像センサが取得した画像において弧状領域を抽出する処理と、
前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する処理と、を実行させることを特徴とする画像処理プログラム。
(付記16)
前記第1基準は、前記弧状領域の長手方向における前記はみ出した部分の長さに対する当該部分のはみ出し量の比がしきい値を上回ることを含むことを特徴とする付記15記載の画像処理プログラム。
(付記17)
前記第1基準は、前記はみ出した部分が前記弧状領域の長手方向を挟んで両側にはみ出していることと、前記両側にはみ出した部分が形状に関する第2基準を満たすことを含むことを特徴とする付記15記載の画像処理プログラム。
(付記18)
前記第2基準は、前記両側にはみ出した部分において、ピークとピーク以外の点を結ぶ線が所定の条件を満たすことを含むことを特徴とする付記17記載の画像処理プログラム。
(付記19)
前記第2基準は、前記両側にはみ出した部分が円形状を有することを判定するための基準を含むことを特徴とする付記17または18記載の画像処理プログラム。
(付記20)
前記抽出する処理において、長手方向の長さが幅に対してなす比がしきい値を超える領域を弧状領域として抽出することを特徴とする付記15〜19のいずれか一項に記載の画像処理プログラム。
(付記21)
前記抽出する処理において、前記画像センサが取得した画像中のシャーレの中心位置と外周とを特定し、前記中心位置から各外周位置に向かう直線上の画素値を直線ごとに取得し、所定数以上の前記直線上において、前記中心位置からの同範囲に所定画素値または所定画素値範囲が現れる場合に、前記同範囲を結ぶ円弧を前記弧状領域として抽出することを特徴とする付記15〜20のいずれか一項載の画像処理プログラム。
10 二値化部
20 解析領域抽出部
30 候補検出部
40 カウント部
100 画像処理装置
101 CPU
102 RAM
103 記憶装置
104 表示装置
105 画像センサ
106 光源

Claims (8)

  1. 画像センサが取得した画像において弧状領域を抽出する抽出部と、
    前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する検出部と、を備えることを特徴とする画像処理装置。
  2. 前記第1基準は、前記弧状領域の長手方向における前記はみ出した部分の長さに対する当該部分のはみ出し量の比がしきい値を上回ることを含むことを特徴とする請求項1記載の画像処理装置。
  3. 前記第1基準は、前記はみ出した部分が前記弧状領域の長手方向を挟んで両側にはみ出していることと、前記両側にはみ出した部分が形状に関する第2基準を満たすことを含むことを特徴とする請求項1記載の画像処理装置。
  4. 前記第2基準は、前記両側にはみ出した部分において、ピークとピーク以外の点を結ぶ線が所定の条件を満たすことを含むことを特徴とする請求項3記載の画像処理装置。
  5. 前記第2基準は、前記両側にはみ出した部分が円形状を有することを判定するための基準を含むことを特徴とする請求項3または4記載の画像処理装置。
  6. 前記抽出部は、長手方向の長さが幅に対してなす比がしきい値を超える領域を弧状領域として抽出することを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
  7. 抽出部が、画像センサが取得した画像において弧状領域を抽出し、
    検出部が、前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する、ことを特徴とする画像処理方法。
  8. コンピュータに、
    画像センサが取得した画像において弧状領域を抽出する処理と、
    前記弧状領域において弧状からはみ出した部分が形状に関する第1基準を満たすか否かを判定し、満たすと判定した場合に当該部分をコロニーの候補として検出する処理と、を実行させることを特徴とする画像処理プログラム。
JP2015135336A 2014-12-26 2015-07-06 画像処理装置、画像処理方法および画像処理プログラム Pending JP2016123407A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16174739.9A EP3115929A1 (en) 2015-07-06 2016-06-16 Image apparatus, image processing method and image processing program
CN201610496447.1A CN106337019A (zh) 2014-12-26 2016-06-29 图像设备和图像处理方法
US15/198,812 US9996937B2 (en) 2014-12-26 2016-06-30 Image apparatus, image processing method, and computer readable, non-transitory medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014266503 2014-12-26
JP2014266503 2014-12-26

Publications (1)

Publication Number Publication Date
JP2016123407A true JP2016123407A (ja) 2016-07-11

Family

ID=56357095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135336A Pending JP2016123407A (ja) 2014-12-26 2015-07-06 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US9996937B2 (ja)
JP (1) JP2016123407A (ja)
CN (1) CN106337019A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799084A (zh) * 2017-06-22 2020-02-14 奥林巴斯株式会社 图像处理装置、图像处理程序和图像处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108102918B (zh) * 2018-01-03 2020-07-07 京东方科技集团股份有限公司 一种培养皿装置及细胞膜片的培养方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0227259A (ja) * 1988-07-18 1990-01-30 Hitachi Electron Eng Co Ltd 微生物の識別計数方法におけるデータ処理方式
JP2006345750A (ja) * 2005-06-15 2006-12-28 N Tech:Kk コロニーの計数方法
WO2008149636A1 (ja) * 2007-06-04 2008-12-11 Kabushiki Kaisha N-Tech コロニー数の計数方法
JP2012075409A (ja) * 2010-10-04 2012-04-19 Microbio Corp コロニー検出方法、コロニー検出システムおよびコロニー検出プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0149457B1 (en) 1984-01-13 1993-03-31 Kabushiki Kaisha Komatsu Seisakusho Method of identifying contour lines
JPS60179881A (ja) 1984-02-15 1985-09-13 Komatsu Ltd 輪郭線の認識方法
JP2839933B2 (ja) 1990-05-28 1998-12-24 株式会社リコー 紙葉搬送装置
JP2845295B2 (ja) 1991-09-17 1999-01-13 日本電信電話株式会社 物体形状分割記述処理方法
JP2973663B2 (ja) 1991-12-10 1999-11-08 富士電機株式会社 瓶口の外観検査方法
JP2791303B2 (ja) 1995-11-18 1998-08-27 株式会社電脳技研 1つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
JP2000270840A (ja) 1999-03-29 2000-10-03 Elmex Ltd コロニー計数装置およびその使用方法
JP4722343B2 (ja) 2001-09-07 2011-07-13 マイクロバイオ株式会社 個数計数方法、そのためのプログラム、記録媒体および個数計数装置
JP2008015714A (ja) 2006-07-05 2008-01-24 Nikon Corp 画像処理方法および画像処理装置、並びに光学装置
JP5351673B2 (ja) 2009-09-09 2013-11-27 パナソニック株式会社 外観検査装置、外観検査方法
EP2497823B1 (en) 2009-11-05 2017-08-16 Hitachi High-Technologies Corporation Device for harvesting bacterial colony and method therefor
JP5658902B2 (ja) 2009-11-05 2015-01-28 株式会社日立ハイテクノロジーズ 細菌撮像装置および菌液調整装置
JP5998744B2 (ja) 2012-08-23 2016-09-28 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム
JP6229365B2 (ja) * 2013-08-06 2017-11-15 富士通株式会社 コロニーカウント装置、コロニーカウント方法、およびコロニーカウントプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0227259A (ja) * 1988-07-18 1990-01-30 Hitachi Electron Eng Co Ltd 微生物の識別計数方法におけるデータ処理方式
JP2006345750A (ja) * 2005-06-15 2006-12-28 N Tech:Kk コロニーの計数方法
WO2008149636A1 (ja) * 2007-06-04 2008-12-11 Kabushiki Kaisha N-Tech コロニー数の計数方法
JP2012075409A (ja) * 2010-10-04 2012-04-19 Microbio Corp コロニー検出方法、コロニー検出システムおよびコロニー検出プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799084A (zh) * 2017-06-22 2020-02-14 奥林巴斯株式会社 图像处理装置、图像处理程序和图像处理方法

Also Published As

Publication number Publication date
CN106337019A (zh) 2017-01-18
US9996937B2 (en) 2018-06-12
US20170011510A1 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
US9230190B2 (en) Image recognition to support shelf auditing for consumer research
US20170262979A1 (en) Image correction and metrology for object quantification
JP5789751B2 (ja) 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
KR101272448B1 (ko) 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US9679354B2 (en) Duplicate check image resolution
US20140050387A1 (en) System and Method for Machine Vision Inspection
JP6560757B2 (ja) 検査室自動化のためのトップビューサンプルチューブ画像からのバーコードタグ状態の分類
US10699423B2 (en) Registration of tissue slice image
CN110047083B (zh) 图像噪点识别方法、服务器及存储介质
JP6630341B2 (ja) シンボルの光学的検出方法
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN111079730B (zh) 一种在界面图中确定样图所在区域的方法和电子设备
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
JP2022504450A (ja) 画像を処理するための方法およびシステム
JP4242796B2 (ja) 画像認識方法及び画像認識装置
Dinç et al. DT-Binarize: A decision tree based binarization for protein crystal images
US20180047158A1 (en) Chest radiograph (cxr) image analysis
JP2016123407A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9830532B1 (en) Object detection in images using distance maps
US9589360B2 (en) Biological unit segmentation with ranking based on similarity applying a geometric shape and scale model
CN113012181A (zh) 一种基于Hough变换的新型类圆形检测方法
US20220198814A1 (en) Image dewarping with curved document boundaries
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
JP2014182637A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Dinç et al. Dt-binarize: A hybrid binarization method using decision tree for protein crystallization images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191008