JP2018160217A - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP2018160217A
JP2018160217A JP2017058513A JP2017058513A JP2018160217A JP 2018160217 A JP2018160217 A JP 2018160217A JP 2017058513 A JP2017058513 A JP 2017058513A JP 2017058513 A JP2017058513 A JP 2017058513A JP 2018160217 A JP2018160217 A JP 2018160217A
Authority
JP
Japan
Prior art keywords
edge
image processing
well
coordinate group
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017058513A
Other languages
English (en)
Other versions
JP7112181B2 (ja
Inventor
拓矢 安田
Takuya Yasuda
拓矢 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2017058513A priority Critical patent/JP7112181B2/ja
Priority to US16/485,572 priority patent/US11094068B2/en
Priority to CN201780063309.7A priority patent/CN109844810B/zh
Priority to PCT/JP2017/039910 priority patent/WO2018173352A1/ja
Priority to EP17902187.8A priority patent/EP3605462A4/en
Priority to TW106139240A priority patent/TWI657411B/zh
Publication of JP2018160217A publication Critical patent/JP2018160217A/ja
Application granted granted Critical
Publication of JP7112181B2 publication Critical patent/JP7112181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】外乱要素を含むエッジ座標が検出されても、不要なエッジ座標を排除して、解析領域を精度よく検出する画像処理方法および画像処理装置を提供する。【解決手段】細胞を解析するウェル(窪み)およびウェルの周囲を撮像して得られる画像データから、ウェルのエッジを検出する画像処理方法であって、まず、画像データから、ウェルのエッジ座標群と共に、エッジ座標群に対応するエッジ特徴情報(エッジ強度、エッジの方向、エッジの構成画素数など)を抽出する。複数のエッジ座標群が抽出された場合、複数のエッジ座標群から、エッジ特徴情報に基づいてエッジ座標群を選択する。その後、選択されたエッジ座標群から、ウェルのエッジ候補を生成する。【選択図】図4

Description

本発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法および画像処理装置に関する。
細胞の解析には、ウェルプレートまたはマイクロプレートと呼ばれる、複数のウェル(窪み)が設けられた平板状の器具が用いられる。解析対象物の細胞は、複数のウェル内に、培養液とともに保持される。そして、カメラで、細胞を撮像して、解析が行われる。カメラでの撮像の際、ウェルと、その周囲とが撮像される。このため、画像処理で、細胞の解析範囲となるウェル壁の境界を、精度良く検出する必要がある。
特許文献1には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献1に記載の方法は、マイクロプレートの画像から、試験ウェルの壁境界の特徴を検出する。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像を生成する。その候補エッジ画像を解析して、試験ウェルの外周境界の空間的位置を計算し、その情報を使用して内周境界を決定する。この内周境界を、試験ウェル領域とする。
特許第5920994号
しかしながら、特許文献1では、ウェル壁面に密集したウェル内の細胞、または、培養液内の不純物が、ウェルの壁境界の候補エッジ画像として生成される場合がある。このような場合、誤った試験ウェル領域を検出し、細胞の解析を精度よく行えない場合がある。
本発明は、このような事情に鑑みなされたものであり、外乱要素を含むエッジ座標が検出されても、不要なエッジ座標を排除して、解析領域を精度よく検出する画像処理方法および画像処理装置を提供することを目的とする。
上記課題を解決するため、本願の第1発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、a)前記画像データから、前記解析領域のエッジ座標群と共に、前記エッジ座標群に対応するエッジ特徴情報を抽出する工程と、b)前記工程a)で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群から、前記エッジ特徴情報に基づいてエッジ座標群を選択する工程と、c)前記工程b)で、選択されたエッジ座標群から、前記解析領域のエッジ候補を生成する工程と、を含む。
本願の第2発明は、第1発明の画像処理方法であって、前記エッジ特徴情報は、前記エッジ座標群により特定されるエッジの方向、前記エッジの強度、前記エッジの構成画素数、前記エッジの最大輝度および最小輝度、の少なくとも一つを含む。
本願の第3発明は、第1発明または第2発明の画像処理方法であって、前記工程c)は、前記エッジ座標群に対して、多項式近似によるエッジ候補を生成する。
本願の第4発明は、第1発明から第3発明までの画像処理方法であって、d)前記工程b)で複数のエッジ座標群が選択され、前記工程c)で複数のエッジ候補が生成された場合、前記複数のエッジ候補から、前記エッジ特徴情報に基づいて、エッジ候補を選択する工程、をさらに含む。
本願の第5発明は、画像処理装置であって、対象物を解析する解析領域、および、前記解析領域の周囲を撮像するカメラと、前記カメラで撮像して得られる画像データを処理する制御部と、を備え、前記制御部は、a)前記画像データから、前記解析領域のエッジ座標群と共に、前記エッジ座標群に対応するエッジ特徴情報を抽出する工程と、b)前記工程a)で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群から、前記エッジ特徴情報に基づいてエッジ座標群を選択する工程と、c)前記工程b)で、選択されたエッジ座標群から、前記解析領域のエッジ候補を生成する工程と、を実行する。
本願の第1発明〜第5発明によれば、光の屈折または対象物などの影響により、解析領域のエッジを特定するエッジ座標群が複数検出されても、エッジ特徴情報により、複数のエッジ座標群から絞り込むことができる。また、検出したエッジ座標群が、外乱要素を含むエッジ座標を有していても、エッジ特徴情報から、その不要なエッジ座標を排除できる。その結果、解析領域のエッジの決定を精度よく行える。そして、解析領域のエッジを把握することで、精度良く対象物の解析を行える。
特に、本願の第3発明によれば、画像処理速度が速くなる。
特に、本願の第4発明によれば、複数のエッジ候補が生成されても、エッジ特徴情報により、複数のエッジ候補から絞り込むことができる。その結果、解析領域のエッジの決定を精度よく行える。そして、解析領域のエッジを把握することで、精度良く対象物の解析を行える。
撮像装置にセットされるウェルプレートの一例を示す斜視図である。 撮像装置の構成を示した図である。 制御部と、撮像装置内の各部との接続を示したブロック図である。 エッジ検出処理のフローチャートを示す図である。 エッジ特徴情報を説明するためのイメージ図である。 エッジ特徴情報に基づく選択を説明するためのイメージ図である。 エッジ特徴情報に基づいて選択されたエッジ座標群を説明するためのイメージ図である。 多項式近似を用いて生成するエッジ候補のイメージ図である 絶対指標を用いて選択したエッジ候補のイメージ図である。 相対評価を行って決定したエッジ候補のイメージ図である。
以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
<1.撮像装置の構成>
図1は、撮像装置1にセットされるウェルプレート9の一例を示す斜視図である。
ウェルプレート9は、複数のウェル91を有する略板状の試料容器である。ウェルプレート9の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート9の上面には、複数のウェル91が規則的に配列されている。ウェル91は、培養液92とともに、解析対象物となる複数の細胞93を保持する。ウェル91の内側は、細胞93を解析する解析領域である。本実施形態では、上面視におけるウェル91の形状は、円形として説明する。ただし、ウェル91の形状は、矩形等の他の形状であってもよい。
図2は、本実施形態に係る撮像装置1の構成を示した図である。
撮像装置1は、ウェルプレート9内の複数の細胞93を、カメラ40の焦点位置を変化させつつ複数回撮影して、細胞93の画像データを生成する装置である。撮像装置1は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート9の複数のウェル91に、濃度や組成の異なる化合物を添加する。そして、撮像装置1において、ウェルプレート9の各ウェル91内の細胞93の画像データを取得する。その後、得られた画像データに基づいて、細胞93の培養状態を比較・分析することにより、培養液92に添加された化合物の効用を検証する。
ただし、撮像装置1は、IPS細胞またはES細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。
撮像装置1は、ステージ10、投光部20、投光部移動機構30、カメラ40、カメラ移動機構50、および制御部60を備えている。
ステージ10は、ウェルプレート9を保持する載置台である。撮像装置1内におけるステージ10の位置は、少なくとも撮影時には固定される。ステージ10の中央には、上下に貫通する矩形の開口部11が設けられている。また、ステージ10は、開口部11の縁に、環状の支持面12を有する。ウェルプレート9は、開口部11に嵌め込まれるとともに、支持面12によって水平に支持される。したがって、各ウェル91の上部および下部は、ステージ10に塞がれることなく露出する。
投光部20は、ステージ10に保持されたウェルプレート9の上方に配置されている。投光部20は、LED等の光源を有する。撮影時には、投光部20内の光源が発光する。これにより、投光部20から下方へ向けて、光が照射される。なお、投光部20は、カメラ40とは反対側からウェルプレート9に向けて、光を照射するものであればよい。したがって、投光部20の光源自体は、ウェルプレート9の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート9に光が照射される構成であってもよい。
投光部移動機構30は、ステージ10に保持されたウェルプレート9の上面に沿って、投光部20を水平に移動させる機構である。投光部移動機構30には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置1は、投光部移動機構30を動作させることにより、各ウェル91の上方位置に、投光部20を配置することができる。なお、図2では、投光部20の移動方向として、矢印A1の1方向のみが示されている。しかしながら、投光部移動機構30は、投光部20を、ウェルプレート9の上面に沿って2方向(図2中の左右方向および奥行き方向)に移動させるものであってもよい。
カメラ40は、ステージ10に保持されたウェルプレート9の下方に配置されている。カメラ40は、レンズ等の光学系と、CCDまたはCMOS等の撮像素子とを有する。撮影時には、投光部20からウェルプレート9の一部分へ向けて光を照射しつつ、カメラ40が、ウェルプレート9の当該一部分を撮影する。これにより、ウェルプレート9内の細胞93の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ40から制御部60へ入力される。
カメラ移動機構50は、カメラ40の姿勢を維持しつつ、カメラ40の高さおよび水平方向の位置を変化させる機構である。カメラ移動機構50は、昇降移動機構51と水平移動機構52とを有する。
昇降移動機構51は、カメラ40を上下に移動させて、カメラ40の高さがを変化させる。これにより、ステージ10に保持されたウェルプレート9とカメラ40との距離(すなわち、細胞93とカメラ40との間の撮影距離)が変化する。この結果、カメラ40の焦点位置を、光軸に沿って上下に移動させることができる。
水平移動機構52は、カメラ40および昇降移動機構51を、一体として水平に移動させる。撮像装置1は、水平移動機構52を動作させることにより、各ウェル91の下方位置に、カメラ40を配置することができる。なお、図2では、水平移動機構52によるカメラ40の移動方向として、矢印A2の1方向のみが示されている。しかしながら、カメラ移動機構50は、カメラ40を、ウェルプレート9の下面に沿って2方向(図2中の左右方向および奥行き方向)に移動させるものであってもよい。
なお、上述した投光部移動機構30と、水平移動機構52とは、同期駆動される。これにより、投光部20とカメラ40とは、上面視において、常に同じ位置に配置される。すなわち、投光部20とカメラ40とは、同じ向きに同じ距離だけ移動し、あるウェル91の下方位置にカメラ40が配置されたときには、必ず、そのウェル91の上方位置に投光部20が配置される。
制御部60は、例えば、コンピュータにより構成される。制御部60は、撮像装置1内の各部を動作制御する機能と、カメラ40で撮像されて得られる画像データを画像処理する機能と、を有する。図3は、制御部60と、撮像装置1内の各部との接続を示したブロック図である。図3中に概念的に示したように、制御部60は、CPU等のプロセッサ61、RAM等のメモリ62、およびハードディスクドライブ等の記憶部63を有する。記憶部63内には、撮像装置1内の各部を動作制御するためのプログラムP1と、画像データを画像処理するプログラムP2と、が記憶されている。
また、制御部60は、上述した投光部20、投光部移動機構30、カメラ40、昇降移動機構51、および水平移動機構52と、それぞれ通信可能に接続されている。制御部60は、プログラムP1に従って、上記の各部を動作制御する。これにより、ウェルプレート9の各ウェル91に保持された細胞93の撮影処理が進行する。また、制御部60は、カメラ40から入力された画像データを、プログラムP2に従って処理することにより、ウェル91のエッジを検出し、また、ウェル91内の細胞93の画像データを取得する。ウェル91のエッジとは、ウェルプレート9における、ウェル91の内壁と、その周囲との境界である。
<2.画像処理について>
ウェルプレート9を撮像する際、ウェル91と、その周囲とが撮像される。このため、ウェル91内の細胞93の画像データを取得する場合には、まず、ウェルプレート9における、ウェル91のエッジを検出する必要がある。撮像装置1は、ウェルプレート9を撮像して得られる画像データから、各ウェル91のエッジを検出する処理(以下、「エッジ検出処理」と称す。)を行う。以下、エッジ検出処理について説明する。
図4は、エッジ検出処理のフローチャートを示す図である。以下、このフローチャートを参照しつつ、説明する。
制御部60は、ウェルプレート9を、カメラ40で撮像する(ステップS1)。次に、制御部60は、撮像して得られる画像データから、一のウェル91に対するエッジ情報を抽出する(ステップS2)。エッジ情報は、ウェル91のエッジを特定するための画素情報である。したがって、一のウェル91に対しては、本来、一のエッジ情報が抽出されるべきである。しかしながら、ステップS2の処理では、光の屈折または細胞93などの影響により、ウェル91のエッジとは無関係な画素が、エッジ情報として抽出されることがある。複数のエッジ情報が抽出されると、一のウェル91に対して、正確なエッジを検出することが困難となる。そこで、以下の処理で、複数のエッジ情報を所定の条件を満たすエッジ情報に絞り込み、それに、ウェル91のエッジを決定する処理を行う。
エッジ情報は、エッジ座標群と、エッジ特徴情報とを含む。エッジ座標群は、画像データの各画素の輝度の変化から抽出される座標データの集まりである。このエッジ座標の検出には、既知のエッジ検出処理が用いられる。エッジ特徴情報は、エッジ座標群により特定されるエッジの特徴を表す情報である。エッジ特徴情報は、エッジ座標群により特定されるエッジの方向、エッジの強度、エッジの構成画素数、ならびに、エッジの最大輝度および最小輝度、を有する。ただし、エッジ特徴情報は、前記のすべてを有していてもよいし、いずれか一つ、または複数を有していてもよい。
図5は、エッジ特徴情報を説明するためのイメージ図である。図5には、カメラ40でウェル91を撮像して得られた画像データの一部を示す。この図において、画素の輝度を、濃度で表している。つまり、黒に近くなるにつれ、その画素の輝度は低くなることを示す。
エッジの方向は、エッジ座標により特定されるエッジの方向である。図5では、エッジの方向は、白抜き矢印で示す。このエッジの方向は、エッジ座標により特定される画素(以下、「注目画素」と称す)から、輝度が大きくなる画素に向かう方向である。例えば、制御部60は、注目画素と、その周囲の画素との輝度の差分をそれぞれ算出し、その中から、差分が大きい方向を、エッジの方向として検出する。
エッジ強度は、エッジを構成する最大輝度と、最小輝度との差分である。図5では、エッジ強度は、白抜き矢印の太さで示す。ただし、エッジ強度は、注目画素の輝度としてもよいし、注目画素の輝度と、その周囲の画素の輝度との差分としてもよい。
エッジの構成画素数は、注目画素から、前記エッジの方向において、輝度の変化が連続する画素の数である。図5では、エッジの構成画素数は、白抜き矢印の長さで示す。
エッジの最大輝度および最小輝度は、エッジの構成画素内の最大輝度と、最小輝度とである。
図4に戻り、制御部60は、既知の理想径Dを用いて、エッジ座標群の中からエッジ座標を抽出する処理を、エッジ情報のエッジ座標群それぞれに対し行う(ステップS3)。記憶部63には、予め、中心座標Xと理想径Dとが、記憶されている。中心座標Xは、例えば、画像データ内のウェル91の、予想される任意の中心座標である。理想径Dは、撮像装置1にセットされるウェルプレート9の設計上のウェル径(所謂、カタログ値)である。以下、ステップS2で抽出したエッジ情報のエッジ座標群は、「第1エッジ座標群E1」と称す。
制御部60は、第1エッジ座標群E1の一のエッジ座標と、中心座標Xとの距離Dwを算出する。そして、制御部60は、距離Dwと理想径Dとの差分が、許容範囲内であるかを判定する。許容範囲内である場合、制御部60は、そのエッジ座標を、第1エッジ座標群E1から抽出する。許容範囲を超える場合、そのエッジ座標は、中心座標Xとの距離Dwが、理想径Dに所定の許容値を加えた距離よりも離れすぎていると判定され、制御部60は、そのエッジ座標を、処理対象から除外する。制御部60は、前記処理を、第1エッジ座標群E1の各エッジ座標に対して行う。制御部60は、第1エッジ座標群E1から、抽出されたエッジ座標を、第2エッジ座標群E2として記憶する。つまり、このステップS3は、第1エッジ座標群E1に含まれる、ウェル91のエッジを特定する情報とは、明らかに関係のない情報を排除する処理である。
制御部60は、第2エッジ座標群E2を生成する処理を、エッジ情報に含まれる第1エッジ座標群E1すべてについて行う。なお、制御部60は、生成した第2エッジ座標群E2を記憶する際、それに対応づけて、ステップS2で抽出したエッジ特徴情報も記憶する。
次に、制御部60は、ステップS3で生成した第2エッジ座標群E2から、エッジ特徴情報に基づく、エッジ座標群の選択処理を行う(ステップS4)。
図6は、エッジ特徴情報に基づく選択を説明するためのイメージ図である。ただし、図6では、図5で示した画像データの図示を省略し、エッジ特徴情報のみを図示している。
ステップS4の処理では、例えば、制御部60は、第2エッジ座標群E2に対応するエッジ特徴情報に含まれる各エッジ強度が、閾値以上である場合、その第2エッジ座標群E2を選択する。ここで、制御部60は、エッジ特徴情報に含まれる全てのエッジ強度が閾値以上である場合に、対応する第2エッジ座標群E2を選択するようにしてもよい。また、制御部60は、エッジ特徴情報に含まれるエッジ強度の情報数と、閾値以上となるエッジ強度の情報数との割合に応じて、対応する第2エッジ座標群E2を選択するようにしてもよい。また、閾値は、カメラ40の解像度または撮像環境などによって、適宜変更される。
図6の場合、曲線M1で示すエッジ座標群に対応するエッジ強度は、すべて閾値未満であるとして、制御部60は、そのエッジ座標群を、選択から除外する。
また、制御部60は、第2エッジ座標群E2に対応するエッジ特徴情報に含まれる各エッジの方向が、中心座標Xから注目画素へ向かう方向(図中の破線矢印)と一致する場合、その第2エッジ座標群E2を選択する。中心座標Xは、前記のように、画像データ内のウェル91の、予想される任意の中心座標である。
図6の場合、曲線M2で示すエッジ座標群に対応するエッジの方向は、中心座標Xから注目画素へ向かう方向と一致しないものが多数ある。このため、制御部60は、その第2エッジ座標群E2を、選択から除外する。ここで、制御部60は、エッジの方向が、中心座標Xから注目画素へ向かう方向とずれるものが一つでもあれば、対応する第2エッジ座標群E2を選択から除外してもよいし、ずれる数の割合に応じて、第2エッジ座標群E2を選択から除外してもよい。
なお、制御部60は、エッジの方向にばらつきがなくても、各エッジの方向が、互いに反対方向に向く場合には、そのエッジ座標群を、選択から除外する。例えば、図示しないが、エッジ特徴情報の、一のエッジの方向が、注目画素から中心座標Xに向かう矢印で表され、他のエッジの方向が、中心座標Xから注目画素に向かう矢印で表される場合、制御部60は、このエッジ座標群を、選択から除外する。
また、制御部60は、エッジの構成画素数のばらつき、エッジの最大輝度および最小輝度のばらつきがある場合には、対応するエッジ座標群を、選択から除外するようにしてもよい。
このように、エッジ特徴情報を用いて、第2エッジ座標群E2を選択することで、ウェル91内のゴミまたは細胞93などに起因する外乱要素を含むエッジ座標(例えば、図6の曲線M1で示すエッジ座標群)が抽出されても、それらを排除できる。
なお、以下では、ステップS4で、第2エッジ座標群E2から選択されたエッジ座標群を、「第3エッジ座標群E3」と称す。
図7は、エッジ特徴情報に基づいて選択された第3エッジ座標群E3を説明するためのイメージ図である。この図7では、白抜き矢印で示すエッジ特徴情報に対応するエッジ座標群と、黒矢印で示すエッジ特徴情報に対応するエッジ座標群とが、選択された例を示す。白抜き矢印は、エッジの方向、エッジ強度、エッジの構成画素数が略同じである。また、黒矢印も、エッジの方向、エッジ強度、エッジの構成画素数が略同じである。
図4に戻り、制御部60は、ステップS4で選択された第3エッジ座標群E3に対して、最小二乗法による多項式近似を用いて、ウェル91のエッジ候補を生成する(ステップS5)。つまり、生成されるエッジ候補は、第3エッジ座標群E3のエッジ座標の近似曲線である。なお、ウェル91の形状は円形であるため、そのエッジ候補も円形である。例えば、ウェル91の中心座標(a,b)、半径rで表すと、第3エッジ座標群E3の各エッジ座標、および、(x−a)2+(y−b)2=r2の多項式を用いて、係数a,b,rを算出する。
制御部60は、中心座標Xを、想定される位置ズレ量分だけ移動させつつ、前記のステップS3からステップS5の処理を繰り返す。
図8は、多項式近似を用いて生成するエッジ候補のイメージ図である。本実施態では、ステップS2〜ステップS5の処理の結果、複数のエッジ候補が生成されたものとする。図8では、エッジ候補(A)、エッジ候補(B)、エッジ候補(C)、エッジ候補(D)、エッジ候補(E)およびエッジ候補(F)が生成された場合を示す。
図4に戻り、制御部60は、絶対指標である基準値を用いて、ステップS4で生成した複数のエッジ候補(A)〜(F)の中から、基準値を満たすエッジ候補を選択する(ステップS6)。以下に、絶対指標の例について説明する。
(絶対指標の第1の例)
第1の例では、エッジ候補と、その近隣エッジ座標との距離の統計量を、絶対指標とする。詳しくは、第3エッジ座標群E3のエッジ座標と、その第3エッジ座標群E3を近似して生成されたエッジ候補との距離の許容値(第1許容値)を、絶対指標とする。近似したエッジ候補から極端に外れたエッジ座標が多いと、その第3エッジ座標群E3の信頼性は低い。そこで、制御部60は、第3エッジ座標群E3のエッジ座標それぞれと、その第3エッジ座標群E3を近似して生成されたエッジ候補との距離を算出する。そして、算出距離が許容値以下となるエッジ座標の数が、ウェルの理想径から算出される理想エッジ数の1/2または1/3以上である場合に、制御部60は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。ただし、「1/2」および「1/3」の数値は一例であり、これに限定されない。
(絶対指標の第2の例)
第2の例では、各エッジ候補を構成するエッジ情報から算出される選択用指標の許容値を、絶対指標とする。ここで、選択用指標の算出について説明する。
前記のように、エッジ候補は、複数のエッジ座標から生成される近似曲線である。このため、エッジ座標を抽出できない場合に、エッジ候補を構成するエッジ候補には、図8に示すように、欠落している部分が存在する。制御部60は、有効な画素数N1を測定する。また、制御部60は、理想径Dからエッジ候補の円周の長さを算出し、円周の長さから、エッジ候補の円周上の全画素数N2を推定する。そして、制御部60は、推定した全画素数N2に対する、有効な画素数N1の割合(N1/N2)を算出する。
さらに、制御部60は、エッジ候補の円周を、例えば8等分割する。その分割された円周上において、連続する有効な画素の数N3を測定する。制御部60は、前記のように推定された全画素数N2から、分割された円周上の画素数N4を算出する。そして、制御部60は、画素数N4に対する、連続する有効な画素数N3の割合(N3/N4)を算出する。制御部60は、分割されたエッジ候補の円周それぞれに対して割合(N3/N4)を算出し、その中から最も低いものを選択する。
そして、制御部60は、算出した割合(N1/N2)と、選択した(N3/N4)とを乗算した(N1・N3)/(N2・N4)を、選択用指標とする。
制御部60は、算出した選択用指標が許容値(第2許容値)以上である場合に、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。有効な画素数が少ないエッジ情報から生成されるエッジ候補の信頼性は低い。つまり、この例では、信頼性が低いエッジ候補を除外できる。
(絶対指標の第3の例)
第3の例では、エッジ候補の径とウェル91の理想径Dとの差分の許容範囲値を、絶対指標とする。前記のように理想径Dは、ウェル91のカタログ値である。その理想径Dから、エッジ候補の径が極端に異なる場合、そのエッジ候補の信頼性は低い。そこで、制御部60は、エッジ候補の径とウェル91の理想径Dとの差分を算出する。この差分が許容範囲内である場合には、制御部60は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。
(絶対指標の第4の例)
第4の例では、エッジ候補の中心座標と、予め設定された中心座標Xとのズレ量の許容範囲値を、絶対指標とする。エッジ候補の中心座標と、予想されるウェル91の中心座標Xとのずれが大きいと、そのエッジ候補の信頼性は低い。そこで、制御部60は、エッジ候補の中心座標と、中心座標Xとのズレ量を算出する。算出したズレ量が許容範囲内である場合には、制御部60は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。
制御部60は、前記の第1〜第4の例で示した絶対指標の少なくとも一つを用いて、複数のエッジ候補の中から、基準値を満たすエッジ候補を選択する。
図9は、絶対指標を用いて選択したエッジ候補のイメージ図である。
図9は、ステップS6で説明した処理を行った結果、図8のエッジ候補(A)、エッジ候補(B)およびエッジ候補(D)が選択された例を示す。図8のエッジ候補(C)およびエッジ候補(E)は、エッジ座標の有効な画素数から算出される選択用指標が許容値未満であるとして、選択から除外されている。また、図8のエッジ候補(F)は、エッジ候補の径と理想径Dとの差分が、許容範囲外であるとして、選択から除外されている。
図4に戻り、制御部60は、ステップS6で選択したエッジ候補それぞれに対して、相対評価を行い、複数のエッジ候補のなかから、ウェル91のエッジを決定する(ステップS7)。以下に、相対評価について、3つの例を説明する。
(相対評価の第1の例)
第1の例では、制御部60は、ステップS6で選択したエッジ候補の中から、径が小さいエッジ候補を、ウェル91のエッジとして決定する。ウェル91をカメラ40で撮像する場合、ウェル91の壁の厚さなどにより、ウェル91のエッジの外側にエッジ情報を検出することがある。そこで、制御部60は、径が小さい方のエッジ候補を選択する。この例の場合、図9では、エッジ候補(D)が選択される。
この例において、径の情報に加え、エッジ特徴情報が用いられる。例えば、一のエッジ候補の径が、他のエッジ候補の径よりも小さい場合であっても、その一のエッジ候補のエッジ強度、エッジの方向、または、エッジの最大輝度および最小輝度に大きなばらつきがある場合には、その一のエッジ候補を、選択から除外する。
(相対評価の第2の例)
第2の例では、制御部60は、スコア値と、エッジ候補の径との組み合わせから、ウェル91の境界を決定する。この例で用いるスコア値は、前記した選択用指標と、エッジ候補とその近隣エッジ座標との距離の統計量と、エッジ特徴量から算出される特徴値と、をそれぞれ所定の重みづけを行った後、乗算した値である。例えば、図9において、エッジ候補(A)のスコア値が1.0、径が5とし、エッジ候補(B)のスコア値が0.7、径が4とし、エッジ候補(D)のスコア値が0.3、径が2とする。この場合、制御部60は、エッジ候補(D)のスコア値が相対的に低いとして、エッジ候補(D)を除外する。そして、制御部60は、エッジ候補(A)とエッジ候補(B)のうち、径が小さいエッジ候補(B)を選択する。
なお、制御部60は、スコア値が最も高いエッジ候補を、ウェル91の境界として決定してもよい。
制御部60は、前記の第1、第2の例で示した相対評価の少なくとも一方を行い、複数のエッジ候補の中から選択したエッジ候補を、ウェル91のエッジとして決定する。
図10は、相対評価を行って決定したエッジ候補のイメージ図である。
図10は、相対評価の第2の例で説明した処理を行った結果、図9のエッジ候補(B)が選択された例を示す。図9のエッジ候補(A)は、径が大きいとして、選択から除外され、エッジ候補(D)は、スコア値が低いとして、選択から除外される。
なお、ステップS7の相対評価を行う際に、複数のエッジ候補の中心座標のなかで、他とは極端にずれた中心座標がある場合には、制御部60は、その中心座標を有するエッジ候補を、選択から除外するようにしてもよい。
以上のように、光の屈折または細胞93等の影響により、複数のエッジ座標群が検出されても、複数の条件を段階的に適用させることで、不要なエッジ情報を排除することができる。その結果、ウェル91のエッジの決定を精度よく行える。そして、ウェル91内の細胞93の解析を精度良く行える。
例えば、エッジ特徴情報を用いて、第2エッジ座標群E2を選択することで、ウェル91内のゴミまたは細胞93などに起因する外乱要素を含むエッジ座標(例えば、図6の曲線M1で示すエッジ座標群)を有していても、それらを排除できる。また、絶対指標を用いることで、不要なエッジ情報を排除できる。さらに、絶対指標を満たしていても、他のエッジ候補と相対評価することで、他と極端に異なるエッジ候補を排除できる。つまり、一つの条件を満たしていても、異常な成分を含むようなエッジ候補を排除できる。この結果、ウェルのエッジが複雑な形状であったり、明瞭な画像データが得られない場合であったりしても、ウェル91のエッジを精度よく検出できる。
また、多項式近似を用いて、エッジ候補を生成することで、ロバスト性の高いエッジ検出が可能となる。さらに、多項式近似を用いることで、細胞93等の影響で検出されたエッジ座標を排除できる。
<3.変形例>
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
例えば、処理速度の高速化のために、画像処理を行う際、画像データを縮小して、処理範囲を狭くするようにしてもよい。また、画像処理を行う際、一画素ずつ処理を行う必要はなく、複数の画素を一単位として、画像処理を行ってもよい。
また、上記の実施形態では、画像処理に最小二乗法を用いているが、ハフ変換、円形モデルフィッティング等、既知の手法を用いてもよい。
さらに、上記の実施形態では、ウェルプレート9を用いているが、ウェルプレート9以外の試料容器を用いてもよい。
また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
1 撮像装置
9 ウェルプレート
10 ステージ
11 開口部
12 支持面
20 投光部
30 投光部移動機構
40 カメラ
50 カメラ移動機構
51 昇降移動機構
52 水平移動機構
60 制御部
61 プロセッサ
62 メモリ
63 記憶部
91 ウェル
92 培養液
93 細胞

Claims (5)

  1. 対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、
    a)前記画像データから、前記解析領域のエッジ座標群と共に、前記エッジ座標群に対応するエッジ特徴情報を抽出する工程と、
    b)前記工程a)で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群から、前記エッジ特徴情報に基づいてエッジ座標群を選択する工程と、
    c)前記工程b)で、選択されたエッジ座標群から、前記解析領域のエッジ候補を生成する工程と、
    を含む、画像処理方法。
  2. 請求項1に記載の画像処理方法であって、
    前記エッジ特徴情報は、前記エッジ座標群により特定されるエッジの方向、前記エッジの強度、前記エッジの構成画素数、前記エッジの最大輝度および最小輝度、の少なくとも一つを含む、
    画像処理方法。
  3. 請求項1または請求項2に記載の画像処理方法であって、
    前記工程c)は、
    前記エッジ座標群に対して、多項式近似によるエッジ候補を生成する、
    画像処理方法。
  4. 請求項1から請求項3までのいずれか一つに記載の画像処理方法であって、
    d)前記工程b)で複数のエッジ座標群が選択され、前記工程c)で複数のエッジ候補が生成された場合、前記複数のエッジ候補から、前記エッジ特徴情報に基づいて、エッジ候補を選択する工程、
    をさらに含む、画像処理方法。
  5. 対象物を解析する解析領域、および、前記解析領域の周囲を撮像するカメラと、
    前記カメラで撮像して得られる画像データを処理する制御部と、
    を備え、
    前記制御部は、
    a)前記画像データから、前記解析領域のエッジ座標群と共に、前記エッジ座標群に対応するエッジ特徴情報を抽出する工程と、
    b)前記工程a)で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群から、前記エッジ特徴情報に基づいてエッジ座標群を選択する工程と、
    c)前記工程b)で、選択されたエッジ座標群から、前記解析領域のエッジ候補を生成する工程と、
    を実行する、画像処理装置。
JP2017058513A 2017-03-24 2017-03-24 画像処理方法および画像処理装置 Active JP7112181B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017058513A JP7112181B2 (ja) 2017-03-24 2017-03-24 画像処理方法および画像処理装置
US16/485,572 US11094068B2 (en) 2017-03-24 2017-11-06 Image processing method and image processor
CN201780063309.7A CN109844810B (zh) 2017-03-24 2017-11-06 图像处理方法及图像处理装置
PCT/JP2017/039910 WO2018173352A1 (ja) 2017-03-24 2017-11-06 画像処理方法および画像処理装置
EP17902187.8A EP3605462A4 (en) 2017-03-24 2017-11-06 IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE
TW106139240A TWI657411B (zh) 2017-03-24 2017-11-14 圖像處理方法及圖像處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017058513A JP7112181B2 (ja) 2017-03-24 2017-03-24 画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2018160217A true JP2018160217A (ja) 2018-10-11
JP7112181B2 JP7112181B2 (ja) 2022-08-03

Family

ID=63795645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017058513A Active JP7112181B2 (ja) 2017-03-24 2017-03-24 画像処理方法および画像処理装置

Country Status (1)

Country Link
JP (1) JP7112181B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187420A1 (ja) * 2018-03-26 2019-10-03 株式会社Screenホールディングス 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2019175422A (ja) * 2018-03-26 2019-10-10 株式会社Screenホールディングス 画像処理方法、画像処理装置、プログラムおよび記憶媒体
WO2024095895A1 (ja) * 2022-11-02 2024-05-10 日本発條株式会社 処理方法、処理プログラムおよび処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346385A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 線図形化処理装置
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
WO2014017403A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用画像認識装置
JP2015158737A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP2016062123A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346385A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 線図形化処理装置
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法
WO2014017403A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用画像認識装置
JP2015158737A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP2016062123A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置および画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187420A1 (ja) * 2018-03-26 2019-10-03 株式会社Screenホールディングス 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2019175422A (ja) * 2018-03-26 2019-10-10 株式会社Screenホールディングス 画像処理方法、画像処理装置、プログラムおよび記憶媒体
US11244200B2 (en) 2018-03-26 2022-02-08 SCREEN Holdings Co., Ltd. Image processing method, image processing apparatus, and computer-readable recording medium having recorded thereon image processing program
JP7076361B2 (ja) 2018-03-26 2022-05-27 株式会社Screenホールディングス 画像処理方法、画像処理装置、プログラムおよび記憶媒体
WO2024095895A1 (ja) * 2022-11-02 2024-05-10 日本発條株式会社 処理方法、処理プログラムおよび処理システム

Also Published As

Publication number Publication date
JP7112181B2 (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
US11754392B2 (en) Distance determination of a sample plane in a microscope system
US10482592B2 (en) Shape measuring device, structured object manufacturing system, shape measuring method, structured object manufacturing method, shape measuring program, and recording medium
JP5956814B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
US20120194673A1 (en) Dimension Measuring Apparatus, Dimension Measuring Method, And Program For Dimension Measuring Apparatus
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
CN1584729A (zh) 图像投影方法和设备
JP2013517460A (ja) 複数の焦点面を用いた細胞特性決定
WO2018173352A1 (ja) 画像処理方法および画像処理装置
JP7112181B2 (ja) 画像処理方法および画像処理装置
TW201818064A (zh) 晶圓中開口尺寸之光學量測
WO2018042786A1 (ja) 画像処理方法、画像処理装置、および撮像装置
JP6842329B2 (ja) 画像処理方法および画像処理装置
JP2015175982A5 (ja) 画像処理装置、撮像装置およびプログラム
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
JP2015102694A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2006208187A (ja) 形状良否判定装置および形状良否判定方法
JP7025124B2 (ja) 画像処理方法および画像処理装置
US20160379360A1 (en) Inspecting method, inspecting apparatus, image processing apparatus, program and recording medium
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
WO2023022117A1 (ja) ダスト計測装置、ダスト計測方法およびプログラム
JP4496149B2 (ja) 寸法測定装置
JP2008175586A (ja) 硬さ試験機
JP2006242930A (ja) 合焦面の回転走査による二次元物体形状測定方法
JP2014032483A (ja) 測定方法、測定装置および測定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220722

R150 Certificate of patent or registration of utility model

Ref document number: 7112181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150