JP2015194700A - 合焦判定装置、合焦判定方法、及び撮像装置 - Google Patents
合焦判定装置、合焦判定方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2015194700A JP2015194700A JP2014260918A JP2014260918A JP2015194700A JP 2015194700 A JP2015194700 A JP 2015194700A JP 2014260918 A JP2014260918 A JP 2014260918A JP 2014260918 A JP2014260918 A JP 2014260918A JP 2015194700 A JP2015194700 A JP 2015194700A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- image
- imaging
- area
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体上の書き込みによる誤合焦を抑制するための技術を提供する。【解決手段】顕微鏡により被写体を分割撮像する際に、被写体の画像に基づいて、書き込み領域を検出する。ある領域が、色に関する画像特徴又は画素値の変化の滑らかさに関する画像特徴が所定の条件を満たす領域である特徴領域を含み、かつ、その特徴領域が被写体の画像の中で所定値以上の面積を有する場合に、当該領域が書き込み領域であると判定する。そして、書き込み領域内にある撮像位置については、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定する。【選択図】図5
Description
本発明は、撮像装置に用いられる合焦判定装置、及びその方法に関する。特に顕微鏡を用いた撮像装置において用いられる合焦判定装置、及びその方法に関する。
従来、被写体を撮像する際に、被写体以外の異物が被写体とイメージセンサの間の光学系に混入し、合焦動作に不都合が生じる場合がある。そこで、異物の影響を低減、或いは、除去しながら合焦を行う方法が開示されている(特許文献1)。
例えば特許文献1では、予め検出した異物の大きさから合焦動作に与える影響の大きさを推定し、異物の大きさによって合焦を行う位置を変更する方法が開示されている。
例えば特許文献1では、予め検出した異物の大きさから合焦動作に与える影響の大きさを推定し、異物の大きさによって合焦を行う位置を変更する方法が開示されている。
撮像装置の一例として、顕微鏡に搭載される撮像装置があり、観察対象の代表例としてはプレパラート(スライドとも呼ばれる)が挙げられる。一般的に顕微鏡は観察対象の大きさに対して視野が狭い。そのため、注目すべき位置をプレパラートに記録しておくことが行われる。例えばプレパラートの上面に配置されるカバーグラス上に、観察位置の目印となるマークが油性ペンなどで人の手により書き込まれることもある。このようなプレパラート上の書き込み(マーク)も合焦動作に不都合を生じる場合がある。
特許文献1では、光学系に付着したごみ等の異物を検出する画像信号に基づいて異物の位置や大きさの検出を行っている。そして合焦判定に、異物を含む領域を使用するか否かを切り替えることで異物に合焦せず、被写体に合焦するようにしている。
しかし、特許文献1の方法では、実際に被写体を撮像する前に撮像装置の事前動作として異物検出動作を行う必要がある。更に、特許文献1の方法が対象としている異物は被写体により変化する異物ではない。そのため、特許文献1の方法を、書き込みが加えられた被写体(プレパラートなど)の撮像に適用しようとしても、被写体ごとに異なる書き込みに対して合焦してしまう可能性をなくすことは困難である。
しかし、特許文献1の方法では、実際に被写体を撮像する前に撮像装置の事前動作として異物検出動作を行う必要がある。更に、特許文献1の方法が対象としている異物は被写体により変化する異物ではない。そのため、特許文献1の方法を、書き込みが加えられた被写体(プレパラートなど)の撮像に適用しようとしても、被写体ごとに異なる書き込みに対して合焦してしまう可能性をなくすことは困難である。
本発明は上記のような課題に鑑みなされたものであり、被写体上の書き込みによる誤合焦を抑制するための技術を提供することを目的とする。
本発明の第1態様は、顕微鏡により被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する合焦判定方法であって、前記被写体を撮像して得られた画像に基づいて、前記被写体に対し書き込みが行われている書き込み領域を検出する書き込み領域検出工程と、前記撮像位置ごとに合焦位置を決定する合焦位置決定工程と、を有し、前記書き込み領域検出工程では、ある領域が、色に関する画像特徴又は画素値の変化の滑らかさに関する画像特徴が所定の条件を満たす領域である特徴領域を含み、かつ、その特徴領域が前記画像の中で所定値以上の面積を有する場合に、当該領域が書き込み領域であると判定し、前記合焦位置決定工程では、前記書き込み領域内にある撮像位置については、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定することを特徴とする合焦判定方法である。
本発明の第2態様は、顕微鏡により被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する合焦判定装置であって、前記被写体を撮像して得られた画像に基づいて、前記被写体に対し書き込みが行われている書き込み領域を検出する書き込み領域検出手段と、前記撮像位置ごとに合焦位置を決定する合焦位置決定手段と、を有し、前記書き込み領域検出手段は、ある領域が、色に関する画像特徴又は画素値の変化の滑らかさに関する画像特徴が所定の条件を満たす領域である特徴領域を含み、かつ、その特徴領域が前記画像の中で所定値以上の面積を有する場合に、当該領域が書き込み領域であると判定し、前記合焦位置決定手段は、前記書き込み領域内にある撮像位置については、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定することを特徴とする合焦判定装置である。
本発明の第3態様は、顕微鏡により被写体を分割撮像する機能を有する撮像装置であって、被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する、本発明に係る合焦判定装置と、前記合焦判定装置により決定された合焦位置に従って、前記被写体の光軸方向の位置を移動する撮像位置移動手段と、前記撮像位置移動手段によって位置合わせされた前記被写体を撮像して出力用画像を取得する出力用画像撮像手段と、を有することを特徴とする撮像装置である。
本発明の第4態様は、本発明に係る合焦判定方法の各工程をコンピュータに実行させることを特徴とするプログラムである。
本発明によれば、被写体上の書き込みによる誤合焦を抑制することが可能となる。
本発明は、被写体に書き込まれたマークに誤って合焦することを抑制するための合焦判定装置及び合焦判定方法に関する。この技術は、自動焦点機能の要素技術として撮像装置に搭載されてもよいし、光軸方向の焦点位置を変えながら撮影された多層の画像群(Zスタック画像やフォーカスブラケット画像と呼ばれる)の中から合焦画像を抽出する画像処理装置に搭載されてもよい。具体的な適用例として、被写体はプレパラートを、撮像装置としては高解像度で静止画の撮像を行う顕微鏡等をそれぞれ想定し、以後の説明を行う。
<第1実施形態>
図1は本発明の第1実施形態における装置構成を示している。図1中、100は静止画の撮像が可能な顕微鏡装置を示している。101は被写体(撮像及び観察の対象)である。本実施形態では、透過物体が載せられたプレパラート101を被写体とする。102は被写体の全体を撮像するための全体画像撮像ユニットであり、低倍率な全体画像用対物レンズ103を通して得られた被写体像の撮像を行う。104は光源、105は対物レンズをそれぞれ示している。光源104からの光はプレパラート101を透過して対物レンズ
105に供給される。対物レンズ105は、全体画像用対物レンズ103に比べて高倍率であり、通常、プレパラート101の全体を視野に収めることができない。106は撮像ユニットであり、対物レンズ105を通して得られた被写体像を撮像する。107はプレパラート101を載せるためのステージであり、対物レンズ105の光軸方向(以下、Z方向)に垂直な平面(以下、XY平面)内で移動可能である。また、ステージ107は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する焦点位置を変更することが可能である。108はコントローラであり、全体画像撮像ユニット102、光源104、撮像ユニット106、ステージ107等の動作制御を行う。なお、対物レンズ105は、倍率の異なる複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ108が行うようにすると良い。
図1は本発明の第1実施形態における装置構成を示している。図1中、100は静止画の撮像が可能な顕微鏡装置を示している。101は被写体(撮像及び観察の対象)である。本実施形態では、透過物体が載せられたプレパラート101を被写体とする。102は被写体の全体を撮像するための全体画像撮像ユニットであり、低倍率な全体画像用対物レンズ103を通して得られた被写体像の撮像を行う。104は光源、105は対物レンズをそれぞれ示している。光源104からの光はプレパラート101を透過して対物レンズ
105に供給される。対物レンズ105は、全体画像用対物レンズ103に比べて高倍率であり、通常、プレパラート101の全体を視野に収めることができない。106は撮像ユニットであり、対物レンズ105を通して得られた被写体像を撮像する。107はプレパラート101を載せるためのステージであり、対物レンズ105の光軸方向(以下、Z方向)に垂直な平面(以下、XY平面)内で移動可能である。また、ステージ107は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する焦点位置を変更することが可能である。108はコントローラであり、全体画像撮像ユニット102、光源104、撮像ユニット106、ステージ107等の動作制御を行う。なお、対物レンズ105は、倍率の異なる複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ108が行うようにすると良い。
図2は、本実施形態の合焦判定方法を実行するコントローラ108の内部構成、及び、顕微鏡装置100を構成する各種デバイスとの関係を示している。200はCPUであり、処理に必要な演算を行う。201はプログラムやデータを記憶するROMであり、記憶されているプログラムやデータの読み出しが可能である。202はRAMであり、プログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。203はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、HDDやSSDなどから構成される。204〜207はインターフェースであり、それぞれ全体画像撮像ユニット102、光源104、撮像ユニット106、ステージ107にそれぞれ接続されている。208はLANインターフェースであり、コントローラ108がネットワークと接続する不図示の外部ストレージやPC209との通信を行う際にデータの送受信を行う。以下に説明する顕微鏡装置100の各処理は、CPU200によって実行されるプログラムにより実現されるものとする。なお、コントローラ108は、組み込みコンピュータとして顕微鏡装置100に搭載されてもよいし、汎用のコンピュータを用いて実現されてもよい。
次に、図3(a)及び図3(b)を用いて本実施形態の撮像対象であるプレパラート101の例を説明する。図3(a)及び図3(b)は、病理診断時において使用される組織細胞の診断(以下、組織診と呼ぶ)向けの検体を固定したプレパラートの例である。
図3(a)はプレパラート101を観察方向から見た際の様子を示している。300は検体であり、数μmの厚さに切り取られた組織細胞である。検体300は通常観察を容易にするために、所定の染料を用いて染色されている。301はラベルであり、プレパラートに関する文字情報や、電子データへアクセスするためのリンク情報を示すバーコード等が記載されている。302は後の観察における注目箇所の観察面(XY平面)内の位置が分かりやすいように書きこまれたマークである。マーク302は、プレパラート101の作成後の確認時や過去に行われた検査時に、油性マーカー等を使用して手書きされる。なお、マーク302は、単なる印だけでなく、文字や図形等であっても良い。
図3(b)はプレパラート101の観察方向に対して垂直な断面を示している。303はスライドグラスであり、304はカバーグラスを示している。検体300はスライドグラス303上に置かれており、封入剤305が塗布された状態でカバーグラス304が積載されている。マーク302は検体300を覆うカバーグラス304の表面に書き込まれており、検体300とは、カバーグラス304と封入剤305を合わせた厚み308の分だけ離れている。306は検体300に合焦させた場合の合焦面のZ方向位置を、307はマーク302に合焦させた場合の合焦面のZ方向位置をそれぞれ示している。一般的に顕微鏡用の対物レンズは被写界深度が浅く、特に高倍率の対物レンズにおいてはカバーグラス304の厚さよりも被写界深度が浅い。そのため、Z方向位置307に合焦させた状態で撮像を行うと検体300は被写界深度から外れ、検体300の像が大きくボケること
になる。
になる。
したがって、図1の撮像ユニット106でプレパラート101の高倍撮像を行う際に、誤ってマーク302に合焦させてしまった場合、マーク302の周辺では検体300がボケた観察に不適切な画像が得られてしまう。また、合焦判定処理において、周辺領域の合焦判定結果を用いる場合には、マーク302に対する誤った合焦判定結果の影響が周辺領域へ波及する場合もある。以下に述べる本実施形態の合焦判定は、上述のような合焦の誤判定により観察に不適切な画像が撮像されることを抑制することが目的である。
図4は本実施形態における顕微鏡装置100の機能ブロック図である。図4は、顕微鏡装置100が有する機能のうち、合焦判定方法に関連する機能のみを示している。400は撮像動作開始指示が入力される入力端子である。被写体供給部401は、撮像動作開始指示入力端子400から動作開始指示が入力されると、ステージ107を制御し、プレパラート101を全体画像撮像ユニット102で撮像可能な位置に搬送する。全体画像撮像部402は、全体画像撮像ユニット102を制御し、プレパラート101の全体、或いは、プレパラート中の検体300が存在する可能性のある領域の全体が収まるように撮像することにより、全体画像を取得する。検体300が存在する可能性のある領域とは、例えば、プレパラート101のラベル301部分以外の領域である。撮像範囲決定部403は、全体画像から実際に検体300が存在する範囲を検出して、出力用画像を撮像する際の撮像範囲を決定する。書き込み領域検出部404は、全体画像を解析して、書き込まれたマーク302が含まれる領域を検出する。なお、撮像範囲決定部403の処理と書き込み領域検出部404の処理の順番は逆でもよいし、或いは並行して実行される構成でも構わない。
撮像位置移動部405は、画角が狭く、被写界深度の浅い対物レンズ105を用いて出力用画像を撮像するにあたり、ステージ107を制御して、プレパラート101を撮像ユニット106に対してXY平面内或いはZ方向に移動させる。なお、プレパラート101側ではなく、撮像ユニット106側をXY平面内或いはZ方向に移動させてもよい。
合焦判定用画像撮像部406は、撮像ユニット106を制御し、プレパラート101中の検体300に合焦しているか否かを判定する際に使用する合焦判定用画像を撮像する。本実施形態では、異なるZ方向位置に焦点を合わせて撮像した複数枚の合焦判定用画像を用いて検体300の合焦位置を判定する。は通常複数のZ方向位置の画像から判定されるため、必要な全てのZ方向位置において撮像を行う。そのため、撮像位置移動部405によるZ方向位置移動と、合焦判定用画像撮像部406による撮像を、繰り返し実行し、必要な全てのZ方向位置において撮像を行う。合焦位置決定部407は、合焦判定用画像を用いて検体300に合焦しているZ方向位置を判定する。合焦位置決定部407において最終的に撮像を行うZ方向位置が決定すると、撮像位置移動部405が、決定されたZ方向位置に撮像位置を移動する。
なお、本実施形態では、合焦判定用画像撮像部406は、出力用画像を撮像するための撮像ユニット106を使用して合焦判定用画像を取得する。しかし、合焦判定用画像の取得のために、撮像ユニット106とは異なる撮像ユニットまたは光学系を図1に示した構成に追加しても良い。
出力用画像撮像部408は、撮像ユニット106を制御し、合焦していると判定されたZ方向位置において対物レンズ105を用いてプレパラート101を撮像することにより出力用画像を取得する。そして、撮像範囲決定部403で決定された撮像範囲のうち、未撮像領域が存在する場合には、撮像位置移動部405においてXY平面内の位置を移動させ、再度撮像を行う。409は画像出力端子であり、出力用画像撮像部408で撮像され
た出力用画像を出力する。
た出力用画像を出力する。
図5は本実施形態における合焦判定方法及び撮像方法の動作フローを示すフローチャートである。処理が開始されるとまず、ステップ500において被写体供給部401が被写体であるプレパラート101の供給を行う。ステップ501において全体画像撮像部402が全体画像の撮像を行った後に、ステップ502において、撮像範囲決定部403が全体画像から出力用画像のXY平面内における撮像範囲を決定する。一般的に撮像範囲は対物レンズ105の視野より広く、1回の撮像で出力用画像が得られないため、撮像範囲を複数のブロックに分けて撮像する分割撮像を行う必要がある。したがって、ステップS502にて、各ブロックのXY平面内の撮像位置も決定される。また、ステップ503において、書き込み領域検出部404が、全体画像から書き込み領域の検出を行う。なお、ステップ502とステップ503の処理順は逆でもよいし、ステップ502とステップ503を並列処理してもよい。
出力用画像の撮像範囲と書き込み領域が決定されると、ステップ504において、撮像位置移動部405がプレパラート101をXY平面内で移動し、最初の撮像位置にプレパラート101を位置決めする。ステップ505では、合焦位置決定部407が、現在のXY平面内の位置とステップ503で検出された書き込み領域の情報に基づき、現在の撮像位置が書き込み領域であるか否かの判定を行う。
ステップ505において書き込み領域ではないと判定された場合は、プレパラート101を撮像した画像による自動焦点検出により、現在の撮像位置に対する合焦位置を決定する。具体的には、ステップ506において撮像位置移動部405がプレパラート101のZ方向位置を最初の焦点位置に合わせる。そしてステップ507において合焦判定用画像撮像部406が合焦判定用画像の撮像を行う。合焦判定には異なるZ方向位置に焦点を合わせた複数枚の合焦判定用画像を用いる。そこで、ステップ508において、Z方向の必要な範囲に対し撮像が終了したか否かを判定し、終了していなかった場合には、ステップ506に戻ってZ方向位置の移動及び撮像を繰り返す。合焦判定用画像を取得するZ方向範囲は、検体300の厚み方向(深さ方向)全域を少なくとも包含するように決定される。例えば、スライドグラス、検体、カバーグラス等の厚みが予め想定できる場合には、スライドグラスの上面をZ方向範囲の最下位、カバーグラスの上面を最上位に設定してもよい。或いは、距離センサや表面形状(プロファイル)測定器により、スライドグラスやカバーグラスの上面高さを計測し、その計測結果に基づきZ方向範囲を決定することもできる。なお、各画像のZ方向位置の間隔(Z間隔)は、被写界深度と同程度に設定するとよい。
ステップ508において必要な撮像が終了していると判定されると、ステップ509において合焦位置決定部407が合焦位置の検出を行う。合焦位置決定部407は、例えば、複数のZ方向位置で撮像した画像それぞれについて、エッジ検出、コントラスト検出、或いは周波数成分分析等の既知の方法を用いて合焦度合いを評価し、最も合焦度合いの高い画像のZ方向位置を合焦位置と判定する。なお、合焦位置の判定は上述の方法に限定されず、他の方法を用いても良い。
一方、ステップ505において現在の撮像位置が書き込み領域であると判定された場合は、ステップ510の処理に移行する。そして、合焦位置決定部407は、現在のXY平面内位置における合焦位置の検出を行わずに、近傍領域の合焦位置を取得して、そのZ方向位置を現在のXY平面内の撮像位置における合焦位置として設定する。すなわち、マーク等の書き込みが存在すると判定した撮像位置については、被写体に対する自動焦点検出処理は行わず、現在の撮像位置とは異なる位置での合焦位置の値を用いて現在の撮像位置の合焦位置を決定するのである。これは、検体がほぼ同じ高さ(Z方向位置)に横方向(
XY面内)に広がって存在しているという性質を利用したものである。例えば、最近傍の撮像位置の合焦位置と同じ値を現在の撮像位置に適用してもよいし、複数の近傍撮像位置(両隣、上下左右、8近傍など)の合焦位置から求めた値(平均値など)を現在の撮像位置に適用してもよい。また、被写体のXY平面上に離散的に(疎に)配置した複数の点(離散点と呼ぶ)についてZ方向の合焦位置を予め取得しておき、これら離散点の合焦位置から推定されるZ方向位置を現在の撮像位置(XY平面位置)の合焦位置として設定しても良い。例えば、US2004/0105000公報に記載されているような方法を用いても良い。具体的には、予め取得した複数の離散点の合焦位置の値をもとに、線形もしくは高次の補間処理によって、合焦位置の分布を表す二次元平面、三次元平面、または曲面を算出するし、算出した平面や曲面から現在の撮像位置における合焦位置を求める。このような合焦位置の分布を表す平面や曲面は、合焦位置マップとも呼ばれる。
XY面内)に広がって存在しているという性質を利用したものである。例えば、最近傍の撮像位置の合焦位置と同じ値を現在の撮像位置に適用してもよいし、複数の近傍撮像位置(両隣、上下左右、8近傍など)の合焦位置から求めた値(平均値など)を現在の撮像位置に適用してもよい。また、被写体のXY平面上に離散的に(疎に)配置した複数の点(離散点と呼ぶ)についてZ方向の合焦位置を予め取得しておき、これら離散点の合焦位置から推定されるZ方向位置を現在の撮像位置(XY平面位置)の合焦位置として設定しても良い。例えば、US2004/0105000公報に記載されているような方法を用いても良い。具体的には、予め取得した複数の離散点の合焦位置の値をもとに、線形もしくは高次の補間処理によって、合焦位置の分布を表す二次元平面、三次元平面、または曲面を算出するし、算出した平面や曲面から現在の撮像位置における合焦位置を求める。このような合焦位置の分布を表す平面や曲面は、合焦位置マップとも呼ばれる。
ステップ509において合焦位置が判定されるか、ステップ510において合焦位置が設定されると、ステップ511において撮像位置移動部405がプレパラート101のZ方向位置を当該合焦位置に移動させる。このようにプレパラート101を位置合わせした後、ステップS512において出力用画像撮像部408がプレパラート101を撮像し、出力用画像を取得する。出力用画像は、バーチャルスライドと呼ばれる画面上での観察や診断に利用される画像であり、全体画像に比べて高倍率かつ高解像度の画像である。合焦位置のみの出力用画像を撮像してもよいし、合焦位置を中心とした所定のZ方向範囲から焦点位置の異なる複数層の出力用画像を撮像してもよい。
ステップ513では、ステップ502で決定した撮像範囲全域の(全ての撮像位置の)撮像が終了したか否かを判定し、終了していなければステップ504に戻って処理を繰り返す。一方、ステップ513において撮像が終了していると判定されると、処理を終了させる。
次に、図6を用いて、ステップ503の書き込み領域検出処理の詳細フローの例を示す。処理が開始されると、ステップ600において書き込み領域検出部404が全体画像からヒストグラムを取得する。書き込み領域検出部404は、ステップ601において該ヒストグラムから、出現頻度の最も高い色を検体300の色(例えば、染色された際に使用された色)として検出する。
以後の処理は、全体画像を複数の調査領域(部分領域)に分けて、調査領域ごとに書き込み領域か否かの判定を行う。詳しくは、調査領域が、色に関する画像特徴が所定の条件を満たす特徴領域を含み、且つ、その特徴領域が全体画像の中で所定値以上の面積をもつ場合に、当該調査領域を書き込み領域と判定する。このとき、調査領域と図5で述べた分割撮像のブロックとが一対一で対応するように、調査領域のサイズや分け方を決めると良い。また、全体画像の中で、図5のステップ502で決定した撮像範囲外になる調査領域については、書き込み領域か否かの判定対象外としても良い。
ステップ602において、書き込み領域検出部404は、最初に処理を行う調査領域を注目領域として選ぶ。次に、ステップ603において、書き込み領域検出部404は、注目領域内の代表色(色特徴)を検出する。代表色としては、例えば、注目領域内に含まれる色の中で所定値以上の出現頻度を有する色を用いることができる。そして、ステップ604において、書き込み領域検出部404は、注目領域の代表色が、ステップ601で検出した検体300の色に近いか否かを判定する。つまり、ステップ604では、注目領域が検体300のみで構成されている領域か或いは検体300以外の画像成分を含む領域かの判定を行う。
ステップ604において、注目領域の代表色が検体300の色に近い、すなわち検体3
00のみで構成されている領域であると判定した場合、書き込み領域検出部404は、注目領域を書き込み領域ではないと判定する(ステップ605)。注目領域の代表色が検体300の色に近いか否か、つまり、二つの色の類似度が所定値以上か否かの評価は、例えば、二つの色の間の色差(色空間内又は色度図上での距離)が所定値以下か否かにより評価することができる。なお、類似度を評価する場合に、濃度(輝度)の差、又は、色相の差のみを評価してもよい。
00のみで構成されている領域であると判定した場合、書き込み領域検出部404は、注目領域を書き込み領域ではないと判定する(ステップ605)。注目領域の代表色が検体300の色に近いか否か、つまり、二つの色の類似度が所定値以上か否かの評価は、例えば、二つの色の間の色差(色空間内又は色度図上での距離)が所定値以下か否かにより評価することができる。なお、類似度を評価する場合に、濃度(輝度)の差、又は、色相の差のみを評価してもよい。
一方、ステップ604において、注目領域の代表色が検体300の色に近くない(類似度が所定値より小さい)、すなわち、検体300以外の画像成分を含む領域であると判定された場合、処理はステップ606に移行する。ステップ606では、書き込み領域検出部404は、検体300以外の色と判定された上記代表色が連続的に分布している範囲(特徴領域)の面積(例えば画素数)を検出する。ここで、代表色が連続的に分布している範囲が注目領域内のみならず注目領域近傍の調査領域にまで広がっている場合があるため、ステップ606の判定処理においては注目領域近傍の調査領域も含めて、特徴領域の面積を検出するようにしても良い。具体的な処理としては、例えば、上記代表色と同じ色の画素(色のばらつきを考慮し代表色に類似する色の画素を含んでもよい)を残して注目領域を二値化した後、連続する白画素の数をカウントすればよい。
続いて、書き込み領域検出部404は、ステップ607において、ステップ606で検出した特徴領域の面積が所定値以上であるか否かの判定を行う。所定値未満の面積であった場合には、書き込み領域検出部404は、注目領域は書き込み領域ではないと判断する(ステップ605)。一方、ステップ607において、所定値以上の面積であると判断した場合には、書き込み領域検出部404は、注目領域が書き込み領域を含むと判断する(ステップ608)。なお、ステップ604において検体300以外の代表色が複数存在した場合には、ステップ606、607の処理は色ごとに行う。そして、ステップ607では少なくとも1つの色において所定値以上の面積があると判定された場合にはステップ608に移行するようにする。
ステップ605、或いは、ステップ608の処理が終了すると、書き込み領域検出部404は、全ての調査領域の処理を終えたか否かを判定し、未処理領域が存在する場合には、ステップ602に移行して処理を繰り返す。一方、ステップ609において未処理領域が無いと判定された場合には、処理を終了させる。
なお、本実施形態では、検体300の色に類似しない色特徴をもつ領域を書き込み領域の候補として抽出するが、色特徴としては種々のものを用いることができる。例えば、RGBのような色空間における画素値を用いてもよいし、YCbCr、YPbPr、YUV、L*a*b*のような色空間における輝度・色差値を用いてもよいし、XYZなどの色度座標を用いてもよい。また色特徴以外の画像特徴を用いることもできる。例えば、検体300が透過物体である場合には、検体300の平均濃度はマーク302の平均濃度に比べて低くなる。そのため、濃度値(輝度値)などの画像特徴により、検体300の部分とマーク302の部分を区別することもできる。あるいは、検体300の部分とマーク302の部分の境界には明瞭なエッジが形成されるので、色や濃度の均一性、コントラストなどの画像特徴に基づき、書き込み領域の候補を抽出することも可能である。なお、染色された検体300やマーク302内の濃さや色味は、染まり方や書き込まれ方のムラ等のため、場所によって異なる可能性がある。そのため、ステップ604及びステップ605において書き込み領域の候補を抽出する際には、画像特徴にある程度のバラツキが存在することを考慮すると良い。例えば、代表色との差が所定値より小さい場合には同じ色とみなす等の処理を行うと良い。
次に、画像の様子と、本実施形態の処理内容の関係を説明する。
全体画像として撮像される領域は、図3(a)において検体300が含まれる可能性のある領域である。もし、ラベル301の存在する領域が撮像前に特定できなければ、プレパラート101全体を撮像した後に、撮像画像からラベル301を検出し、ラベル301以外の領域を検体300の含まれる可能性のある領域としてもよい。そして、検体300の含まれる可能性のある領域に対して、図5のステップS502の処理を適用し、検体300が実際に含まれている領域(以後、検体範囲と呼ぶ)を検出する。
全体画像として撮像される領域は、図3(a)において検体300が含まれる可能性のある領域である。もし、ラベル301の存在する領域が撮像前に特定できなければ、プレパラート101全体を撮像した後に、撮像画像からラベル301を検出し、ラベル301以外の領域を検体300の含まれる可能性のある領域としてもよい。そして、検体300の含まれる可能性のある領域に対して、図5のステップS502の処理を適用し、検体300が実際に含まれている領域(以後、検体範囲と呼ぶ)を検出する。
図3(a)で説明したように、マーク302は検体300中の注目すべき領域の近傍に書き込まれるため、検出された検体範囲内には書き込まれたマーク302も含まれることになる。ここで、書き込みはプレパラート全体の一部に対してのみ行われるため、画像全体におけるマーク302の面積は検体範囲の面積に比べて十分小さいという特徴がある。そのため、全体画像或いは検体範囲のヒストグラムを取得すると、検体300の色に相当する画素値の頻度が高く出現する。一方、マーク302の色に相当する画素値の頻度は、検体300の色に比べて少ない。また、全体画像を撮像するような光学倍率では、検体300中に含まれる個々の細胞は確認できないが、マーク302は目視で視認できる大きさであるため、全体画像中では所定の面積を有している領域となる。一般的に使用される油性ペンの太さは細くても0.3mm程度であるため、製造上のばらつきや、マーク302の記入時のばらつきを考慮しても、線の太さや点の直径として0.1mm程度以上の画像成分が対象となる。そのため、全体画像中に高い頻度で出現する画像特徴(検体の画像特徴)とは異なる画像特徴を有していて、且つ、所定値以上の面積を有している、という条件で評価することにより、検体範囲内のマーク302を高い確度で検出することができる。
もし、マーク302を含む領域で合焦判定処理を行うと、検体300ではなく、マーク302に合焦してしまう可能性が否定できない。それゆえ、合焦判定を行っても結果の信頼性が低くなってしまう。特に、一般的に顕微鏡の画角(視野)は被写体に対して小さいため、被写体全体を撮像するためにはエリアセンサを用いて小領域ごとに分割撮像するか、ラインセンサを用いて走査させながら撮像する等の方法を用いることになる。このような撮像時において合焦判定処理を簡素化するために、検体300が連続的な物体であることを利用して、隣接領域の合焦判定結果を考慮して合焦判定を行う場合がある。このような場合に、参照される隣接領域にマーク302が存在しており、マーク302に合焦していた場合には、周辺領域まで合焦の誤判定結果の影響が波及してしまい、広い範囲で合焦に失敗してしまう可能性もある。本実施形態では、マーク302を含む領域に対しては、合焦判定処理を行わず、隣接する周辺領域で検出された合焦位置を利用する。これにより、マーク302を含む領域の画像を合焦判定に用いることによる誤判定を抑制することが可能となる。また、本実施形態によると、複数回の撮像が必要であり時間のかかる合焦判定処理の前に、マーク302の書き込まれた領域を検出し、当該領域に対する合焦判定処理を省略できる。その結果、撮像範囲全体の合焦判定に要する時間を短縮でき、処理の高速化を図ることができる。
なお、本発明は上述の構成に限定されるものではない。
例えば、図6のステップ601では、全体画像のヒストグラムを用いて検体300の色情報を取得したが、他の画像処理方法により検体300の色を推定してもよい。或いは、プレパラート101を作製する際に行った染色の情報を、プレパラート101の関連情報として取得する等により、検体300の色情報を得るようにしても良い。また、プレパラート101の全体画像が顕微鏡装置100とは別の装置で撮像される場合には、その全体画像と共に染色や検体の色情報を関連情報として保持しておき、顕微鏡装置100が全体画像を読み込む際に、同時に関連情報を読み込んでも良い。
例えば、図6のステップ601では、全体画像のヒストグラムを用いて検体300の色情報を取得したが、他の画像処理方法により検体300の色を推定してもよい。或いは、プレパラート101を作製する際に行った染色の情報を、プレパラート101の関連情報として取得する等により、検体300の色情報を得るようにしても良い。また、プレパラート101の全体画像が顕微鏡装置100とは別の装置で撮像される場合には、その全体画像と共に染色や検体の色情報を関連情報として保持しておき、顕微鏡装置100が全体画像を読み込む際に、同時に関連情報を読み込んでも良い。
また、図4、及び図5の説明では合焦判定用画像と出力用画像を別々に撮像した異なる
画像とした例を挙げているが、同一の画像であっても構わない。この場合、合焦判定用画像撮像部406において出力用画像を撮像するようにし、出力用画像撮像部408では合焦している画像のみを抽出して出力するようにすると良い。
更に、書き込み領域であるか否かの判定処理であるステップ505をステップ508の後で行うようにして、書き込み領域であった場合にはステップ509の処理のみ行わないようにする等の変形例も適用可能である。
また、本実施形態では、複数のZ方向位置で撮像した画像を用いて合焦位置を判定する例を説明した。しかし、合焦判定方法はこれに限るものではなく、被写体に書き込まれたマーク302により合焦判定が誤る可能性がある、他の合焦判定方法に対しても適用可能である。
画像とした例を挙げているが、同一の画像であっても構わない。この場合、合焦判定用画像撮像部406において出力用画像を撮像するようにし、出力用画像撮像部408では合焦している画像のみを抽出して出力するようにすると良い。
更に、書き込み領域であるか否かの判定処理であるステップ505をステップ508の後で行うようにして、書き込み領域であった場合にはステップ509の処理のみ行わないようにする等の変形例も適用可能である。
また、本実施形態では、複数のZ方向位置で撮像した画像を用いて合焦位置を判定する例を説明した。しかし、合焦判定方法はこれに限るものではなく、被写体に書き込まれたマーク302により合焦判定が誤る可能性がある、他の合焦判定方法に対しても適用可能である。
更に、透過物体の観察時には、検体300が無い領域では光源の光がそのまま観察されるため、非常に高輝度な白色に近い画素値として検出される。検体の無い領域はマーク302と同様に検体300中に含まれる細胞に比べて十分に大きい場合がある。そのため、このような領域においてはマーク302ではないと判断して除外する処理を追加しても良い。なお、光源の色は完全な白色ではなく、例えば、黄色味を帯びた色であったりする場合がある。そこで、撮像時に使用した光源の情報、或いは、カラーフィルタの情報を別途取得して、光源の色であると判定される場合には除外するようにしても良い。
<第2実施形態>
前述の第1実施形態においては、全体画像を用いてマーク302を検出することで、マーク302の位置で合焦判定を行わないようにする例を説明した。しかし、全体画像を撮像するための全体画像撮像ユニット102の解像度が低い場合、マーク302が小さく書き込まれると、全体画像上では検出が困難になってしまう可能性がある。そこで第2実施形態では、全体画像ではなく、高倍率の対物レンズを使用して局所的な画像が撮像される合焦判定用画像、或いは出力用画像を用いて、マーク302を検出する例を説明する。
前述の第1実施形態においては、全体画像を用いてマーク302を検出することで、マーク302の位置で合焦判定を行わないようにする例を説明した。しかし、全体画像を撮像するための全体画像撮像ユニット102の解像度が低い場合、マーク302が小さく書き込まれると、全体画像上では検出が困難になってしまう可能性がある。そこで第2実施形態では、全体画像ではなく、高倍率の対物レンズを使用して局所的な画像が撮像される合焦判定用画像、或いは出力用画像を用いて、マーク302を検出する例を説明する。
図7は注目領域の様子を示す一例である。図7において、700は検体300の一部である検体領域を示している。701は書き込まれたマーク302の一部であるマーク領域を示している。合焦判定用画像、或いは出力用画像の場合、複数の細胞から構成されている検体領域700は、検体300に合焦しているZ方向位置で撮像した場合には、図7に示したように個々の細胞が確認できる。一方、検体300に合焦していないZ方向位置で撮像した場合、対物レンズ105の被写界深度が浅いため、検体領域700内の像は大きくボケる。その結果、検体領域700は、ほぼ一様な色(染色された検体の色が混ざり合った色)の領域として観察される。
第1実施形態で説明した全体画像中の検体300の領域と同様に、検体領域700では、染色時に使用された染料の色が多数を占めている。例えばプレパラート101の検体領域700では、該染料の色に該当する画素値が多く検出される。一方、マーク領域701は、例えば油性マジック等のペンで書き込まれたマークであり、マーク領域701において画素値を判定すると、使用したペンのインクに対応した画素値が得られる。
ここで、特に検体300に対する合焦状態に応じて、検体領域700に出現する色と、マーク領域701に出現する色が近い色になる場合がある。代表的な例としては、組織診において最も一般的に行われているHE染色であり、2種類の染料が使用されている。HE染色では、エオジンが細胞質を赤紫色に、ヘマトキシリンが細胞核を濃い青紫色にそれぞれ検体300を染める。一般的に細胞核よりも細胞質の断面積の方が広いため、低倍率での観察時や、検体300に合焦していない状態で観察すると検体300は主に赤紫色に見える。一方、検体300に合焦している場合には、細胞質のみならず、濃い青紫色に染まった細胞核が、形状、色ともに明確に観察可能となる。そして、染色液中のヘマトキシ
リンの濃度や染色時間の長さ等によっては更に濃い色に染まる場合もあり、例えば、黒や青等の油性ペンのインクに近い色となる場合もある。
リンの濃度や染色時間の長さ等によっては更に濃い色に染まる場合もあり、例えば、黒や青等の油性ペンのインクに近い色となる場合もある。
このように、合焦判定用画像、或いは出力用画像等のように高倍率での観察では、合焦状態によってはマーク302に近い画素値が検出される場合がある。しかし、マーク302は観察対象となる細胞の大きさに比べて十分に太い先端を有するペンで描かれるため、色の判定と併せて、細胞の大きさに対して十分に広い面積を有している領域を検出すればよい。
なお、合焦判定用画像は複数のZ方向位置において撮像されるため合焦位置が異なり、その結果、検体300やマーク302の見え方が異なる。そのため、複数のZ方向位置において撮像された合焦判定用画像の中で、いずれか1つでも書き込みの特徴を有する領域が存在する場合には、書き込み領域であると判定するようにすると良い。これにより、書き込み領域の判定精度を向上できる。
なお、全体画像撮像ユニット102が低解像度であっても、全体画像から検体300の色に関するヒストグラムを取ることは可能である。そのため、第1実施形態と同じように、予め全体画像から取得したヒストグラムにより、検体の色(染色の色)を求めておくと良い。そして、局所的な画像である合焦判定用画像、或いは出力用画像中において色と面積を比較することによりマーク領域を検出するようにすると良い。
また、本実施形態に関する好適な色取得方法の例としては、画像とは別に染色の情報を関連情報として取得し、その関連情報を基に検体領域700に出現する色を特定する方法が挙げられる。特に上述のHE染色のように複数の染料が使用されている場合、上述の説明のように合焦状態によって検体300で観察できる色数が異なる。このような場合、全体画像から取得したヒストグラムに基づいて使用されている色を推定すると、面積の小さい細胞核を染める染料の色が検出できない場合がある。画像とは別に染色情報を取得しておくことにより、ヒストグラム算出では検出できなかった色成分があっても、検出することが可能となる。
特に、全体画像の撮像(図5のステップ501)をまったく行わない場合においては、合焦判定用画像や出力用画像を用いて書き込み領域の検出を行うと良いが、この場合に検体300全体のヒストグラムを得ることが困難になる。そこで、染色の情報を別途取得することにより、全体画像を全く必要としないような構成にすることも可能である。
本実施形態では、局所的な合焦判定用画像、或いは出力用画像を用いて、マーク302の有無の判定を行う。それ以降の処理は第1実施形態と同じでよい。すなわち、図5のステップ504で設定された現在の撮像位置に関して、書き込み領域と判定された場合には、当該撮像位置では合焦判定(ステップ509)を行わず、周辺領域の合焦位置を利用する、または予め取得した複数の離散点の合焦位置から当該撮像位置での合焦位置を推定する(ステップ510)。一方、現在の撮像位置が書き込み領域であると判定された場合は、当該撮像位置についてはステップ506〜509で述べた合焦判定処理を実行すればよい。
なお、本実施形態において合焦判定用画像と出力用画像が異なる画像であるとして説明を行ったが、出力用画像に要求される条件と同じ条件で合焦判定用画像の撮像を行うことにより、出力用画像の撮像を省略しても構わない。この場合、合焦判定のために複数のZ方向位置において画像を撮像済みであるため、合焦位置に対応する合焦判定用画像を出力用画像として抽出し、出力すればよい。
以上説明したように本実施形態によると、全体画像ではなく、合焦判定用画像或いは出力用画像を用いてマーク302の検出が可能になる。全体画像上でのマーク302の判断が必要なくなるため、全体画像が低解像度であった場合であっても、高精度にマーク302を検出することが可能となる。その結果、高精度にマーク302の位置を避けて合焦判定を行うことが可能となる。また、全体画像の撮像系や処理を省略できれば、装置の小型化や処理の高速化を図ることも可能となる。
<第3実施形態>
前述の第1実施形態及び第2実施形態においては、画像中の色と面積を組み合わせた結果に基づいてマーク302を検出する例について説明した。第3実施形態においては、色以外の特徴に基づいてマーク302を検出し、合焦判定を制御する例について説明する。
前述の第1実施形態及び第2実施形態においては、画像中の色と面積を組み合わせた結果に基づいてマーク302を検出する例について説明した。第3実施形態においては、色以外の特徴に基づいてマーク302を検出し、合焦判定を制御する例について説明する。
図8は、注目領域の様子を示す他の一例である。図7の例では、書き込まれたマーク302の領域700が特定の(所定範囲内の)色であることを用いて説明した。しかし、マーク302の書き込み方によっては、同一の色とはみなすことが難しいほど大きく濃度変化を起こす場合がある。図8において、800はマーク302の中で低濃度の領域を、801及び802は高濃度の領域を示している。図8のような濃度変化が発生する状況としては、ペン先の太さよりも大きなマークを書き込む場合がある。ペン先を書き込み対象に接触させた後で移動させずに離した場合には、図7のように濃度ムラの少ないマークとなる。しかし、ペン先を書き込み対象に接触させた後で移動させた場合には、ペン先が先に付着したインクを押しのけながら移動するため、ペン先の軌跡に沿ってインクが薄くなり800のように低濃度領域になる。逆に、ペン先の軌跡の周囲では、押しのけられたインクが掃き寄せられてインクが厚くなり、801や802のように高濃度領域になる。このような場合、低濃度領域800と高濃度領域801、802の濃度差が非常に大きくなる場合があり、単に色を見るだけでは同一色とみなせない場合がある。特に、低濃度領域800では、下に存在する検体300が透けて見えてしまうほど濃度が低下する場合もある。本実施形態においては、このような場合であってもマーク302を検出可能とする例について説明する。
本実施形態の方法は特に、マーク302の濃度変化や、検体領域700に含まれる細胞が観察できるような画像に適用する場合に有効である。すなわち、合焦判定用画像や出力用画像を用いてマーク302を検出する場合に特に有効である。
以下、撮像により得られる画像の特徴と、該画像の特徴に基づいたマーク302の検出処理について説明する。
図8において、ペン先の動きにより低濃度領域800と高濃度領域801、802が形成される際には、各領域の境界付近においてインクの表面張力が働くことにより、インク濃度の変化は緩やかとなり明確なエッジが形成されにくい。一方、インクの存在する領域800、801、802と、インクの存在しない検体領域700の間には、明確なエッジが存在する。更に、特に撮像時の倍率が高い場合には、検体領域700では密集した細胞による多数のエッジも検出される。
図8において、ペン先の動きにより低濃度領域800と高濃度領域801、802が形成される際には、各領域の境界付近においてインクの表面張力が働くことにより、インク濃度の変化は緩やかとなり明確なエッジが形成されにくい。一方、インクの存在する領域800、801、802と、インクの存在しない検体領域700の間には、明確なエッジが存在する。更に、特に撮像時の倍率が高い場合には、検体領域700では密集した細胞による多数のエッジも検出される。
そのため、前述の色に関する画像特徴の代わりに、濃度変化の滑らかさに関する画像特徴を用いることにより、マーク302を検出することが可能となる。すなわち、濃度変化が所定条件よりも滑らかな(緩やかな)領域が所定値以上の面積を有していたら、当該領域が書き込まれたマーク302であると判定するのである。滑らかさの画像特徴の検出方法としては、例えば微分フィルタなどのエッジ強調(又は抽出)フィルタや周波数解析など、既知の様々な方法が適用可能である。エッジ強調(又は抽出)フィルタの場合、演算結果が所定の閾値より小さければ濃度変化が滑らかであると判断できる。周波数解析の場合、低周波成分の強度が所定の閾値より大きいか、高周波成分の強度が所定の閾値より小
さければ、濃度変化が滑らかであると判断できる。また、濃度以外にも、輝度値変化、色差の変化等の画像を表現する様々な画素値の変化が適用可能である。
さければ、濃度変化が滑らかであると判断できる。また、濃度以外にも、輝度値変化、色差の変化等の画像を表現する様々な画素値の変化が適用可能である。
なお、局所的にみると細胞がまばらな領域が存在する場合があるため、細胞間の領域においてエッジが検出されずに画素値の変化が滑らかな領域であると判定されてしまう可能性がある。第1実施形態でも述べたが検出対象のマーク302は細胞の大きさよりも十分に大きい。そのため、画素値の変化の滑らかさに加えて、滑らかな領域の面積が所定以上であることを組み合わせて判定することにより、検体300の色が分からなくても、マーク302を高い精度で検出を行うことが可能となる。
本実施形態の方法は、マーク302の特徴が観察可能な高倍率で撮像された合焦判定用画像或いは出力用画像を用いて書き込み領域の検出を行うことが好ましい。しかし、全体画像が十分に高解像度で、マーク302の特徴が観察可能であれば、全体画像を用いても良い。なお、上述の色の判定と滑らかな領域の判定においては、処理の順番は入れ替っても構わない。
以上説明したように本実施形態によると、画素値変化の滑らかさに基づいてマーク302を検出することが可能になる。その結果、画素値変化の滑らかさ、及び面積が所定以上であることを用いる事により、検体300の色や、検体300を染色した際に使用した染料が分からなくても、マーク302を検出可能となる。
<その他の実施形態>
本発明は上述の実施形態に限定されるものではなく、他の様々な実施形態がある。
例えば、上述した画素値の変化の滑らかさ、及び面積が所定以上であることの2つの組み合わせ以外の応用例も考えられる。
本発明は上述の実施形態に限定されるものではなく、他の様々な実施形態がある。
例えば、上述した画素値の変化の滑らかさ、及び面積が所定以上であることの2つの組み合わせ以外の応用例も考えられる。
ヒストグラムや外部情報から検体300に含まれる色が分かっている場合、検体300に含まれる色以外の色はマーク302の可能性がある。また、上述のように、マーク302は画素値の変化が滑らかである。そこで、検体300に含まれる色以外の色を含む領域に対して、画素値の変化が滑らかな領域を検出することにより、マーク302を検出するようにしても良い。このようにすることで、例えば、注目領域のみ或いは注目領域と比較的狭い範囲の隣接領域のみで、マーク302を検出することが可能となる。そのため、特に検体300に対して画角が狭くなる合焦判定用画像、或いは出力用画像上でマーク302を検出する際に有効である。
また、上述したマーク302や検体300の特徴を全て考慮してマーク302の検出を行うようにしても良い。具体的には、色に関する画像特徴と画素値の変化の滑らかさに関する画像特徴の両方を用いて特徴領域を判定し、その面積が所定値以上であった場合に、当該特徴領域をマーク302と判定するようにしても良い。例えば、色に関する画像特徴が条件を満たす領域内では画素値の変化の滑らかさに関する画像特徴の条件を緩和すると良い。このようにすることで、例えば、埃などのゴミが付着したり或いはキズによるインクの剥がれなど画素値の変化の滑らかさがマーク302上で失われたりするような場合であっても、誤検出を抑制できる。具体的には、マーク302の可能性が高い色を含む領域ではゴミやキズの影響によるエッジを無視する、或いは、滑らかさの判定基準となる閾値を変更する等を行うことにより、誤検出を抑制することが可能となる。
上記実施形態では、書き込み領域と判定された撮像位置に対し、近傍領域からの算出値又は複数の離散点の合焦位置からの推定値を合焦位置に設定したが、以下の理由がある場合は、設定した合焦位置の変更が望ましい。例えば、撮像対象となる検体中の構造物(核等)の偏りによって近傍領域からの算出では精度が出ない場合や、離散点の間隔が広く推
定の精度が悪い場合などである。こうした場合は、設定した合焦位置の近傍から最も合焦するZ方向位置を探索してもよい。例えば、設定した合焦位置で撮像した画像と、焦点位置を光軸方向にシフトした後撮像した画像との間で、コントラスト値などの合焦度合いを比較することで、より焦点が合うように合焦位置を変更する。
さらに、前述の空間的に離散した複数の離散点における合焦位置の値に基づいて平面または曲面を算出する方式を使う場合において、平面または曲面の算出に用いる離散点を決定(選択)する際に、書き込み領域の判定結果を用いてもよい。すなわち、書き込み領域であると判定された部分領域以外の被写体上に複数の測定点を離散的に配置し、各測定点で合焦位置検出を行い、その検出結果に基づいて合焦位置の分布を表す平面または曲面を算出してもよい。この平面または曲面(合焦位置マップ)は、測定点以外の撮像位置(XY平面位置)における合焦位置を推定するのに用いることができる。
定の精度が悪い場合などである。こうした場合は、設定した合焦位置の近傍から最も合焦するZ方向位置を探索してもよい。例えば、設定した合焦位置で撮像した画像と、焦点位置を光軸方向にシフトした後撮像した画像との間で、コントラスト値などの合焦度合いを比較することで、より焦点が合うように合焦位置を変更する。
さらに、前述の空間的に離散した複数の離散点における合焦位置の値に基づいて平面または曲面を算出する方式を使う場合において、平面または曲面の算出に用いる離散点を決定(選択)する際に、書き込み領域の判定結果を用いてもよい。すなわち、書き込み領域であると判定された部分領域以外の被写体上に複数の測定点を離散的に配置し、各測定点で合焦位置検出を行い、その検出結果に基づいて合焦位置の分布を表す平面または曲面を算出してもよい。この平面または曲面(合焦位置マップ)は、測定点以外の撮像位置(XY平面位置)における合焦位置を推定するのに用いることができる。
なお、上述の実施形態はCPU200によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば上述の一部或いは全部をハードウェアにより構成するようにしても良い。
以上説明したように、本発明を用いると、撮像時の合焦判定において被写体に書き込まれたマークに誤って合焦することを抑制することが可能となる。これにより、検体に合焦した撮像を行うことが可能となる。
100:顕微鏡装置、101:プレパラート、102:全体画像撮像ユニット、106:撮像ユニット、108:コントローラ
300:検体、301:ラベル、302:マーク
300:検体、301:ラベル、302:マーク
Claims (16)
- 顕微鏡により被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する合焦判定方法であって、
前記被写体を撮像して得られた画像に基づいて、前記被写体に対し書き込みが行われている書き込み領域を検出する書き込み領域検出工程と、
前記撮像位置ごとに合焦位置を決定する合焦位置決定工程と、を有し、
前記書き込み領域検出工程では、ある領域が、色に関する画像特徴又は画素値の変化の滑らかさに関する画像特徴が所定の条件を満たす領域である特徴領域を含み、かつ、その特徴領域が前記画像の中で所定値以上の面積を有する場合に、当該領域が書き込み領域であると判定し、
前記合焦位置決定工程では、
前記書き込み領域内にある撮像位置については、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定する
ことを特徴とする合焦判定方法。 - 前記合焦位置決定工程では、書き込み領域外にある撮像位置については、当該撮像位置において合焦位置を検出する自動焦点検出処理により合焦位置を決定する
ことを特徴とする請求項1に記載の合焦判定方法。 - 前記合焦位置決定工程では、書き込み領域内にある撮像位置については、合焦位置を検出する自動焦点検出処理を行わずに、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定する
ことを特徴とする請求項1又は2に記載の合焦判定方法。 - 前記合焦位置決定工程では、書き込み領域内にある撮像位置については、最近傍の他の撮像位置の合焦位置と同じ値、又は、複数の近傍の撮像位置の合焦位置から求めた値を、当該撮像位置の合焦位置に適用する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の合焦判定方法。 - 前記合焦位置決定工程では、書き込み領域内にある撮像位置については、前記被写体上に離散的に配置した複数の離散点での合焦位置の値から当該撮像位置での推定値を求め、その推定値を当該撮像位置の合焦位置に適用する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の合焦判定方法。 - 前記書き込み領域検出工程は、各撮像位置に対応する部分領域ごとに、前記書き込み領域であるか否かを判定する
ことを特徴とする請求項1〜5のうちいずれか1項に記載の合焦判定方法。 - 前記自動焦点検出処理は、光軸方向の焦点位置を変えて被写体を撮像することにより複数の合焦判定用画像を取得し、前記複数の合焦判定用画像それぞれの合焦度合いを評価し、最も合焦度合いの高い合焦判定用画像が得られた焦点位置を合焦位置に決定する処理である
ことを特徴とする請求項2又は3に記載の合焦判定方法。 - 前記書き込み領域検出工程では、
前記被写体を撮像して得られた画像の中から出現頻度の最も高い色を検出し、
前記検出された色との類似度が所定値より小さい色を有する領域を、前記特徴領域とする
ことを特徴とする請求項1〜7のうちいずれか1項に記載の合焦判定方法。 - 前記書き込み領域検出工程では、
前記被写体の関連情報、又は、前記被写体を撮像して得られた画像の関連情報として、前記被写体の色を表す情報を取得し、
前記関連情報として得た前記被写体の色との類似度が所定値より小さい色を有する領域を、前記特徴領域とする
ことを特徴とする請求項1〜7のうちいずれか1項に記載の合焦判定方法。 - 前記色に関する画像特徴は、画素値、輝度・色差値、色度座標、濃度値、又は、コントラストである
ことを特徴とする請求項1〜9のうちいずれか1項に記載の合焦判定方法。 - 前記書き込み領域検出工程では、特徴領域か否かの判定において、色に関する画像特徴が所定の条件を満たす領域内では画素値の変化の滑らかさに関する画像特徴の条件を緩和する
ことを特徴とする請求項1〜10のうちいずれか1項に記載の合焦判定方法。 - 前記被写体は、検体を固定したプレパラートであり、
前記書き込みは、前記検体を覆うカバーグラスの表面に書き込まれたマークである
ことを特徴とする請求項1〜11のうちいずれか1項に記載の合焦判定方法。 - 前記被写体を撮像して得られた画像は、プレパラートの全体画像、プレパラート中の検体が存在する可能性のある領域の画像、又は、合焦位置を検出する自動焦点検出処理に用いる画像である
ことを特徴とする請求項1〜12のうちいずれか1項に記載の合焦判定方法。 - 顕微鏡により被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する合焦判定装置であって、
前記被写体を撮像して得られた画像に基づいて、前記被写体に対し書き込みが行われている書き込み領域を検出する書き込み領域検出手段と、
前記撮像位置ごとに合焦位置を決定する合焦位置決定手段と、を有し、
前記書き込み領域検出手段は、ある領域が、色に関する画像特徴又は画素値の変化の滑らかさに関する画像特徴が所定の条件を満たす領域である特徴領域を含み、かつ、その特徴領域が前記画像の中で所定値以上の面積を有する場合に、当該領域が書き込み領域であると判定し、
前記合焦位置決定手段は、
前記書き込み領域内にある撮像位置については、当該撮像位置とは異なる位置での合焦位置の値に基づき当該撮像位置の合焦位置を決定する
ことを特徴とする合焦判定装置。 - 顕微鏡により被写体を分割撮像する機能を有する撮像装置であって、
被写体を分割撮像する際の各撮像位置での光軸方向の合焦位置を決定する、請求項14に記載の合焦判定装置と、
前記合焦判定装置により決定された合焦位置に従って、前記被写体の光軸方向の位置を移動する撮像位置移動手段と、
前記撮像位置移動手段によって位置合わせされた前記被写体を撮像して出力用画像を取得する出力用画像撮像手段と、を有する
ことを特徴とする撮像装置。 - 請求項1〜13のうちいずれか1項に記載の合焦判定方法の各工程をコンピュータに実
行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014260918A JP2015194700A (ja) | 2014-03-17 | 2014-12-24 | 合焦判定装置、合焦判定方法、及び撮像装置 |
US14/636,373 US20150260973A1 (en) | 2014-03-17 | 2015-03-03 | Focus determination apparatus, focus determination method, and imaging apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053655 | 2014-03-17 | ||
JP2014053655 | 2014-03-17 | ||
JP2014260918A JP2015194700A (ja) | 2014-03-17 | 2014-12-24 | 合焦判定装置、合焦判定方法、及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015194700A true JP2015194700A (ja) | 2015-11-05 |
Family
ID=54068663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014260918A Pending JP2015194700A (ja) | 2014-03-17 | 2014-12-24 | 合焦判定装置、合焦判定方法、及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150260973A1 (ja) |
JP (1) | JP2015194700A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019003410A1 (ja) * | 2017-06-30 | 2019-01-03 | オリンパス株式会社 | 細胞画像取得装置および細胞画像取得方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10401793B2 (en) * | 2010-06-17 | 2019-09-03 | Purdue Research Foundation | Digital holographic method of measuring cellular activity and measuring apparatus with improved stability |
US11330164B2 (en) * | 2020-03-17 | 2022-05-10 | KLA Corp. | Determining focus settings for specimen scans |
CN114137714B (zh) * | 2021-11-09 | 2024-03-29 | 南京泰立瑞信息科技有限公司 | 一种放大成像系统快速对焦装置的异色光源匹配检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295462A (ja) * | 1999-02-04 | 2000-10-20 | Olympus Optical Co Ltd | 顕微鏡画像伝送システム |
US20040105000A1 (en) * | 2002-11-29 | 2004-06-03 | Olymlpus Corporation | Microscopic image capture apparatus |
-
2014
- 2014-12-24 JP JP2014260918A patent/JP2015194700A/ja active Pending
-
2015
- 2015-03-03 US US14/636,373 patent/US20150260973A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019003410A1 (ja) * | 2017-06-30 | 2019-01-03 | オリンパス株式会社 | 細胞画像取得装置および細胞画像取得方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150260973A1 (en) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4558047B2 (ja) | 顕微鏡システム、画像生成方法、及びプログラム | |
US20150187077A1 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
JP6089886B2 (ja) | 領域分割方法および検査装置 | |
WO2012169088A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
WO2016030897A1 (en) | System and method for calculating focus variation for a digital microscope | |
CN104101294B (zh) | 分析装置、分析程序以及分析系统 | |
EP1986046A1 (en) | A method for determining an in-focus position and a vision inspection system | |
KR102140385B1 (ko) | 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템 | |
WO2014192184A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
JP2015194700A (ja) | 合焦判定装置、合焦判定方法、及び撮像装置 | |
JP2018096908A (ja) | 検査装置及び検査方法 | |
JP6045292B2 (ja) | 細胞計数装置及び細胞計数プログラム | |
WO2014196097A1 (ja) | 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
WO2019181072A1 (ja) | 画像処理方法、コンピュータプログラムおよび記録媒体 | |
CN106960424A (zh) | 基于优化分水岭的结核杆菌图像分割识别方法及装置 | |
CN111563869B (zh) | 用于摄像模组质检的污点测试方法 | |
US20140210980A1 (en) | Image acquisition apparatus and image acquisition method | |
JP5530126B2 (ja) | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 | |
Hua et al. | Learning to high-performance autofocus microscopy with laser illumination | |
Rupp et al. | Fully automated detection of the counting area in blood smears for computer aided hematology | |
JP2014157158A (ja) | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 | |
Tosi et al. | 3D tracking of migrating cells from live microscopy time-lapses | |
JP2013142859A (ja) | 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム | |
JP5861678B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
JP4885646B2 (ja) | 細胞自動解析装置および細胞自動解析方法 |