JP2014178474A - デジタル顕微鏡装置、その合焦位置探索方法およびプログラム - Google Patents

Abstract

【課題】高速かつ高精度に合焦処理に行うことのできるデジタル顕微鏡装置を提供する。
【解決手段】このデジタル顕微鏡装置は、検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して像が結像される第１の撮像素子を有する第１の撮像部と、第１の光学系から分岐され、第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して像が結像される第２の撮像素子を有する第２の撮像部と、第２の撮像部により撮像された像をもとに、対物レンズの暫定合焦位置を算出し、かつ第１の撮像部の第１の撮像素子から像を読み出す領域を判定し、暫定合焦位置を基準とする所定の範囲について、第１の撮像素子から読み出された像をもとに対物レンズの合焦位置を探索する制御部とを具備する。
【選択図】図４

Description

本技術は、生体サンプルなどの検体の拡大像を拡大像として撮像するデジタル顕微鏡装置、その合焦位置探索方法およびプログラムに関する。

従来、デジタル顕微鏡装置で検体の全体を観察するために、スライドガラス上の検体を含む領域を区画する小領域を拡大撮像系により撮像し、小領域毎の複数の像を繋ぎ合わせて１枚の大画像が作成される。

拡大撮像系の対物レンズの焦点を撮像対象である病理検体に合わせる合焦方式にはオートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）が採用される。例えば、拡大撮像系の対物レンズの焦点位置を光軸方向に所定間隔毎に移動させ、各々の移動位置で撮像を行い、撮像された各々の画像のうち最もコントラストが高い画像を撮像したときの位置を合焦位置として検出するものなどが提案されている（例えば、特許文献１参照）。この種の合焦方式は「コントラストＡＦ」と呼ばれる。

コントラストＡＦは、比較的高い焦点精度が得られるものの、焦点位置を探索するために対物レンズの焦点位置の移動および評価の繰り返しを伴う。このため焦点位置が得られるまでに比較的時間がかかる。

そこで、対物レンズを通して取り込んだ光をスプリッタレンズにより二つに分けて、二つの結像された画像の間隔から焦点の位置と方向を判断する「位相差ＡＦ」を採用した顕微鏡装置も提案されている（例えば、特許文献２参照）。この位相差ＡＦ方式は、コントラストＡＦ方式に比べて焦点探索の必要が無いため高速に焦点位置を得ることができる。しかしその反面、撮像面内にある対象物の大きさや組織の数により精度が低下するおそれがある。

特開２０１１−１９７２８３号公報 特開２０１１−０９０２２２号公報

デジタル顕微鏡装置では、検体の画像を可及的に高い品質でかつ高速に取得したいという要望があるものの、合焦処理などに関して未だ不十分な点が残されている。

以上のような事情に鑑み、本技術の目的は、高速かつ高精度に合焦処理に行うことのできるデジタル顕微鏡装置、その合焦位置探索方法およびプログラムを提供することにある。

上記の課題を解決するために、本技術にかかるデジタル顕微鏡装置は、検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部と、前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された前記像をもとに前記対物レンズの合焦位置を探索する制御部とを具備する。

本技術では、暫定合焦位置を基準とする所定の範囲における合焦位置の探索が、第１の撮像部の第１の撮像素子の一部の領域から読み出された画像について行われる。これにより、第１の撮像素子からの一回の画像の読み出し時間を短縮でき、合焦位置探索を高速に行うことが可能になる。

前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記検体の像の位置を判定し、この判定結果をもとに前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定するものであってよい。これにより、検体部分の画像について合焦位置探索を行うことができ、合焦位置探索の精度が向上する。

前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記暫定合焦位置の精度を検証し、この結果をもと前記第１の撮像素子から読み出された像に基づく合焦位置の探索の要否を判定する。これにより、暫定合焦位置の精度が十分である場合には、第１の撮像素子から読み出された像に基づく合焦位置の探索を行わず、暫定合焦位置を最終的な合焦位置とすることができる。すなわち、第１の撮像素子から読み出された像に基づく合焦位置の探索は、暫定合焦位置の精度が十分保証されない場合に行われるようにすることで、全体的な効率の向上を図れる。

前記制御部は、前記検体の像の位置の判定に失敗した場合、前記第１の撮像部の前記第１の撮像素子の全画角の像を読み出し、この全画角の像をもとに合焦位置を探索するようにしてもよい。これにより、検体の存在しない部分の画像について合焦位置探索を行うことによる合焦位置探索の失敗を回避することができる。

本技術にかかるデジタル顕微鏡装置において、前記第２の撮像部は、位相差像を撮像する撮像部とすることができる。

本技術の別の観点に基づくデジタル顕微鏡装置の合焦位置探索方法は、検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部を準備し、前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、
前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された像をもとに前記対物レンズの合焦位置を探索する、というものである。

さらに、本技術の別の観点に基づくプログラムは、検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部と、それぞれ通信し、前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された像をもとに前記対物レンズの合焦位置を探索する制御部として、コンピュータを機能させるプログラムである。

以上のように、本技術によれば、高速かつ高精度に合焦処理を行うことができる。

合焦方法の典型例を説明するための図である。 合焦方法の他の典型例を説明するための図である。 本実施形態に係るデジタル顕微鏡装置の全体構成を示した図である。 統合制御部の機能ブロック図である。 統合制御部の合焦動作のフローチャートである。 合焦位置検出精度の検証方法を説明する図である。 撮像素子の読み出し領域を制限する具体例を示す図である。 撮像素子の読み出し領域を制限する他の具体例を示す図である。 本実施形態のデジタル顕微鏡装による速度的な効果を他の方式と比較して示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜典型例＞
まず、典型的なデジタル顕微鏡装置とその合焦方式について説明する。
デジタル顕微鏡装置では、拡大光学系を用いて病理スライド上の細胞組織等の像を拡大してＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーなどの撮像素子にて撮影し、撮像された複数の画像を貼りあわせて一枚の巨大な検体画像を構成する。拡大光学系の被写界深度は非常に狭い（例えば１μｍ前後）ため、厚みのある細胞組織の焦点状態が最良となるように焦点位置合わせを行う必要がある。かかる焦点位置合わせは、病理スライド（プレパラート）を保持したステージを、拡大光学系の対物レンズの光軸方向に相対的に駆動させることで行われる。

焦点位置合わせのための代表的な方式としては、コントラストＡＦ方式（山登り方式）がある。コントラストＡＦ方式では、拡大光学系の被写界深度が焦点探索の単位となる。デジタル顕微鏡装置の拡大光学系の被写界深度は非常に狭いため、探索範囲をカバーするためには、ステージの移動と撮像を何度も繰り替えす必要がある。例えば、病理スライド（プレパラート）の探索範囲を±１００μｍ程度、拡大光学系の被写界深度を１μｍ程度とすると、２００回程度の撮像が必要である。撮像部のフレームレートを１０ｆｐｓとした場合、結果的にコントラストＡＦ方式による焦点位置合わせには２０秒程度の時間を要する。すなわち、病理スライド（プレパラート）毎の撮像には少なくとも２０秒程度の時間を要する。

コントラストＡＦの高速化の方法として、図１に示すように、はじめに、例えば、１０μｍ刻みで粗く合焦位置を探し、続いて、探索された合焦位置を中心に１μｍ刻みで±１０μｍ範囲の探索を行うといったような２段階コントラストＡＦ方式などがある。あるいは、±１０μｍ範囲において３点以上の合焦位置各々の合焦評価値の逆数の組み合わせから所定の曲線へのカーブフィッティングを行い、所定の曲線上で逆数が最小となる焦点位置を算出する方法も知られている。この場合、２段階目の画像の読み出しが最小３回に減らすことができるので、より一層の高速化を図ることができる。

上記のようにコントラストＡＦは、拡大撮影のための光学系をそのまま使用して行われる方式である。これに対し、拡大撮影のための光学系（主光学系）から分岐させた別の光学系（副光学系）を用いて合焦位置検出を行う方式がある。その一つが位相差ＡＦ方式である。位相差ＡＦ方式は、対物レンズを通して取り込んだ光をスプリッタレンズにより二つに分けて、二つの結像された画像の間隔から焦点の位置と方向を判断する方式である。位相差ＡＦ用の副光学系は、主光学系に比べて被写界深度が十分広くてよい。すなわち、位相差ＡＦ方式は、コントラストＡＦ方式に比べて焦点位置探索の必要が無いため高速に焦点位置を検出することができる。その反面、位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦精度が低いなど、原理的な壁がある。特に、撮像面内にある細胞組織が微小な場合や染色が薄い場合など、精度が低下する傾向がある。

さらには、位相差ＡＦとコントラストＡＦを併用する方式がある。
この併用型のＡＦ方式は、図２に示すように、はじめに位相差ＡＦ方式により暫定合焦位置を求め、続いて、この暫定合焦位置を基準に所定の距離の範囲内をコントラストＡＦ方式により山登り形式にて合焦位置探索をする、というものである。この方式によれば、前述の２段階コントラストＡＦ方式と比較して、１段階目の画像の読み出し回数を大幅に減らすことができるので、大幅な速度アップを期待できる。また、２段階目のコントラストＡＦにおいてカーブフィッティングを用いて画像の読み出し回数を減らすことによって、より一層の高速化を図れる。

しかし、主光学系の撮像部からの画像の読み出しの繰り返しを伴う以上、高速化に限界がある。すなわち、主光学系の撮像部のフレームレートが、さらなる高速化の要求に対する壁になることが予想される。

そこで、本実施形態のデジタル顕微鏡装置は、位相差ＡＦ方式により算出された暫定合焦位置を基準とした所定の範囲に絞った合焦位置探索において、撮像素子の読み出し領域を制限することによって一回の画像読み出し時間を短くし、合焦処理の大幅な速度アップを実現するものである。
以下、本技術にかかる第１の実施形態のデジタル顕微鏡装置について説明する。

＜第１の実施形態＞
図３は、本実施形態に係るデジタル顕微鏡装置１００の全体構成を示した図である。

［全体構成］
このデジタル顕微鏡装置１００は、主光学系の撮像部である拡大像撮像部１０（第１の撮像部）と、副光学系の撮像部である位相差像撮像部２０（第２の撮像部）と、ステージ３０と、制御部４０とを有する。なお、図示は省略したが、このデジタル顕微鏡装置１００は、検体ＳＰＬが配設されるプレパラートＰＲＴ全体の像を撮像するサムネイル像撮像部を備えるものであってもよい。

拡大像撮像部１０は、プレパラートＰＲＴ上の検体ＳＰＬが所定倍率で拡大された像（以下、この像を「拡大像」または「観察像」と称する。）を撮像する。

位相差像撮像部２０は、拡大像撮像部１０の対物レンズ１３の焦点とプレパラートＰＲＴ上の検体ＳＰＬとの光軸方向のずれの量と向きを情報として含む位相差像を撮像する。

ステージ３０は、プレパラートＰＲＴを載置して、少なくとも拡大像撮像部１０による撮像位置に移動させる。ステージ３０は、ステージ駆動機構３１により、拡大像撮像部１０の対物レンズ１３の光軸の方向（ｚ軸方向）と、光軸の方向に対して直交する方向（ｘ軸方向およびｙ軸方向）に移動自在とされる。さらには、光軸の方向に対して直交する面に対して傾斜する方向にも移動自在なものであることが望ましい。

なお、プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルである検体ＳＰＬを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色、パパニコロウ染色、チール・ネールゼン染色、グラム染色等に代表される一般染色のみならず、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｎ−Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。

なお、図示は省略したが、このデジタル顕微鏡装置１００には、検体ＳＰＬを含むプレパラートＰＲＴを蓄積し、蓄積されたプレパラートＰＲＴを一つずつステージ３０の上にローディングするプレパラート・ストック・ローダが付設されていてもよい。

次に、上述した拡大像撮像部１０と、位相差像撮像部２０と、制御部４０の詳細について説明する。

［拡大像撮像部１０］
拡大像撮像部１０は、図３に示したように、光源１１と、コンデンサレンズ１２と、対物レンズ１３と、撮像素子１４（第１の撮像素子）と、ビームスプリッター１５とを有する。

光源１１は、明視野照明光を照射するものである。光源１１はステージ３０のプレパラート配置面とは逆の面側に設けられる。また、光源１１とは異なる位置（例えばプレパラート配置面側）には、暗視野照明光を照射する光源（図示せず）が設けられる。

コンデンサレンズ１２は、光源１１から照射された明視野照明光や暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ３０上のプレパラートＰＲＴに導くレンズである。このコンデンサレンズ１２は、プレパラート配置面における拡大像撮像部１０の基準位置の法線を光軸ＥＲとして、光源１１とステージ３０との間に配設される。

対物レンズ１３は、プレパラート配置面における拡大像撮像部１０の基準位置の法線を光軸ＥＲとして、ステージ３０のプレパラート配置面側に配設される。拡大像撮像部１０では、この対物レンズ１３を適宜交換することで、検体ＳＰＬを様々な倍率に拡大して撮像することができる。ステージ３０上に配設されたプレパラートＰＲＴを透過した透過光は、対物レンズ１３によって集光され、ビームスプリッター１５に到達する。

ビームスプリッター１５は、対物レンズ１３を透過した透過光を、拡大像撮像部１０の撮像素子１４へと向かう反射光と、位相差像撮像部２０内のフィールドレンズ２１へと向かう透過光とに分岐する。

撮像素子１４には、撮像素子１４の画素サイズ及び対物レンズ１３の倍率に応じて、ステージ３０のプレパラート配置面上における小領域の撮像範囲の像が結像される。

［位相差像撮像部２０］
位相差像撮像部２０は、図３に示したように、フィールドレンズ２１と、セパレータレンズ２２と、撮像素子２３（第２の撮像素子）とを有する。

フィールドレンズ２１は、ビームスプリッター１５を透過した反射光を集光して、フィールドレンズ２１の後方（反射光の進行方向側）に設けられたセパレータレンズ２２へと導く。

セパレータレンズ２２は、フィールドレンズ２１から導光された光束を２つの光束に分割する。分割された光束は、セパレータレンズ２２の後方（反射光の進行方向側）に設けられた撮像素子２３の結像面に対して１組の被写体像を形成する。

撮像素子２３には、セパレータレンズ２２を透過した１組の被写体像がそれぞれ結像する。セパレータレンズ２２には、フィールドレンズ２１を射出した様々な方向の光束が入射するため、形成される１組の被写体像間には位相差が存在する。以下では、この１組の被写体像を「位相差像」と称する。

なお、以上の説明では、対物レンズ１３と撮像素子１４との間にビームスプリッター１５が設けられる場合について説明したが、光線を分岐するための光線分岐手段はビームスプリッターに限定されるわけではなく、可動式ミラー等を利用することも可能である。

また、以上の説明では、位相差像撮像部２０を対物レンズ１３の光軸ＥＲ上に配置し、拡大像撮像部１０の撮像素子１４をビームスプリッター１５にて分岐された反射光が入射される位置に配置した。しかし、逆に、拡大像撮像部１０の撮像素子１４を対物レンズ１３の光軸ＥＲ上に配置し、位相差像撮像部２０をビームスプリッター１５にて分岐された反射光が入射される位置に配置してもよい。

また、前述の説明では、位相差像撮像部２０内の位相差ＡＦ光学系としてフィールドレンズ、セパレータレンズ及び撮像素子を有する構成を示したが、かかる例に限定されるわけではない。かかる位相差ＡＦ光学系は、例えば、フィールドレンズ及びセパレータレンズの代わりにコンデンサレンズ及び２眼レンズを利用したりするなど、同等の機能を実現可能なものであれば、他の光学系であってもよい。

また、拡大像撮像部１０及び位相差像撮像部２０それぞれに設けられる撮像素子は、１次元撮像素子（ラインセンサ）であってもよく、２次元撮像素子（エリアセンサ）であってもよい。

［制御部４０］
制御部４０は、統合制御部４１と、ステージ駆動制御部４２と、位相差像撮像制御部４３と、拡大像撮像制御部４４と、記憶部４５と、現像部４６と、画像符号化部４７と、通信部４８と、表示制御部４９を有する。

統合制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むコンピュータのハードウェア要素で構成される。あるいはＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの専用ＩＣによって構成されてもよい。統合制御部４１は、ステージ駆動制御部４２、位相差像撮像制御部４３、拡大像撮像制御部４４、記憶部４５、現像部４６、画像符号化部４７、通信部４８、表示制御部４９との間で各種信号をやりとりして、拡大像を取得するための様々な演算処理および制御を実行する。ＲＡＭには、そのための各種のプログラムおよびデータがロードされ、ＣＰＵはＲＡＭにロードされたプログラムを実行する。ＲＯＭには、ＲＡＭにロードされるプログラムやデータなどが格納される。

ステージ駆動制御部４２、位相差像撮像制御部４３、および拡大像撮像制御部４４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むコンピュータのハードウェア要素で構成されてもよいし、ＦＰＧＡなどの専用ＩＣによって構成されてもよい。

現像部４６および画像符号化部４７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むコンピュータのハードウェア要素で構成される。あるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成されてもよい。

ステージ駆動制御部４２は、統合制御部４１から拡大像を撮像する指示が与えられると、その指示された検体ＳＰＬの小領域が撮像素子１４の撮像範囲に入るように、ステージ駆動機構３１を駆動して、ステージ面方向にステージ３０を移動させる。ステージ駆動制御部４２は、対物レンズ１３の焦点を検体ＳＰＬに合わせるように、ステージ駆動機構３１を駆動してステージ３０をｚ軸方向に移動させる。

位相差像撮像制御部４３は、位相差像撮像部２０に設けられた撮像素子２３の結像面に結像した一組の位相差像の信号を取得し、統合制御部４１に供給する。統合制御部４１は、位相差像撮像制御部４３より取得した一組の位相差像の距離をもとに拡大像撮像部１０の対物レンズ１３の焦点の検体ＳＰＬに対するデフォーカス量とデフォーカスの向きを算出し、この結果をもとに暫定合焦位置を算出する。また、統合制御部４１は、位相差像撮像制御部４３より取得した少なくとも一方の位相差像において検体が存在する領域あるいは検体の細胞組織が密な領域を検出し、撮像素子１４からの画像の読み込み領域が当該領域に制限されるように拡大像撮像制御部４４を制御する。

拡大像撮像制御部４４は、拡大像撮像部１０の撮像素子１４の結像面に結像した小領域毎の拡大像に対応する信号をもとに当該小領域毎の拡大像に対応するＲＡＷデータを生成して統合制御部４１に供給する。ここで、「小領域」とは、プレパラートＰＲＴに保持された検体ＳＰＬ全体の領域を拡大像撮像部１０の視野に応じたサイズでメッシュ状に区画した各々の領域である。

統合制御部４１は、拡大像撮像制御部４４より取得した小領域毎のＲＡＷデータを現像部４６に供給して現像処理を実行させる。統合制御部４１は、現像部４６にて現像された小領域毎の拡大像のデータを接続して検体ＳＰＬ単位の大画像を生成し、生成された検体ＳＰＬ単位の大画像をタイルと呼ばれる所定の解像度の単位に分割する処理などを行う。さらに、統合制御部４１は、生成された各々のタイルを画像符号化部４７に供給して、所定の圧縮符号化形式の画像データを生成させ、記憶部４５に保存させる。

記憶部４５は、デジタル顕微鏡装置１００を制御するための各種設定情報やプログラム、さらには所定の圧縮符号化形式のタイル群などを格納する。

現像部４６は、拡大像撮像部１０によって撮像された小領域毎の拡大像のＲＡＷデータを現像する。

画像符号化部４７は、タイル毎の画像データを所定の画像圧縮形式に符号化する。ここで、画像圧縮形式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などが採用される。勿論、ＪＰＥＧ以外の圧縮符号化形式が採用されてもよい。

記憶部４５に記憶された各タイルは、通信部４８によってネットワーク８０を通じて画像管理サーバ８１に蓄積される。画像管理サーバ８１は、ビューワ端末８２からのリクエストに応じて該当する１以上のタイルをビューワ端末８２に応答する。ビューワ端末８２は、画像管理サーバ８１より取得した１以上のタイルを用いて表示用の拡大像を生成して、ビューワ端末８２の表示部に表示させる。

表示制御部４９は、デジタル顕微鏡装置１００に接続された表示部９０に表示させる画面データを生成する。

［合焦方式について］
この実施形態のデジタル顕微鏡装置１００では、はじめに位相差ＡＦ方式による合焦位置の算出と、この合焦位置の精度が保証できるものであるかどうかの判定が行われる。精度が保証できることが判定された場合には、位相差ＡＦ方式により算出された合焦位置に対物レンズ１３の焦点位置を合わせるようにステージ３０をｚ軸方向に移動させ、拡大像撮像部１０による拡大像の撮像が行われる。また、精度が保証できないことが判定された場合には、位相差ＡＦ方式により算出された合焦位置を暫定合焦位置として、この暫定合焦位置を基準とした所定の範囲について、拡大像撮像部１０によって撮像された拡大像を用いてコントラストＡＦ方式で合焦位置の探索が行われる。

さらに、本実施形態のデジタル顕微鏡装置１００では、位相差ＡＦ方式により算出された暫定合焦位置を基準とした所定の範囲の合焦位置探索において、撮像素子１４の読み出し領域を制限して一回の画像読み出し時間を短くすることによって、合焦位置探索の大幅な高速化を実現している。

［統合制御部４１の機能］
次に、上記の合焦制御を行う統合制御部４１について説明する。
図４は、統合制御部４１の機能ブロック図である。
図５は、統合制御部４１の合焦動作のフローチャートである。

図４に示すように、統合制御部４１は、合焦位置算出部４１１、合焦精度評価部４１２、読み出し領域制御部４１３、合焦位置探索部４１４を備える。これらの機能は、統合制御部４１内のＣＰＵがＲＡＭにロードされたプログラムを実行することによって実現される。

まず、合焦位置算出部４１１は、位相差像撮像制御部４３を通じて位相差像撮像部２０より一組の位相差像を取得し、これらの位相差像の位相差を求め、この位相差をもとに合焦位置までの距離に相当するデフォーカス量とデフォーカスの向きをデフォーカス情報として算出する（ステップＳ１０１）。

合焦精度評価部４１２は、位相差像撮像部２０によって撮像された位相差像をもとに、合焦位置精度の検証を行い（ステップＳ１０２）、この結果、精度を保証できることが判定された場合には、合焦位置算出部４１１によって算出されたデフォーカス情報をもとにステージ３０をｚ軸方向に移動させる（ステップＳ１０３）。この後、拡大像撮像部１０による拡大像の撮像が行われる。

［合焦位置検出精度の検証方法］
ここで、合焦位置検出精度の検証方法の詳細について説明する。
図６は、合焦位置検出精度の検証方法を説明する図である。

本実施形態のデジタル顕微鏡装置１００では、位相差像撮像部２０によって撮像された位相差像を用いて合焦位置検出精度の検証が行われる。位相差ＡＦによる十分な合焦位置検出精度が保証される場合とは、図６に示した画像２０１のように、全体の像１１０において検体部分の像１２０がある程度の面積割合と鮮明さ（濃さ）を満足する場合である。画像２０２のように、検体の像１２０が小さすぎたり、画像２０３のように、検体の像１２０が薄すぎたりすると、位相差像撮像部２０の撮像素子２３に捕らえられた２つの位相差像上における観測面の同一の領域を特定するために必要な情報量が不足し、位相差の検出精度が低下するからである。

ここで、全体の像１１０をＭ画素×Ｎ画素のブロック１３０に区画し、ブロック１３０内の画素の濃さの平均値を０から１の範囲の相関係数に置き換えた値を、そのブロック１３０の鮮明さ（濃さ）を定量化した値とする。したがって、相関係数が０に近いほどそのブロック１３０は不鮮明であり、相関係数が１に近いほどそのブロック１３０は鮮明であることを意味する。

図６の符号２０４、２０５，２０６はそれぞれ、画像２０１，２０２，２０３それぞれの各ブロック１３０の相関係数を示す図である。
相関係数が第１の閾値以上のブロック１３０の数の割合が第２の閾値以上であって、かつ相関係数が第１の閾値以上のブロック１３０の相関係数の平均値が第３の閾値以上である画像を、位相差ＡＦによる十分な合焦位置検出精度が保証される画像として判断される。

例えば、第１の閾値＝０．３、第２の閾値＝４０％、第３の閾値＝０．５とする。
画像２０１において、相関係数が第１の閾値（＝０．３）以上であるブロック１３０の数の割合は６０％であり、相関係数が第１の閾値（＝０．３）以上のブロック１３０の相関係数の平均値は０．７１で第３の閾値（＝０．５）よりも大きい。したがって、画像２０１は位相差ＡＦによる十分な合焦位置検出精度が保証された画像と判断される。

次に、画像２０２において、相関係数が第１の閾値（＝０．３）以上のブロック１３０の相関係数の平均値は０．６で第３の閾値（＝０．５）よりも大きいものの、相関係数が第１の閾値（＝０．３）以上であるブロック１３０の数の割合は４％である。したがって、画像２０２は位相差ＡＦによる十分な合焦位置検出精度が保証されない画像と判断される。

同様に、画像２０３において、相関係数が第１の閾値（＝０．３）以上であるブロック１３０の数の割合は４４％と第２の閾値（＝４０％）より大きいものの、相関係数が第１の閾値（＝０．３）以上のブロック１３０の相関係数の平均値は０．３８で第３の閾値（＝０．５）よりも小さい。したがって、画像２０３は位相差ＡＦによる十分な合焦位置精度が保証されない画像と判断される。
以上が、合焦位置検出精度の検証方法の説明である。

ステップＳ１０２で、合焦精度評価部４１２は、合焦位置検出の精度の保証ができないことを判定した場合、続いて位相差像全体の画角内での検体の位置の検出を試みる（ステップＳ１０４）。

［検体位置の検出方法］
検体位置を検出しなければならないケースとは、合焦位置精度に問題があることが判定された場合である。したがって、図６に示した画像２０１のように相関係数が第１の閾値以上のブロックの数の割合が第２の閾値以上であって、かつ相関係数が第１の閾値以上のブロック１３０の相関係数の平均値が第３の閾値以上である画像について、検体位置を特定する処理は行われる必要はない。

したがって、合焦位置精度に問題があることが判定された画像について、各ブロック１３０の相関係数の値から検体の位置を判定すればよい。この検体の位置に応じて拡大像撮像部１０の撮像素子１４の読み出し領域を制限すればよい。

例えば、図６に示した画像２０２および画像２０３の各々について、相関係数が第１の閾値＝０．３よりも大きいブロック１３０を検体の位置として判定する。なお、このとき判定の閾値は合焦位置精度の検証で用いた第１の閾値と必ずしも同じである必要はない。
以上が、検体位置の検出方法の説明である。

図４及び図５の説明に戻る。
ステップＳ１０４で、合焦精度評価部４１２は、位相差像全体の画角内での検体の位置の検出に成功した場合、合焦位置算出部４１１によって算出されたデフォーカス情報をもとにステージ３０をｚ軸方向に移動させ（ステップＳ１０５）、検出した検体の位置を読み出し領域制御部４１３に通知する。

読み出し領域制御部４１３は、合焦精度評価部４１２より通知された検体の位置に対応する撮像素子１４の読み出し領域を算出し、この読み出し領域に関する情報を拡大像撮像制御部４４に通知する。拡大像撮像制御部４４は、読み出し領域制御部４１３より通知された読み出し領域に関する情報をもとに拡大像撮像部１０の撮像素子１４から画像を読み出す領域を限定するように制御を行う。

撮像素子１４に用いられる多くのＣＭＯＳセンサーでは帯読み出しが可能とされている。帯読み出しとは、ｘ軸方向またはｙ軸方向において読み出す範囲を制御できる機能である。この帯読み出し機能を用いて、合焦精度評価部４１２によって検出された検体の位置に応じて撮像素子１４の読み出し領域を制限することが可能である。

図７は、帯読み出し機能を用いて撮像素子の読み出し領域を制限する具体例を示す図である。同図に示すように、一部のブロック１３０が検体の像１２０を含む領域であることが判定された場合には、このブロック１３０を含む帯状部分１４０を帯読み出し機能によって読み出せばよい。

また、撮像素子からｘ軸方向とｙ軸方向において読み出す範囲を制御することができるのであれば、図８に示すように、そのブロックに相当する部分１５０をｘ軸とｙ軸の二軸方向にて制限して読み出すようにすればよい。

このように撮像素子１４から部分的に画像を読み出すだけでよいことから、撮像素子１４からの一回の画像の読み出し時間を大幅に低減することができる。

図４および図５の説明に再び戻る。
合焦位置探索部４１４は、合焦精度評価部４１２による合焦位置精度の検証において精度の保証ができないことが判定された場合（ステップＳ１０２）に起動される。起動された合焦位置探索部４１４は、合焦精度評価部４１２による検体位置の検出に成功した場合（ステップＳ１０４のＹｅｓ）と失敗した場合（ステップＳ１０４のＮｏ）とで異なる処理を行う。

すなわち、合焦精度評価部４１２による検体位置の検出に成功した場合には（ステップＳ１０４のＹｅｓ）、合焦位置探索部４１４は、撮像素子１４からの読み出し領域を制限された拡大像を拡大像撮像制御部４４より取得し、この読み出し領域を制限された拡大像についてコントラストＡＦ方式による合焦位置の探索を行う（ステップＳ１０５，ステップＳ１０６）。その際、合焦位置算出部４１１により検出された合焦位置を暫定合焦位置として、この暫定合焦位置を基準とした所定の範囲についてコントラストＡＦ方式での合焦位置の探索が行われる。

この後、合焦位置探索部４１４によって探索された合焦位置に対物レンズ１３の焦点位置が合うようにステージ３０をｚ軸方向に移動させる（ステップＳ１０３）。この後、拡大像撮像部１０による拡大像の撮像が行われる。

また、合焦精度評価部４１２による検体位置の検出に失敗する場合とは（ステップＳ１０４のＮｏ）、検体の像が薄い場合などが考えられる。この場合、位相差ＡＦで算出された合焦位置の精度は疑わしい。そこで、合焦位置探索部４１４は、例えば、小領域の撮影の履歴から、今回の撮像対象の小領域に対するおよその合焦位置を推測できるかどうかを判定する（ステップＳ１０７）。例えば、今回の撮像対象である小領域に対して隣接する小領域であって、かつ検体の像が両小領域間で連続する１以上の小領域について既に拡大像の撮像が完了している場合、合焦位置探索部４１４は、その隣接する１以上の小領域の拡大像の撮像時の合焦位置をもとに、今回の撮像対象の小領域の合焦位置を推測する。そして、合焦位置探索部４１４は、この合焦位置を暫定合焦位置として、この暫定合焦位置を基準とした所定の範囲についてコントラストＡＦ方式での合焦位置を探索する（ステップＳ１０８，ステップＳ１０９）。なお、このときの暫定合焦位置を基準とした所定の範囲は、ステップＳ１０６の所定の範囲と同じであってもよいし、異なっていてもよい。

この後、合焦位置探索部４１４によって探索された合焦位置に対物レンズ１３の焦点位置が合うようにステージ３０をｚ軸方向に移動させる（ステップＳ１０３）。この後、拡大像撮像部１０による拡大像の撮像が行われる。

さらに、合焦位置を推測も困難である場合には（ステップＳ１０７のＮｏ）、合焦位置探索部４１４は、例えば、コントラストＡＦ方式による合焦位置探索、あるいは粗い合焦位置探索に続いて高精細の合焦位置探索を行う２段階コントラストＡＦ方式による合焦位置探索を行う（ステップＳ１１０）。

この後、合焦位置探索部４１４によって探索された合焦位置に対物レンズ１３の焦点位置が合うようにステージ３０をｚ軸方向に移動させる（ステップＳ１０３）。この後、拡大像撮像部１０による拡大像の撮像が行われる。

［本実施形態のデジタル顕微鏡装置１００の効果］
以上のように、本実施形態のデジタル顕微鏡装置１００によれば、光軸方向の範囲のみならず、観測面において限定された範囲についてコントラストＡＦによる合焦位置探索を行うことができる。これにより、高精度で高速な合焦処理が可能になる。

図９は、本実施形態のデジタル顕微鏡装置１００による速度的な効果を他の方式と比較して示す図である。
例えば、拡大像撮像部１０の撮像素子１４からの画像の読出し速度を１０ｆｐｓ (１００ｍｓ/ｓｈｏｔ)、位相差像撮像部２０の撮像素子２３からの画像の読出し速度を１００ｆｐｓ(１０ｍｓ/ｓｈｏｔ)、それぞれの焦点検出の画像処理に要する時間を１０ｍｓ、拡大像撮像部１０の撮像素子１４からの画像の読出し回数を３とする。ここで、拡大像撮像部１０の撮像素子１４の全画角から画像を読み出すとなると、合焦処理に要する通算時間は３９０ｍｓである。これに対し、拡大像撮像部１０の撮像素子１４からの、例えば帯読み出しによって観測面を１／１０に制限した場合、合焦処理に要する通算時間は１２０ｍｓにまで短縮される。

＜変形例＞
上記の実施形態では、位相差像ＡＦ方式により合焦位置の粗い探索が行われることとした。しかし、本技術はこれに限定されない。合焦位置の粗い探索を行う他の方式としては、拡大光学系（拡大像撮像部１０の光学系）に比べて被写界深度が深い光学系により広範囲にわたって粗い合焦位置の探索を行うことのできる方式であればよい。

上記の実施形態では、位相差像撮像部２０にて撮像される位相差像をもとに、検体の像の位置の判定、および暫定合焦位置の精度の検証を行うこととした。しかし、本技術はこれに限定されない。例えば、検体の位置の判定、および暫定合焦位置の精度の検証のための像を撮像するための専用の撮像部を設け、この専用の撮像部の撮像素子に像を結像させるための光学系を、拡大像撮像部１０の光学系から分岐させた構成も考えられる。

なお、本技術は以下のような構成も採ることができる。
（１）検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、
前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部と、
前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された前記像をもとに前記対物レンズの合焦位置を探索する制御部と
を具備するデジタル顕微鏡装置。

（２）前記（１）に記載のデジタル顕微鏡装置であって、
前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記検体の像の位置を判定し、この判定結果をもとに前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定する
デジタル顕微鏡装置。

（３）前記（１）または（２）に記載のデジタル顕微鏡装置であって、
前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記暫定合焦位置の精度を検証し、この結果をもと前記第１の撮像素子から読み出された像に基づく合焦位置の探索の要否を判定する
デジタル顕微鏡装置。

（４）前記（１）ないし（３）に記載のいずれかのデジタル顕微鏡装置であって、
前記制御部は、前記検体の像の位置の判定に失敗した場合、前記第１の撮像部の前記第１の撮像素子の全画角の像を読み出し、この全画角の像をもとに合焦位置を探索する
デジタル顕微鏡装置。

（５）前記（１）ないし（４）に記載のいずれかのデジタル顕微鏡装置であって、
前記第２の撮像部は、位相差像を撮像する撮像部である
デジタル顕微鏡装置。

１０…拡大像撮像部
１１…光源
１２…コンデンサレンズ
１３…対物レンズ
１４…撮像素子
１５…ビームスプリッター
２０…位相差像撮像部
２１…フィールドレンズ
２２…セパレータレンズ
２３…撮像素子
３０…ステージ
３１…ステージ駆動機構
４０…制御部
４１…統合制御部
４２…ステージ駆動制御部
４３…位相差像撮像制御部
４４…拡大像撮像制御部
１００…デジタル顕微鏡装置
４１１…合焦位置算出部
４１２…合焦精度評価部
４１３…読み出し領域制御部
４１４…合焦位置探索部

Claims (7)

1. 検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、
   前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部と、
   前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された前記像をもとに前記対物レンズの合焦位置を探索する制御部と
   を具備するデジタル顕微鏡装置。
2. 請求項１に記載のデジタル顕微鏡装置であって、
   前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記検体の像の位置を判定し、この判定結果をもとに前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定する
   デジタル顕微鏡装置。
3. 請求項２に記載のデジタル顕微鏡装置であって、
   前記制御部は、前記第２の撮像部により撮像された前記像をもとに前記暫定合焦位置の精度を検証し、この結果をもと前記第１の撮像素子から読み出された像に基づく合焦位置の探索の要否を判定する
   デジタル顕微鏡装置。
4. 請求項３に記載のデジタル顕微鏡装置であって、
   前記制御部は、前記検体の像の位置の判定に失敗した場合、前記第１の撮像部の前記第１の撮像素子の全画角の像を読み出し、この全画角の像をもとに合焦位置を探索する
   デジタル顕微鏡装置。
5. 請求項１に記載のデジタル顕微鏡装置であって、
   前記第２の撮像部は、位相差像を撮像する撮像部である
   デジタル顕微鏡装置。
6. 検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部を準備し、
   前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、
   前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された像をもとに前記対物レンズの合焦位置を探索する
   デジタル顕微鏡装置の合焦位置探索方法。
7. 検体を保持するプレパラートの像を拡大する対物レンズを含む第１の光学系および、この第１の光学系を通して前記像が結像される第１の撮像素子を有する第１の撮像部と、前記第１の光学系から分岐され、前記第１の光学系に比較して被写界深度が深い第２の光学系および、この第２の光学系を通して前記像が結像される第２の撮像素子を有する第２の撮像部と、それぞれ通信し、前記第２の撮像部により撮像された前記像をもとに、前記対物レンズの暫定合焦位置を算出し、かつ前記第１の撮像部の前記第１の撮像素子から前記像を読み出す領域を判定し、前記暫定合焦位置を基準とする所定の範囲について、前記第１の撮像素子から読み出された像をもとに前記対物レンズの合焦位置を探索する制御部として、コンピュータを機能させるプログラム。

Images