JP2011209573A - 合焦装置、合焦方法、合焦プログラム及び顕微鏡 - Google Patents

Abstract

【課題】合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡を提案する。
【解決手段】記録用の撮影範囲に対応する焦点探索用の撮影範囲から位相差像を交互に取得し、当該位相差像を用いて、記録用の撮影範囲における焦点位置を決定する。また位相差像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる余白領域用いて、焦点位置が未決定となる記録用の撮影範囲内における焦点位置を予測する。
【選択図】図１１

Description

本発明は合焦装置、合焦方法、合焦プログラム及び顕微鏡に関し、例えば組織切片を観察する場合に好適なものである。

病理診では、組織切片はスライドガラスに固定され、染色過程及び封入過程を経てプレパラートとして作製される。一般に、プレパラートの保管期間が長期間となると、生体サンプルの劣化や退色等によりプレパラートに対する顕微鏡での視認性が悪くなる。また、プレパラートはそれを作製した病院等の施設以外の施設で鏡検されることもあるが、該プレパラートの受け渡しは一般に郵送であり、一定の時間を要する。

このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている（例えば特許文献１参照）。この装置では、撮像画像のコントラストに基づいて焦点を合わせる合焦技術が採用される。

特開２００９−１７５３３４公報

しかしながら上述の合焦技術の場合、撮影範囲の奥行き方向（光軸方向）へ所定間隔ごとに焦点をずらし、これら焦点での撮像画像のコントラストに基づいて最適な焦点位置を探索する処理が必要となる。

一般に、スライドガラスの製造時に生じる厚みの違いや、プレパラートの作製時に生じる封入材の量の違いなどの要因によって、光軸方向の探索距離がおおよそ２００[μｍ]前後となる。例えば、生体サンプルに集光する光学レンズの被写界深度が１[μｍ]である場合、０．５[μｍ]の精度で最適な合焦位置を検出するには、４００枚程度の撮像画像から探索する処理が必要となる。

この探索処理は、生体サンプルに対して割り当てられる撮影範囲ごとに実行されるため、最適な焦点位置の検出に要する時間は莫大となり、この結果、生体サンプル全体を画像データとして取得する効率が著しく低下することになる。

本発明は以上の点を考慮してなされたもので、合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡を提案しようとするものである。

かかる課題を解決するため本発明は、合焦装置であって、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得手段と、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定手段と、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測手段とを有する。

また本発明は、合焦方法であって、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得ステップと、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定ステップと、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測ステップとを有する。

また本発明は、合焦プログラムであって、コンピュータに対して、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得すること、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定すること、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測することを実行させる。

また本発明は、顕微鏡であって、対物レンズの視界よりも小さい撮影範囲をもつ記録用の撮像素子と、対物レンズの視界よりも大きい撮影範囲をもち、記録用の撮像素子の撮影範囲に結像される像に対応する像が結像される焦点探索用の撮像素子と、サンプルに対して焦点探索用の撮像素子の撮影範囲が割り当てられ、それら撮影範囲内のサンプル部位の像を所定間隔ごとに取得する取得手段と、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮像素子の撮影範囲における焦点位置を決定する決定手段と、サンプル部位の像のうち、対物レンズの視界内で記録用の撮像素子の外側となる領域を用いて、焦点位置が未決定となる記録用の撮像素子の撮影範囲における焦点位置を予測する予測手段とを有する。

本発明は、焦点探索用の撮影範囲から所定間隔ごとに取得した像だけで、サンプルに対して割り当てられる記録用の撮影範囲よりも広範囲の面積に対応した焦点位置が得られるため、焦点探索に用いるべきサンプルに対する撮影枚数が大幅に低減される。かくして合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡が実現される。

顕微鏡の構成を示す概略図である。 撮像素子における撮影範囲の説明に供する概略図である。 記録対象に用いられるべき組織切片の像と、焦点探索に用いられるべき組織切片の位相差像を示す写真である。 統括制御部の構成を示す概略図である。 合焦プログラムに基づくＣＰＵの機能的な構成を示す概略図である。 位相差像の取得対象とされる生体サンプル例を示す概略図である。 生体サンプルの凹凸状態の説明に供する概略図である。 位相差像の一方の像に対する他方の像の画素ごとの距離（視差）を示す概略図である。 余白領域の説明に供する概略図である。 余白領域を用いたサンプル部位の奥行幅の予測の説明に供する概略図である。 合焦位置の決定の説明に供する概略図である。 合焦処理手順を示すフローチャートである。 Ｘ−Ｚ方向における各画素の視差（凹凸分布）に最も近似する直線の検出の説明に供する概略図である。 他の実施の形態における奥行幅の分割例の説明に供する概略図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
＜１．実施の形態＞
［１−１．顕微鏡の構成］
［１−２．統括制御部の機能的な構成］
［１−３．合焦処理の具体的内容］
［１−４．合焦処理手順］
［１−５．効果等］
＜２．他の実施の形態＞

＜１．実施の形態＞
［１−１．顕微鏡の構成］
図１において、本一実施の形態である顕微鏡１の構成を示す。この顕微鏡１は、プレパラートＰＲＴを配置可能なステージ（以下、これをプレパラートステージとも呼ぶ）１１を有する。

プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などにおけるサンプル（以下、これを生体サンプルとも呼ぶ）を、所定の固定手法によりスライドガラスに固定したものであり、該生体サンプルには必要に応じて染色が施される。染色には、ＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色と呼ばれる染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の特殊染色と呼ばれる染色が含まれる。

プレパラートステージ１１のうち、プレパラートＰＲＴが配される面（以下、これをプレパラート配置面とも呼ぶ）とは逆の面側には光源１２が配される。光源１２は、一般染色が施された生体サンプルを照明する光（以下、これを明視野照明光とも呼ぶ）を照射可能なものとされる。また、プレパラート配置面側には、特殊染色が施された生体サンプルを照明する光（以下、これを暗視野照明光とも呼ぶ）を照射可能な光源（図示せず）が配される。

プレパラートステージ１１と光源１２との間には、プレパラート配置面における基準位置の法線を光軸ＬＸとするコンデンサレンズ１３が配される。

プレパラートステージ１１のプレパラート配置面側には、該プレパラート配置面における基準位置の法線を光軸ＬＸとする対物レンズ１４が配される。

対物レンズ１４の後方には、対物レンズ１４から入射する光を透過光と反射光とに分割するハーフミラー１５が配される。

ハーフミラー１５の透過側の後方には、ＣＣＤ(Charge Coupled Device)又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子１６が配される。この撮像素子１６は、記録対象とすべき像の撮影に用いられる。図２に示すように、この撮像素子１６における撮影範囲ＦＳＣ１は、対物レンズ１４の視界ＦＯＶに内接する矩形の範囲とされ、対物レンズ１４の光軸ＬＸを中心として位置される。ちなみに撮影範囲は、実際に画素として撮影に用いられる受光素子部分である。

一方、ハーフミラー１５の反射側の後方には、該反射側に投影される対物レンズ１４の被写体像を後方（予定される結像面）にリレーするフィールドレンズ１７が配される。このフィールドレンズ１７では、ハーフミラー１５において反射される被写体光が集められるので視野周辺における明度の低下が抑制される。

フィールドレンズ１７の後方には絞りマスク１８が配される。絞りマスク１８は、フィールドレンズ１７の光軸と直交する面のうちその光軸を境界として対称となる位置に一対の開口１８Ａ、１８Ｂを有する。絞りマスク１８は、これら開口１８Ａ、１８Ｂによって、フィールドレンズ１７から入射する被写体光束を分割する。分割光束は、被写体光束の結像面で交差し、該結像面の前後で位置関係が入れ換わる光束となる。

一対の開口１８Ａ、１８Ｂの後方にはそれぞれセパレータレンズ１９Ａ、１９Ｂが配される。セパレータレンズ１９Ａ、１９Ｂは、対応する開口１８Ａ、１８Ｂによって分割される分割光束をアオリ結像（シフト）させ、フィールドレンズ１７によってリレーされる予定結像面に対して、視点の異なる１対の像（以下、これを位相差像とも呼ぶ）を形成する。

なお、セパレータレンズ１９Ａ、１９Ｂがフィールドレンズ１７の口径蝕（ケラレ）に掛かると、分割光束の一部が欠損する。このためセパレータレンズ１９Ａ、１９Ｂは、口径蝕に掛からないようフィールドレンズ１７の中央側に寄せて配置される。またセパレータレンズ１９Ａ、１９Ｂの被写界深度は、対物レンズ１４の被写界深度よりも広く設定される。このセパレータレンズ１９Ａ、１９Ｂの被写界深度の設定は、例えば絞りマスク１８における開口１８Ａ、１８Ｂの大きさを可変することにより行われる。

セパレータレンズ１９Ａ、１９Ｂの後方には、焦点の探索対象に用いるべき像を取得するための撮像素子２０が配される。図２に示したように、撮像素子２０の撮影範囲ＦＳＣ２は、撮像素子１６の撮影範囲ＦＳＣ１よりも大きい範囲とされ、対物レンズ１４の光軸ＬＸを中心として位置される。すなわち撮像素子２０は、ラインセンサーではなくエリアセンサーである。

この顕微鏡１における信号処理系には、ステージ駆動制御部３１、照明制御部３２、撮像制御部３３、撮像制御部３４及び画像処理部３５が含まれる。

ステージ駆動制御部３１は、光軸と直交する方向（すなわちプレパラート配置面に対して平行となる方向）にプレパラートステージ１１を移動させる。具体的には図２に示したように、プレパラートＰＲＴに配される生体サンプルＳＰＬに対して撮像素子１６の撮影範囲ＦＳＣ１が割り当てられるよう、プレパラートステージ１１が走査される。

ちなみに図２に示す例では、生体サンプルＳＰＬに割り当てられる撮影範囲ＦＳＣ１が重ならない態様となっているが、当該撮影範囲ＦＳＣ１の一部が重なる態様であってもよい。

またステージ駆動制御部３１は、生体サンプルＳＰＬに割り当てるべき撮影範囲ＦＳＣ１が変更されるたびに、光軸方向（すなわちプレパラート配置面に対して直交する方向）にプレパラートステージ１１を移動させる。具体的には、対物レンズ１４の光軸方向のずれ量を示すデータに基づいて、生体サンプルＳＰＬに割り当てられる撮影範囲ＦＳＣ１内に存在するサンプル部位に対物レンズ１４の焦点が合うよう、プレパラートステージ１１が調整される。

照明制御部３２は、明視野像を取得すべきモード（以下、これを明視野モードとも呼ぶ）又は暗視野像を取得すべきモード（以下、これを暗視野モードとも呼ぶ）に応じたパラメータを光源１２又は図示しない光源に設定し、照明光を照射させる。このパラメータは例えば照明光の強度や光源種類の選択などである。

なお、明視野モードにおける照射光は一般に可視光とされる。一方、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカーを励起する波長を含む光とされる。また暗視野モードでは蛍光マーカーに対する背景部分はカットアウトされる。

光源１２から照明光が照射された場合、コンデンサレンズ１３によって、プレパラートステージ１１におけるプレパラート配置面の基準位置に集められる。そして、撮影範囲ＦＳＣ１として割り当てられるサンプル部位の像は対物レンズ１４によって拡大され、撮像素子１６上に結像される。一方、撮影範囲ＦＳＣ２として割り当てられるサンプル部位の像は対物レンズ１４によって拡大され、セパレータレンズ１９Ａ、１９Ｂによって位相差像として形成され、撮像素子２０上に結像される。

ここで、記録対象に用いるべきとして撮像素子１６に結像される組織切片の像と、焦点の探索対象に用いるべきとして撮像素子２０に結像される組織切片の位相差像との写真を図３に示す。この図３からも分かるように、撮影範囲ＦＳＣ１として割り当てられるサンプル部位の像は撮像素子１６上に結像される一方、撮影範囲ＦＳＣ２として割り当てられるサンプル部位の像は位相差像として撮像素子２０上に結像される。

撮像制御部３３は、明視野モード又は暗視野モードに応じたパラメータを撮像素子１６に設定し、撮影範囲ＦＳＣ１として割り当てられる被写体像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。

撮像制御部３４は、明視野モード又は暗視野モードに応じたパラメータを撮像素子２０に設定し、撮影範囲ＦＳＣ２として割り当てられる位相差像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。

画像処理部３５は、撮像素子１６から出力される被写体像のデータに対して各種の画像処理を施す。

画像処理には、例えば、生体サンプルＳＰＬに対して割り当てられる撮影範囲ＦＳＣ１内に存在するサンプル部位の像を、所定の連結アルゴリズムを用いて連結して生体サンプル像（対物レンズ１４の倍率によって拡大された生体サンプルＳＰＬ全体の像）を生成する処理がある。また別例として、所定の画面生成アルゴリズムを用いて、表示命令で指定される拡大像の表示画面を生成する処理がある。

また画像処理部３５は、生体サンプル像を生成した場合、該生体サンプル像を被験者単位で記憶媒体に記憶するようになっている。

ところで、ステージ駆動制御部３１、照明制御部３２、撮像制御部３３、撮像制御部３４及び画像処理部３５には、これら制御部を統括する制御部（以下、これを統括制御部とも呼ぶ）４０が接続される。

［１−２．統括制御部の構成］
統括制御部４０は、図４に示すように、ＣＰＵ(Central Processing Unit)４１に対して各種ハードウェアを接続することにより構成される。

具体的にはＲＯＭ(Read Only Memory)４２、ＣＰＵ４１のワークメモリとなるＲＡＭ(Random Access Memory)４３、ユーザの操作に応じた命令を入力する操作入力部４４、インターフェイス４５、表示部４６及び記憶部４７がバス４８を介して接続される。

ＲＯＭ４２には、各種の処理を実行させるプログラムが格納される。インターフェイス４５には、ステージ駆動制御部３１、照明制御部３２、撮像制御部３３、撮像制御部３４及び画像処理部３５がそれぞれ接続される。

表示部４６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部４７には、ＨＤ（Hard Disk）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。ＵＳＢ（Universal Serial Bus）メモリやＣＦ（Compact
Flash）メモリ等のように可搬型メモリが適用されてもよい。

ＣＰＵ４１は、ＲＯＭ４２に格納される複数のプログラムのうち、操作入力部４４などから与えられる命令に対応するプログラムをＲＡＭ４３に展開し、展開したプログラムにしたがって、表示部４６及び記憶部４７を適宜制御する。

またＣＰＵ４１は、展開したプログラムにしたがって、インターフェイス４５を介してステージ駆動制御部３１、照明制御部３２、撮像制御部３３、撮像制御部３４又は画像処理部３５での制御条件を指定するなど処理を実行するようになされている。

［１−３．合焦処理の具体的内容］
ＣＰＵ４１は、合焦位置を探索すべき旨の開始命令を受けた場合、その命令に対応するプログラムをＲＡＭ４３に展開する。この場合、ＣＰＵ４１は、展開したプログラムにしたがって、図５に示すように、位相差像取得部５１、視差算出部５２、合焦位置決定部５３及び合焦位置予測部５４として機能する。

位相差像取得部５１は、生体サンプルＳＰＬに対して、撮影範囲ＦＣＳ１と同様に割り当てられる撮影範囲ＦＳＣ２内のサンプル部位の位相差像を、例えば図６に示すように、１つの撮影範囲ＦＳＣ２をあけて交互（図６の太い破線で囲まれる部分）に取得する。

視差算出部５２は、位相差像取得部５１によって取得される位相差像を用いて、基準とすべき一方の像（以下、これを基準像とも呼ぶ）に対する他方の像（以下、これを参照像とも呼ぶ）の距離を画素単位で算出する。

具体的には、例えば、位相差像における基準像における各画素が、注目対象の画素（以下、これを注目画素と呼ぶ）として順に選択される。そして、注目画素が選択されるたびに、その注目画素に対応する画素（以下、これを相対画素と呼ぶ）が、位相差像における参照像から検出され、該注目画素に対する相対画素の距離が算出される。

なお、相対画素の検出手法には、例えば、注目画素を中心とする注目ブロックの画素値と最も類似度が高いブロックを、参照すべき位相差像の他方の像から正規化相関法により探索し、該ブロックの中心を相対画素とする手法が適用される。

視差算出部５２によって算出される距離は視差に相当する。この距離（視差）は小さいほど対物レンズ１４の焦点が後方に位置し、これに対して大きいほど前方に位置する関係にある。したがって、基準像の各画素に対する参照像の相対画素の距離は、図７に示すように、対物レンズ１４の視界に映るサンプル部位の凹凸状態を示す情報に相当するものとなる。

ここで、図３に示した生体サンプルの位相差像における基準像の各画素の位置と、当該画素に対する参照像の相対画素の距離との関係をグラフとして図８に示す。この図８におけるグラフの薄い部分は表側を、濃い部分は裏側を示すものである。この図８から、対物レンズ１４の視界に映るサンプル部位の凹凸状態が反映されていることが分かる。ちなみに、この図８におけるサンプル部位の端はまくれた状態となっている。

合焦位置決定部５３は、視差算出部５２によって視差（基準像の各画素に対する参照像の相対画素の距離）が算出された場合、第１段階として、該視差に基づいて、位相差像取得部５１で取得対象とされた撮影範囲ＦＳＣ２内のサンプル部位の奥行幅を算出する。

具体的には、基準像の各画素に対する参照像の相対画素の距離のうち、最大となる距離と最小となる距離の差が奥行幅として算出される。すなわち、プレパラートＰＲＴの一方の面側に最も近い位置を通る水平面と、他方の面側に最も近い位置を通る水平面との距離が奥行幅とされる。

上述したようにセパレータレンズ１９Ａ，１９Ｂの被写界深度は対物レンズ１４よりも広く調整されている。例えば、撮像素子１６上に結像される撮影範囲ＦＳＣ１のサンプル部位の被写界深度が１[μｍ]程度で設定され、撮像素子２０上に結像される撮影範囲ＦＳＣ２のサンプル部位の被写界深度が２００[μｍ]程度で設定されているものとする。この撮像素子１６で撮影される画像を用いて焦点位置を探索する場合、光軸方向へ±１００[μｍ]程度の範囲でサンプルステージ１１を動かしながら多数の画像を取得する必要がある。これに対し、撮像素子２０で撮影される画像を用いて焦点位置を探索する場合、撮像素子１６で撮影される画像を用いて焦点位置を探索する範囲と同等の探索範囲を、サンプルステージ１１を動かすことなく１回の撮影で取得可能となる。

したがって、合焦位置決定部５３は、撮像素子２０の像（位相差像）を用いることで、撮像素子１６の像を用いる場合に比べて、撮影枚数を抑えつつも、対物レンズ１４の視界に映る被写体像の奥行幅を正確に算出できる。

合焦位置決定部５３は、サンプル部位の奥行幅を算出した場合、第２段階として、サンプル部位の奥行幅に基づいて、撮影範囲ＦＳＣ１において合わせるべき対物レンズ１４の焦点位置（以下、これを合焦位置とも呼ぶ）を決定する。ちなみに撮影範囲ＦＳＣ１は、位相差像取得部５１において取得対象とされた撮影範囲ＦＳＣ２に対応する撮影範囲である。

この実施の形態における焦点位置の具体的な決定手法は、まず、サンプル部位の奥行幅を、該奥行幅に対して設定される閾値以上であるか否か判断する。閾値は、対物レンズ１４に対する絞りの開口に対して設定される開口量等のように、対物レンズ１４の被写界深度に相当する値とされる。

ここで、例えば図９（Ａ）に示すように、サンプル部位の奥行幅が閾値未満となる場合、その奥行幅の中間を合焦位置として決定する。一方、サンプル部位の奥行幅が閾値以上となる場合、例えば図９（Ｂ）に示すように、その奥行幅を、対物レンズ１４の被写界深度に納まる複数の層（以下、これを撮影層とも呼ぶ）に分割し、それら撮影層それぞれにおける奥行き方向の中間を合焦位置として決定する。

このように合焦位置決定部５３は、サンプル部位の奥行幅が対物レンズ１４の被写界深度未満である場合にはその奥行幅に応じて合焦位置を決定し、被写界深度以上となる場合には被写界深度に納まる撮影層ごとに合焦位置を決定する。つまり合焦位置決定部５３は、対物レンズ１４の被写界深度に応じて焦点位置及びその数を決定する。

したがってこの合焦位置決定部５３は、例えば傾斜した状態又はまくれた状態としてサンプル部位が存在する場合であっても、そのサンプル部位の一部が欠落又はぼけるといった撮影状態を回避させることができる。

合焦位置決定部５３は、合焦位置を決定した場合、第３段階として、該合焦位置までのサンプルステージ１１の移動量（以下、これをデフォーカス量）を算出し、これをステージ駆動制御部３１に与える。

ところで位相差像取得部５１では、図６に示したように、撮影範囲ＦＳＣ２が割り当てられるサンプル部位全ての位相差像が取得されるのではなく、１つの撮影範囲ＦＳＣ２をあけて交互に取得される。

このため、位相差像の取得対象として除外される撮影範囲ＦＳＣ２に対応する撮影範囲ＦＳＣ１では、合わせるべき焦点位置（合焦位置）が決定されないことになる。

しかしながらこの実施の形態の場合、焦点の探索対象に用いるべき像を取得するための撮像素子２０の撮影範囲ＦＳＣ２は、図２に示したように、記録対象に用いるべき像を取得するための撮像素子１６の撮影範囲ＦＳＣ１よりも大きい範囲とされる。したがって、図１０に示すように、撮影範囲ＦＳＣ２のうち、対物レンズ１４の視界ＦＯＶ内であり撮影範囲ＦＳＣ１よりも外側となる領域（以下、これを余白領域とも呼ぶ）ＭＡＲ１〜ＭＡＲ４が存在する。

この余白領域ＭＡＲには、図１１に示すように、位相差像の取得対象として除外されるサンプル部位Ｐ２の一部が、該サンプル部位Ｐ２に対してプレパラートＰＲＴの長方向に隣接するサンプル部位Ｐ１又はＰ３の位相差像に含まれる。また図示はしていないが、サンプル部位Ｐ２に対してプレパラートＰＲＴの短方向に隣接するサンプル部位の位相差像にも含まれる。

合焦位置予測部５４は、サンプル部位Ｐ２に隣接する余白領域ＭＡＲ１〜ＭＡＲ４に基づいて、焦点位置が未決定とされた撮影範囲ＦＳＣ１における合焦位置を予測する。

具体的には、余白領域ＭＡＲ１〜ＭＡＲ４における基準像の各画素に対する参照像の相対画素の距離の最大値の平均と、最小値の平均との差が、焦点位置が未決定とされた撮影範囲ＦＳＣ１内にあるサンプル部位の奥行幅として予測される。そしてその奥行幅に応じて、合焦位置決定部５３と同様に合焦位置及びその数が予測される。

合焦位置予測部５４は、サンプル部位の合焦位置を予測した場合、該合焦位置に対するサンプルステージ１１の移動量（デフォーカス量）を算出し、これをステージ駆動制御部３１に与える。

［１−４．合焦処理手順］
次に、ＣＰＵ４１における合焦処理手順を図１２に示すフローチャートを用いて説明する。ただし、この図１２では、図６に示したように、位相差像を用いて焦点位置を決定すべき撮影範囲ＦＳＣ２と、余白領域ＭＡＲを用いて焦点位置を予測すべき撮影範囲ＦＳＣ２とを交互に指定すべき設定内容が、統括制御部４０及びステージ駆動制御部３１に設定されている場合を示している。

ＣＰＵ４１は、合焦位置を探索すべき旨の開始命令を受けた場合、合焦処理手順を開始し、第１ステップＳＰ１に進む。ＣＰＵ４１は、第１ステップＳＰ１では、合焦位置を探索すべきサンプル部位に対して、記録用の撮影範囲ＦＳＣ１を割り当てたことを示すデータを待ち受ける。

ＣＰＵ４１は、第１ステップＳＰ１で受けるべきデータが例えばステージ駆動制御部３１から与えられた場合、第２ステップＳＰ２に進む。ＣＰＵ４１は、第２ステップＳＰ２では、記録用の撮影範囲ＦＳＣ１に対応する焦点探索用の撮影範囲ＦＳＣ２から位相差像を取得すべきか否かを判断する。

ここで、位相差像を取得すべきであると判断した場合、ＣＰＵ４１は、第３ステップＳＰ３に進んで、焦点探索用の撮影範囲ＦＳＣ２に結像される位相差像を用いて視差（基準像の各画素に対する参照像の相対画素の距離）を算出する。そしてＣＰＵ４１は、第４ステップＳＰ４に進んで、第３ステップＳＰ３で算出した視差を用いて、記録用の撮影範囲ＦＳＣ１に対する合焦位置とその数を決定する。またＣＰＵ４１は、第５ステップＳＰ５に進んで、第４ステップＳＰ４で算出した合焦位置に基づいてデフォーカス量を算出し、これをステージ駆動制御部３１に与える。さらにＣＰＵ４１は、第６ステップＳＰ６に進んで、生体サンプルＳＰＬに対して記録用の撮影範囲ＦＳＣ１の割り当てが終了したことを示すデータを受け取っているか否か判断する。

一方、第２ステップＳＰ２で位相差像を取得すべきではないと判断した場合、ＣＰＵ４１は、第３ステップＳＰ３から第５ステップＳＰ５までの各処理を経ることなく、第６ステップＳＰ６に進む。

このようにＣＰＵ４１は、第６ステップＳＰ６において生体サンプルＳＰＬに対して記録用の撮影範囲ＦＳＣ１の割り当てが終了したことを示すデータを受け取るまで、上述の第１ステップＳＰ１から第６ステップＳＰ６までの処理を繰り返す。

これに対してＣＰＵ４１は、第６ステップＳＰ６において生体サンプルＳＰＬに対して記録用の撮影範囲ＦＳＣ１の割り当てが終了したことを示すデータを受け取った場合、第７ステップＳＰ７に進む。

ＣＰＵ４１は、第７ステップＳＰ７では、記録用の撮影範囲ＦＳＣ１のうち合焦位置が未決定となる撮影範囲ＦＳＣ１の合焦位置とその数を、該撮影範囲ＦＳＣ１の周囲に位置する撮影範囲ＦＳＣ１に対応する焦点探索用の撮影範囲ＦＳＣ２の余白領域ＭＡＲを用いて予測し、第８ステップＳＰ８に進む。ＣＰＵ４１は、第８ステップＳＰ８では、第７ステップＳＰ７で算出した合焦位置に基づいてデフォーカス量を算出し、これをステージ駆動制御部３１に与えた後、この合焦処理手順を終了する。

［１−５．効果等］
以上の構成において、この顕微鏡１は、記録用の撮影範囲ＦＳＣ１に対応する焦点探索用の撮影範囲ＦＳＣ２から位相差像を交互に取得し（図２，図６参照）、当該位相差像を用いて、記録用の撮影範囲ＦＳＣ１における焦点位置を決定する（図９参照）。

またこの顕微鏡１は、位相差像のうち、対物レンズ１４の視界内で記録用の撮影範囲ＦＳＣ１の外側となる余白領域ＭＡＲ用いて、焦点位置が未決定となる記録用の撮影範囲ＦＳＣ１内における焦点位置を予測する（図１０，図１１参照）。

したがって、この顕微鏡１では、焦点探索用の撮影範囲ＦＳＣ２から交互に取得した位相差像だけで、生体サンプルＳＰＬに対して割り当てられる記録用の撮影範囲ＦＳＣ１すべてにおける焦点位置が得られるため、焦点探索に用いるべき生体サンプルＳＰＬに対する撮影枚数が大幅に低減される。

なお、像のコントラストに基づいて焦点位置を探索する場合、一般には、１つの撮像素子における撮影範囲が生体サンプルに割り当てられ、これら撮影範囲内の像が焦点探索用としても記録用としても用いられる。この場合、焦点位置を探索するためには、生体サンプルに対して割り当てられる撮影範囲すべての像を得ることが必須となる。

したがって、像のコントラストに基づいて焦点位置を探索する場合に比べても、焦点探索に用いるべき生体サンプルＳＰＬに対する撮影枚数が大幅に低減される。

ところで、像のコントラストに基づいて焦点位置を探索する場合、生体サンプルに割り当てられる撮影範囲のなかで代表とすべき一部分を探索対象とすることで、最適な焦点位置を検出するまでに要する時間の短縮化を図るといったことが考えられる。しかしこの場合、探索対象以外の部分が多くなるほど焦点位置の検出精度が悪くなる。つまり、像のコントラストに基づいて焦点位置を探索する場合、最適な焦点位置を検出するまでの時間短縮と、該焦点位置の検出精度とが二律背反の関係となり、一方を犠牲にしない限り他方の効果が期待できないことになる。

これに対し焦点探索用の撮影範囲ＦＳＣ２から交互に取得される像は、取得対象である撮影範囲ＦＳＣ２に対応する記録用の撮影範囲ＦＳＣ１の全体のみならず、未取得対象である撮影範囲ＦＳＣ２に対応する記録用の撮影範囲ＦＳＣ１の一部を含むものとなる。つまり、像のコントラストに基づいて焦点位置を探索する場合に比べて、焦点位置の決定又は予測に用いる観測範囲の割合が大きくなる。したがって、像のコントラストに基づいて焦点位置を探索する場合に比べて、焦点位置の検出精度が向上しつつも、焦点探索に用いるべき生体サンプルＳＰＬに対する撮影枚数が大幅に低減する。

またこの実施の形態の場合、焦点探索用の撮影範囲ＦＳＣ２に対する被写界深度は、記録用の撮影範囲ＦＳＣ１よりも大きく設定される。したがって、焦点探索用の撮影範囲ＦＳＣ２での凹凸状態は、記録用の撮影範囲ＦＳＣ１よりも詳細に反映した像であり（図８参照）、この顕微鏡１では、該凹凸状態に基づいて焦点位置が決定又は予測される。したがって、撮影範囲ＦＳＣ１のコントラストに基づいて焦点位置を探索する場合に比べて、より一段と正確に合焦位置を決定又は予測することが可能となる。

さらに焦点探索用の撮影範囲ＦＳＣ２に位相差像を結像するレンズの被写体深度は、記録用の撮影範囲ＦＳＣ１に像を結像するレンズの被写体深度よりも広く調整されている。このため、コントラストに基づいて焦点位置を探索する場合に比べて、焦点探索に用いるべき撮影範囲あたりの撮影枚数が格段に低減される。

以上の構成によれば、焦点探索に用いるべき生体サンプルＳＰＬに対する撮影枚数を大幅に低減できるようにしたことにより、合焦に要する時間を短縮させ得る顕微鏡１を実現できる。

＜２．他の実施の形態＞
上述の実施の形態では組織切片が生体サンプルＳＰＬとされた。しかしながら生体サンプルＳＰＬはこの実施の形態に限定されるものではない。例えば塗抹細胞や染色体等が生体サンプルＳＰＬとして適用可能である。また例えば半導体素子等のように、生体（生物体）以外のサンプルであってもよい。

また上述の実施の形態では、生体サンプルＳＰＬの位相差像が撮像素子２０から取得された。しかしながら取得先は撮像素子２０に限定されるものではない。例えば、統括制御部４０に接続される記憶媒体から取得するようにしてもよい。また顕微鏡１の外部から、ローカルエリアネットワークやインターネット等の有線又は無線の通信媒体を通じて取得するようにしてもよい。

また上述の実施の形態では、取得すべき像が位相差像とされた。しかしながら取得像は位相差像に限定されるものではない。例えば、フィールドレンズ１７、開口１８Ａ，１８Ｂ及びセパレータレンズ１９Ａ，１９Ｂを経ない撮像素子２０であってもよい。この場合、撮像素子２０には、ハーフミラー１５の反射側の後方に配される１又は複数のレンズもしくは開口などを介して、撮像素子１６に相当する像が結像される。

また、当該像を用いて合焦位置を決定する手法には、例えば、当該撮影範囲ＦＳＣ２での奥行位置を所定間隔ごとに変更し、それら奥行位置での像のコントラスが最も大きい奥行位置を合焦位置として決定する手法が採用可能である。さらに、当該像の余白領域ＭＡＲを用いて合焦位置を予測する手法には、例えば、余白領域ＭＡＲ１〜ＭＡＲ４におけるコントラスが最も大きい奥行位置の平均を合焦位置として予測する手法が採用可能である。

また上述の実施の形態では、サンプル部位Ｐ２に隣接する余白領域ＭＡＲ１〜ＭＡＲ４に基づいて合焦位置が予測された。しかしながら合焦位置の予測に用いるべき余白領域ＭＡＲはすべての領域に限定されるものではない。例えば、余白領域ＭＡＲ１とＭＡＲ２、もしくは、余白領域ＭＡＲ３とＭＡＲ４、又は、余白領域ＭＡＲ１とＭＡＲ３等、一部の領域のみであってもよい。ただし、余白領域ＭＡＲ１又はＭＡＲ２に比べて、結像される像のゆがみの程度が小さい余白領域ＭＡＲ３又はＭＡＲ４のほうが、予測精度の観点では望ましい。

また上述の実施の形態では、焦点位置が未決定とされた撮影範囲ＦＳＣ１内にあるサンプル部位の奥行幅が、該撮影範囲ＦＳＣ１近傍の撮影範囲ＦＳＣ２から取得された位相差像の余白領域ＭＡＲにおける視差の最大値の平均と、最小値の平均との差（距離）として予測された。しかしながら奥行幅の予測手法はこれに限定されるものではない。

例えば、余白領域ＭＡＲ内にあるサンプル部位の傾斜角度を用いて予測することができる。傾斜角度の算出手法は、例えば、図１３に示すように、Ｘ―Ｚ方向における画素ごとの視差分布に最も近似する直線ＳＬを、Ｙ方向における各列Ｙ０，Ｙ１，……，Ｙｎについて、例えば最小二乗法によって検出する。そして各Ｙ列の直線を最も多く通る平面を、例えば水平面に対する各直線の角度平均により決定する。すなわち、サンプル部位は、Ｘ―Ｚ方向からみたときの凹凸状態に最も近い平面に近似される。この平面と水平面とのなす角度が、サンプル部位の傾斜角度として算出される。

また傾斜角度に基づく奥行幅の予測手法は、例えば、傾斜角度に割り当てられる奥行幅を、所定の関数又は記憶媒体に記憶されるデータベースを用いて取得する。なお、この傾斜角度と、余白領域ＭＡＲにおける基準像の各画素に対する参照像の相対画素の距離の最大値の平均と最小値の平均との差との双方を用いて、奥行幅が予測されてもよい。

また上述の実施の形態では、焦点位置が未決定とされた撮影範囲ＦＳＣ１における合焦位置が、撮影範囲ＦＳＣ１近傍の撮影範囲ＦＳＣ２から取得された位相差像の余白領域ＭＡＲにあるサンプル部位の奥行幅に基づいて予測された。

しかしながら合焦位置の予測対象とすべきパラメータはサンプル部位の奥行幅に限定されるものではない。例えば、サンプル部位の傾斜角度に基づいて合焦位置が予測されてもよい。具体的には、傾斜角度に割り当てられる合焦位置を、所定の関数又は記憶媒体に記憶されるデータベースを用いて取得する。

なお、余白領域ＭＡＲにあるサンプル部位から予測される奥行幅又は傾斜角度は、合焦位置を予測すべきか、あるいは、位相差像を取得して合焦位置を決定すべきかを判断するパラメータとしても用いることができる。

また上述の実施の形態では、位相差像の取得対象が、図６に示したように、１つの撮影範囲ＦＳＣ２をあけて交互とされた。しかしながら２以上の撮影範囲ＦＳＣ２をあけて交互としてもよく、交互でなくともよい。要は、余白領域ＭＡＲにおけるサンプル部位を用いることが可能な程度で、所定間隔ごとに像が取得されればよい。ただし、交互としたほうが、交互としない場合に比べて、予測に用いることが可能な余白領域ＭＡＲの数が多いので、予測精度の観点では望ましい。

また上述の実施の形態では、焦点位置に対する対物レンズ１４の焦点の移動量（デフォーカス量）が、統括制御部４０で算出された。しかしながらデフォーカス量の算出場所はこの実施の形態に代えて、ステージ駆動制御部３１とすることができる。

また上述の実施の形態では、対物レンズ１４における被写界深度は固定とされたが可変としてもよい。また対物レンズ１４は上述の実施の形態では１つとされたが、倍率の異なる複数の対物レンズのなかからレンズ切換機構により電動又は手動で選択されるようにしてもよい。

また上述の実施の形態では、基準像の各画素に対する参照像の相対画素の距離（視差）における最大値と最小値との差が閾値以上となる場合、奥行幅が、対物レンズ１４の被写界深度に納まる層（撮影層）に分割された。しかしながら分割態様はこの実施の形態に限定されるものではない。

例えば図１４に示すように、奥行幅のうち、サンプル部位において奥行方向に途切れた部分以外を、撮影層に分割するようにしてもよい。このようにすれば、途切れた部分に対して焦点を合わせて撮影する処理が除かれるため、被写体像の取得効率をより一段と向上させさせることが可能となる。ちなみに、途切れた部分は、基準像の各画素に対する参照像の相対画素の距離（視差）から容易に検出可能である。

また上述の実施の形態では２枚のセパレータレンズ４４Ａ，４４Ｂが用いられた。しかしながらセパレータレンズ４４の数はこの実施の形態に限定されるものではない。１対のセパレータレンズ４４Ａ，４４Ｂを単位（組）として、複数枚のセパレータレンズ４４を用いることができる。なおこの場合、絞りマスク４３に対して各組のセパレータレンズ４４に対応する開口を設けることを要する。

また上述の実施の形態では、セパレータレンズ４４Ａ，４４Ｂによって位相差像が形成されたが、当該形成手法はこの実施の形態に必ずしも限定されるものではなく、他の既知のものが採用されてもよい。

また上述の実施の形態では、明視野照明光を照明する光源と、暗視野照明光を照明する光源とが別々に配された。しかしながら、明視野照明光又は暗視野照明光を切換可能な１つの光源が配されてもよい。なお、光源は、波長が異なる単一の光源素子で実現してもよく、互いに異なる中心波長をもつ複数の光源素子で実現してもよい。

なお、他の実施の形態として述べた事項以外であっても、本発明の趣旨を逸脱しない程度において様々な形態を幅広く採用することができる。

本発明は、遺伝子実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用することができる。

１……顕微鏡、１１……プレパラートステージ、１２……光源、１３……コンデンサレンズ、１４……対物レンズ１４……ハーフミラー、１６，２０……撮像素子、１７……フィールドレンズ、１８……絞りマスク、１８Ａ，１８Ｂ……開口、１９Ａ，１９Ｂ……セパレータレンズ、３１……ステージ駆動制御部、３２……照明制御部、３３，３４……撮像制御部、３５……画像処理部、４０……統括制御部、４１……ＣＰＵ、４２……ＲＯＭ、４３……ＲＡＭ、４４……操作入力部、４５……インターフェイス、４６……表示部、４７記憶部、５１……位相差像取得部、５２……視差算出部、５３……合焦位置決定部、５４……合焦位置予測部、ＦＳＣ１，ＦＳＣ２……撮影範囲、ＦＯＶ……視界、ＰＲＴ……プレパラート、ＳＰＬ……生体サンプル。

Claims (6)

1. 対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得手段と、
   上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定手段と、
   上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測手段と
   を有する合焦装置。
2. 上記焦点探索用の撮影範囲には、
   上記記録用の撮影範囲に結像される像に対応する像として、視点の異なる１組の像が結像され、
   上記決定手段は、
   上記視点の異なる１組の像における一方の像に対する他方の像の距離を画素単位で算出し、当該距離を用いて焦点位置とその数を決定する
   請求項１に記載の合焦装置。
3. 上記予測手段は、
   上記領域における上記距離を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する
   請求項２に記載の合焦装置。
4. 対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得ステップと、
   上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定ステップと、
   上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測ステップと
   を有する合焦方法。
5. コンピュータに対して、
   対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得すること、
   上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定すること、
   上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測すること
   を実行させる合焦プログラム。
6. 対物レンズの視界よりも小さい撮影範囲をもつ記録用の撮像素子と、
   上記対物レンズの視界よりも大きい撮影範囲をもち、上記記録用の撮像素子の撮影範囲に結像される像に対応する像が結像される焦点探索用の撮像素子と、
   サンプルに対して上記焦点探索用の撮像素子の撮影範囲が割り当てられ、それら撮影範囲内のサンプル部位の像を所定間隔ごとに取得する取得手段と、
   上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮像素子の撮影範囲における焦点位置を決定する決定手段と、
   上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮像素子の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮像素子の撮影範囲における焦点位置を予測する予測手段と
   を有する顕微鏡。