JP2014115331A - 撮像装置の制御方法、撮像システム - Google Patents

Abstract

【課題】合焦位置を迅速かつ精度良く決定し、ボケの少ない高品質な画像を取得することのできる技術を提供する。
【解決手段】第一の配置工程で、各撮像素子に対応する被写体側の焦点が光軸方向の異なる深さに形成されるように、複数の撮像素子の配置を制御し、被写体のプレ撮像を行う。プレ撮像で各撮像素子から得られた画像データを比較することにより、合焦画像が得られる焦点の深さである合焦位置を判断する。第二の配置工程で、合焦位置を基準にして複数の撮像素子を再配置し、被写体の本撮像を行う。
【選択図】図１

Description

本発明は、複数の撮像素子を用いて被写体を撮像する撮像装置の制御方法に関する。

病理学の分野等で、プレパラートに載置された検体を撮像してデジタル画像を取得し、ビューワソフトを用いてディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目されている。

バーチャル・スライド・システムにおいて、迅速かつ正確な病理診断を行う為には、プレパラート上の検体の全体像を高速かつ高解像度で撮像する必要がある。そこで、広視野かつ高解像度の対物レンズを用い、その視野内に撮像素子群を配置して、高速かつ高解像度の撮像をする顕微鏡が提案されている（特許文献１）。

顕微鏡で用いられる対物レンズの被写界深度は極めて浅く、一般的な検体の厚みに比べてかなり狭い。そのため、合焦画像を得るには、検体内の組織や細胞（つまり観察したい対象物）が存在する深さに対して焦点位置を合わせる必要がある。
また、プレパラートの表面は完全な平面であることはなく、カバーグラス、スライドグラス或いは検体の凹凸が原因のうねりが存在する。検体内の組織や細胞はこのうねりに沿って分布する傾向にあり、適切な焦点位置はプレパラート上の（水平方向の）位置によって異なる場合がある。

特許文献２では、検体内の異なる深さの層を高速に観察する方法として、検体内の異なる深さの複数の層をそれぞれ同時に結像させる光学レンズと、層毎に対応して設けられた複数のラインセンサとを用い、層毎の画像を同時に作成する方法が提案されている。
また特許文献３では、デジタルカメラのオートフォーカス（ＡＦ）技術として、撮像素子の構造的特徴（段差）を利用することでＡＦ動作における方向判定処理の高速化を実現する提案がされている。光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、判定された合焦方向に向かって撮像レンズを合焦位置まで移動させる構成となっている。

特開２００９−００３０１６号公報 特開２００４−１５１２６３号公報 特開２００１−２１５４０６号公報

ここで検体観察の高速化に直接影響する重要な要素として、検体の合焦している画像を的確に取得することが掲げられる。例えば最初の撮像で得られた画像がボケてしまっていた場合、同じ検体に対し合焦位置の調整と再撮像を行う必要が生じ、余計な時間を費やしてしまうことになるからである。

合焦した画像を的確に取得するには、本撮像に先立ち、プレパラートの表面形状（うねり）や検体内の観察したい層の深さをあらかじめ探索し、その探索結果から算出した検体の像面位置に合わせて各撮像素子を配置すればよい。（以降、合焦した画像が得られる撮像素子の位置を「撮像素子適正位置」と呼ぶ。）
表面形状や観察したい層の深さを探索する方法として、従来、レーザ変位計等で計測した位置情報から認識する方法がある。しかし、この方法は、レーザ変位計等の計測装置の精度に大きく依存するという問題がある。例えばコストを抑えるために性能の低い計測装置を用いたり、計測装置の組み付け精度が悪かったりすると、計測結果から算出した像面と本撮像に用いる結像光学系で形成される像面との間に誤差が生じ、結果として画像にボケが発生する場合がある。とはいえ、高精度の計測装置を実装したり、組み付け精度を上げようとすると、撮像装置の大型化やコスト増大を招くため現実的でない。

特許文献３では、撮像素子の構造的特徴（段差）を利用して光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、レンズを移動させる構成を取っている。この方法であればレーザ変位計等の計測装置は必要ない。しかしながら、特許文献３の方法では、複数の画像信号を収集する撮像素子と、レンズ調整後に本撮像する撮像素子とが異なるため、撮像素子の違いによる焦点ズレが発生し、高い精度が得られないという問題がある。

本発明は上記実情に鑑みてなされたものであって、合焦位置を迅速かつ精度良く決定し、ボケの少ない高品質な画像を取得することのできる技術を提供することを目的とする。

本発明の第一態様は、結像光学系と複数の撮像素子とを有する撮像装置の制御方法であって、各撮像素子に対応する被写体側の焦点が光軸方向の異なる深さに形成されるように、前記複数の撮像素子の配置を制御する第一の配置工程と、前記第一の配置工程で配置された前記複数の撮像素子によって、前記被写体を撮像する第一の撮像工程と、前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データを比較することにより、合焦画像が得られる焦点の深さである合焦位置を判断する合焦位置判断工程と、前記合焦位置判断工程で判断された合焦位置を基準にして、前記複数の撮像素子の配置を制御する第二の配置工程と、前記第二の配置工程で配置された前記複数の撮像素子によって、前記被写体の本撮像を行う第二の撮像工程と、を含むことを特徴とする撮像装置の制御方法である。

本発明の第二態様は、結像光学系と複数の撮像素子を有する撮像装置と、制御処理部と、を備える撮像システムであって、前記制御処理部は、各撮像素子に対応する被写体側の焦点が光軸方向の異なる深さに形成されるように、前記複数の撮像素子の配置を制御する第一の配置工程と、前記第一の配置工程で配置された前記複数の撮像素子によって、前記被写体を撮像する第一の撮像工程と、前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データを比較することにより、合焦画像が得られる焦点の深さである合焦位置を判断する合焦位置判断工程と、前記合焦位置判断工程で判断された合焦位置を基準にして、前記複数の撮像素子の配置を制御する第二の配置工程と、前記第二の配置工程で配置された前記複数の撮像素子によって、前記被写体の本撮像を行う第二の撮像工程と、を含む制御を実行することを特徴とする撮像システムである。

本発明の第三態様は、前記撮像装置の制御方法の各工程を、前記撮像装置の制御処理部に実行させることを特徴とするプログラムである。

本発明によれば、合焦位置を迅速かつ精度良く決定し、ボケの少ない高品質な画像を取得することができる。

本発明の実施形態に係る撮像装置の制御の流れを模式的に示す図 プレ撮像での各撮像素子の焦点の配置を説明するための図 撮像システムの構成を説明するための図 検体およびプレパラートを説明するための図 撮像装置内の撮像部の構成を説明するための図 検体面形状取得部を説明するための図 撮像システムの動作を説明するためのフローチャート 検体の存在範囲を説明するための図 第１の実施形態のプレ撮像での撮像素子の配置を説明するための図 第２の実施形態のプレ撮像での撮像素子の配置を説明するための図 第２の実施形態のプレ撮像での撮像素子の配置を説明するための図 第３の実施形態のプレ撮像での撮像素子の配置を説明するための図

本発明は、結像光学系と複数の撮像素子を有する撮像装置を用いて、被写体を高倍率で撮像し、高精細のデジタル画像を取得する撮像システムに関する。このシステムは、デジタル顕微鏡システムやバーチャル・スライド・システムとも呼ばれ、病理診断をはじめとする画像検査への応用が期待されている。

前述のように、この種の撮像システムでは、被写界深度が被写体の厚みに比べてかなり狭いにもかかわらず、被写体内の観察したい物体（細胞や組織など）の深さがサンプルごとにまちまちである。そのため本発明では、本撮像の前に本撮像と同じ撮像系を用いて被写体のプレ撮像を行い、プレ撮像で得られた画像を用いて最適な合焦位置を決定し、その合焦位置に合わせて撮像素子の位置や姿勢を制御した上で本撮像を行う。

＜撮像装置の制御方法の概略＞
図１に、プレ撮像と本撮像の大まかな流れを模式的に示す。図１において、１０は結像光学系、１１ａ〜１１ｃは撮像素子、１２は被写体、１３ａ〜１３ｃは被写体内の観察したい物体を示す。ここでは、観察したい物体（画像化したい物体）１３ａ〜１３ｃが被写体１２の比較的浅い部分に存在しているものとする。また、１４ａ〜１４ｃは撮像素子１１ａ〜１１ｃに対応する被写体側の焦点（焦点面）を示し、１５ａ〜１５ｃはプレ撮像で撮像素子１１ａ〜１１ｃから得られた画像、１６ａ〜１６ｃは本撮像で撮像素子１１ａ〜１１ｃから得られた画像を示す。

（１）第一の配置工程
最初の段階では、被写体１２に対する合焦位置（つまり、被写体１２のどの深さに各撮像素子１１ａ〜１１ｃの焦点を合わせればよいか）が不明である。そこでまずは、焦点１４ａ〜１４ｃが異なる深さに形成されるように、各撮像素子１１ａ〜１１ｃの配置（光軸方向の位置、姿勢など）を調整する。図１の例では、焦点１４ａ、１４ｂ、１４ｃの順に段階的に深くなるように、撮像素子１１ａ、１１ｂ、１１ｃの配置が設定されている。

（２）プレ撮像工程（第一の撮像工程）
第一の配置工程で配置された複数の撮像素子１１ａ〜１１ｃによって、被写体１２を撮像する。その結果、各撮像素子１１ａ〜１１ｃから、被写体１２の異なる深さに焦点の合った画像１５ａ〜１５ｃが得られる。図１の例では、物体１３ａが存在する深さがちょうど焦点１４ａの深さと一致している。それゆえ、画像１５ａでは物体１３ａにピントが合うが、画像１５ｂ、１５ｃでは物体１３ｂ、１３ｃの像がボケている。

（３）合焦位置判断工程
次に、プレ撮像工程で得られた画像データを比較することにより、合焦画像が得られる焦点の深さ（合焦位置）を判断する。例えば、画像１５ａ〜１５ｃのコントラストやエッ
ジ成分を比較することで、最も合焦している画像が得られた撮像素子を特定し、その撮像素子に設定されている焦点の深さを合焦位置として選ぶ。図１の例では、撮像素子１１ａで得られた画像１５ａが最も合焦しているので、焦点１４ａの深さが合焦位置として選ばれる。

（４）第二の配置工程
次に、合焦位置判断工程で決定された合焦位置を基準にして、撮像素子１１ａ〜１１ｃを配置し直す。このとき、簡便には、全ての撮像素子１１ａ〜１１ｃの位置を合焦位置に揃えれば良い。ただし、被写体１２の表面のうねりや凹凸を無視できない場合には、その表面形状に合わせて各撮像素子１１ａ〜１１ｃの位置や姿勢（傾き）を調整しても良い。

（５）本撮像工程（第二の撮像工程）
第二の配置工程で再配置された複数の撮像素子１１ａ〜１１ｃによって、被写体１２の本撮像を実行する。これにより、図１に示すように、全ての撮像素子１１ａ〜１１ｃで合焦した画像１６ａ〜１６ｃを取得することができる。

以上述べた方法によれば、本撮像で用いる撮像系を合焦位置の検出にも利用するので、合焦位置検出のための追加設備が不要となり、システム構成の簡易化・小型化ならびにコストの低減を図ることができる。しかも、同じ撮像系でプレ撮像と本撮像を連続的に行うことができるので、撮像素子の違いによる焦点ズレの発生や、被写体のステージ移動による位置ズレ・タイムロスなどを回避でき、高精度な焦点合わせを高速に行うことが可能となる。

なお、被写体１２の表面が平らであるか平らとみなせる場合には、図２（ａ）、図２（ｂ）に示すように、光軸方向の同じ位置（Ｚｒｅｆ）を基準にして、各焦点１４ａ〜１４ｃの深さを規定するのが簡便である。しかし、被写体１２の表面のうねりや凹凸が無視できない場合には、図２（ｃ）に示すように、被写体１２の表面形状（表面高さ）を基準にして、各焦点１４ａ〜１４ｃの深さを規定することが好ましい。つまり、被写体１２の実際の表面の位置と焦点との間の光軸方向の距離を「焦点の深さ」とみなすのである。被写体１２の表面がうねっていると、その形状に倣って物体１３ａ〜１３ｃが分布する傾向にある。それゆえ、表面形状を基準にした深さを考慮する方が合焦位置の検出を正確に行うことが可能となる。

上述した撮像装置の制御方法を実現するための具体的な構成例について、さらに詳しく説明する。

＜第１の実施形態＞
図３は、本発明の第１の実施形態の撮像システムの全体図である。撮像システム１００は、検体１８０を撮像する撮像装置１１０、検体１８０の表面形状情報を取得する検体面形状取得部１２０、二次元画像の生成や合焦画像の識別をする合焦画像識別部１５０、表示部としてのモニター１６０の４つのサブシステムから構成される。各サブシステムは、システム制御部１３０によって統括的に制御される。本実施形態では、システム制御部１３０と合焦画像識別部１５０により、撮像装置１１０の各種の制御及び演算処理を行う制御処理部が構成されている。

なお、撮像システムの構成は図３に示すものに限定されるものではない。例えば、検体面形状取得部１２０を撮像装置１１０に一体化したり、モニター１６０を合焦画像識別部１５０に一体化してもよい。また、合焦画像識別部１５０の機能（画像処理機能、合焦画像識別機能など）を撮像装置１１０に組み込んでもよい。あるいは、各サブシステムの機能を分割して複数の装置によって実現される構成をとってもよい。

図４（ａ）、図４（ｂ）は、被写体の一例であるプレパラート（スライドともいう）１８の構成を示す図である。図４（ａ）はプレパラート１８の平面図であり、図４（ｂ）はプレパラート１８の側面図である。プレパラート１８は、スライドグラス１８３０、カバーグラス１８１０、検体１８０、およびラベル１８４０から構成されている。スライドグラス１８３０とカバーグラス１８１０の間に検体１８０が封止剤で封止されている。図４（ｂ）に示すように、プレパラート１８の表面は完全に平らであることは少なく、スライドグラス１８３０、カバーグラス１８１０或いは検体１８０の凹凸に起因するうねりが存在する場合が多い。ラベル１８４０は、検体１８０を管理する為の管理情報が記録される部材である。管理情報はラベル１８４０に印字又はペンで記入されていてもよいし、バーコードや二次元コードなどで記録されていてもよいし、電気的、磁気的もしくは光学的な方法で記録媒体に記録されていてもよい。

撮像システム１００を構成する各要素について説明する。
図３に示すように、撮像装置１１０は、照明部１１６０、撮像ステージ１１４０、撮像ステージ位置姿勢計測部１１５０、結像光学部１１２０、撮像部１１３０、検体上面計測部１１７０を有する。ここでは、撮像装置１１０の結像光学部１１２０の光軸と平行にｚ軸をとり、光軸に直交し且つ被写体表面に平行にｘ軸及びｙ軸をとるものとする。

照明部１１６０は、撮像ステージ１１４０上の検体１８０を照明するユニットであり、光源と光源からの光を検体１８０に導く光学系を含む。光源は、白色光源や、ＲＧＢの各波長の光を切換え可能な光源などを用いることができる。

撮像ステージ位置姿勢計測部１１５０は、結像光学部１１２０（の物体面）に対する撮像ステージ１１４０の位置及び姿勢を計測するユニットである。撮像ステージ位置姿勢計測部１１５０は、結像光学部１１２０の鏡筒の周囲（同じ高さ）に配置された３つのセンサを有している。そして、各センサで撮像ステージ１１４０の上面までの距離を測定し、得られた３点の距離に基づき、結像光学部１１５０に対する撮像ステージ１１４０の傾きとｘｙ位置を算出する。なおセンサの数（距離計測点の数）は３つより多くてもよい。撮像ステージ位置姿勢計測部１１５０には各種の測距センサ、レーザ変位計、静電容量式変位計などを用いることができる。

撮像ステージ１１４０は、プレパラート１８を保持（支持）し、不図示の移動機構によりｘ，ｙ，ｚ方向の並進、ｘ軸周り及びｙ軸周りのチルトが可能なユニットである。また、撮像ステージ１１４０は、撮像装置１１０と検体面形状取得部１２０の間を往来可能である。撮像ステージ１１４０の移動機構は、撮像ステージ位置姿勢計測部１１５０の計測結果を用いて、撮像ステージ１１４０の位置と姿勢が所望の値になるよう制御する。撮像ステージ１１４０の移動機構としてはどのような機構を用いても良い。例えば、ｘ、ｙ方向の移動は、ボールねじを用いた並進機構で実現でき、ｚ並進、ｘｙチルトは、３つ以上のピエゾ素子を用いた上下機構で実現可能である。

結像光学部１１２０は、検体１８０の光学像を所定の倍率で拡大し、撮像部１１３０の撮像面に結像させる結像光学系を含むユニットである。

撮像部１１３０の構成を図５（ａ）、図５（ｂ）に示す。図５（ａ）は撮像部１１３０の平面図であり、図５（ｂ）は、図５（ａ）のＢ−Ｂ断面図である。

撮像部１１３０は、撮像素子ステージ１１３５上に二次元的に配列された複数（本実施形態では４行４列の１６個）の撮像素子１１３１から構成される。各撮像素子１１３１は電子回路基板１１３３に取り付けられ、電子回路基板１１３３は保持具１１３４に取り付
けられている。そして保持具１１３４と撮像素子ステージ１１３５の間には、各撮像素子１１３１のｚ並進とｘｙチルトを行う駆動部１１３２が設けられている。

撮像素子１１３１の数や配置は、結像光学部１１２０のイメージサークルの大きさと、撮像素子１１３１の面積とを考慮し決定する。また、撮像素子間のピッチ（隙間）は、撮像素子１１３１を駆動部１１３２で駆動した時に互いに接触せず、且つ、各撮像素子で得られた画像をつなげる（タイリング）時、隙間が出来ないような距離を考慮し決定するとよい。

駆動部１１３２は、撮像素子ステージ１１３５に設けられている。駆動部１１３２は、例えば３つのアクチュエータで構成され、アクチュエータの伸縮により撮像素子１１３１をｚ並進、ｘｙチルトする。駆動部１１３２は、可動範囲内であれば、個別に撮像素子１１３１を任意の位置・姿勢に移動できる。また隣接する撮像素子間の高低差（ｚ位置の差）を、所定の間隔に設定する事もできる。

駆動部１１３２の可動範囲が有限であるため、可動範囲を超えて撮像素子１１３１のｚ位置（光軸方向位置）を移動させたい場合には、撮像素子ステージ１１３５をｚ方向に移動させればよい。或いは、プレパラート１８を保持する撮像ステージ１１４０の位置や姿勢を変え、合焦範囲を駆動部１１３２の可動範囲に移動しても良い。

撮像素子１１３１としては、ＣＭＯＳイメージエリアセンサ、又はＣＣＤイメージエリアセンサを用いることができる。なお、図５（ａ）では撮像素子１１３１を二次元に配列したが、一次元に配列してもよい。また、すべての撮像素子１１３１が一つの撮像素子ステージ１１３５上に設置されている必要はなく、各撮像素子１１３１が別々のステージに設定されていてもよい。また、結像光学部１１２０と撮像素子１１３１の間の光路に光学部品を介在させてもよい。

検体上面計測部１１７０は、撮像ステージ１１４０に保持された検体１８０の表面の高さ（光軸方向のｚ位置）を計測する計測手段である。検体上面計測部１１７０では、検体１８０の表面の少なくとも一点（一つのｘｙ座標）についての高さ情報（ｚ位置情報）が取得される。計測には、例えば、レーザ変位計等の距離センサを用いることができる。レーザ変位計ではカバーグラス１８１０の上面のｚ位置が計測されるが、これをそのまま検体上面の高さ情報として出力してもよい。あるいは、カバーグラス厚が既知の場合には、計測結果からカバーグラス１８１０の下面（カバーグラス１８１０と検体１８０の境界）のｚ位置を計算して出力してもよい。なお、高さの基準となるｚ軸方向の座標原点は、例えば、撮像ステージ位置姿勢計測部１１５０で計測した撮像ステージ１１４０の位置（つまり、プレパラート１８の下面の位置）にとることができる。

検体面形状取得部１２０（表面形状取得手段）の構成を図６に示す。検体面形状取得部１２０は、検体１８０を照明する計測照明部１２１０と検体１８０の表面の形状を計測する表面計測部１２２０を有する。また、計測照明部１２１０からの光を検体１８０に反射し検体１８０からの光を表面計測部１２２０に通過させる偏光ビームスプリッタ１２３０、λ／４板１２４０を有する。計測照明部１２１０は、半導体レーザや白色ＬＥＤ光源等を光源とし、平行光を出す。表面計測部１２２０は、波面を計測するセンサを有し、検体１８０の表面で反射した光の波面の形状を算出する。検体１８０の表面の高さは光の光路長と光の波面の高さに基づき算出される。波面を計測するセンサとしては、シャックハルトマンセンサや干渉計を用いると良い。

また、レーザ変位計、接触式位置センサ等の位置測定器により検体１８０の複数の計測点（ｘｙ座標）の高さを計測し、それらの計測点を補間演算することによって表面形状を
計算することもできる。計測点の補間演算手法としては、線形補間、高次（例えば三次）の補間など、公知の手法を利用することができる。さらには、検体面形状取得部１２０は、表面形状を測定するのではなく、予め用意された表面形状情報を取得する構成でも良い。例えば、プレパラート１８のラベル１８４０に表面形状情報が記録されている場合には、検体面形状取得部１２０はラベル１８４０から情報を読み取る装置（例えば、バーコードリーダ、二次元コードリーダ、ＲＦ−ＩＤリーダなど）でも良い。或いは、検体面形状取得部１２０は、外部のデータベースやサーバなどからネットワークを介して表面形状情報を受信する通信装置でも良い。

合焦画像識別部１５０は、個々の撮像素子１１３１が取得した撮像データから二次元画像を生成後、その中から合焦している二次元画像を判別し、この二次元画像を撮像した撮像素子１１３１を特定する機能を有するものである。二次元画像が合焦しているかどうかは、例えば、画像のコントラストやエッジ成分などの特徴量から判断することができる。合焦画像識別部１５０は、例えばコンピュータと画像処理プログラムで構成しても良く、画像処理回路基板であっても良い。

モニター１６０は、合焦画像識別部１５０が演算処理した結果である複数枚の二次元画像を表示するものである。ＣＲＴや液晶ディスプレイ等の表示装置により構成される。なお、合焦画像識別部１５０の演算結果を表示するのは、演算結果の正誤の確認をユーザに行わせるためである。したがって、多数のプレパラート１８をバッチ的に自動処理する場合などには、合焦画像識別部１５０の演算結果はログに書き出すだけにし、モニター１６０への表示（つまりユーザの確認）は省略するようにしても良い。

システム制御部１３０は、撮像システム１００の各部の統括的な制御を担う。例えば、検体面の形状計測、撮像ステージ１１４０の移動、ｚ軸方向の座標原点の選定、検体上面までの距離計測、撮像部１１３０の駆動部１１３２の制御、撮像素子１１３１の撮像実行指示、合焦画像識別部１５０への画像データの送り込みなどを行う。システム制御部１３０は、パーソナルコンピュータやＰＬＣ（Programmable Logic Controller）であっても
良い。

次に、図７のフローチャートを用いて、撮像システム１００の動作を説明する。
まずは、撮像ステージ１１４０の上面にプレパラート１８をセットし、検体面形状取得部１２０に設置する。プレパラート１８のセットは、人が行っても良いし、不図示の搬送機構（例えば、多数のプレパラートを収容するストッカとストッカからプレパラートを一枚ずつ撮像ステージに繰り出す機構など）により自動で行っても良い。

検体面形状取得部１２０は、検体表面の形状を計測し、その計測データ（以下、プロファイルデータと呼ぶ）をシステム制御部１３０内のメモリに記憶する（ステップＳ５０１）。撮像ステージ１１４０が検体面形状取得部１２０から撮像装置１１０へと移動し、プレパラート１８を撮像装置１１０内の撮像位置に位置決めする（ステップＳ５０２）。撮像ステージ位置姿勢計測部１１５０が、撮像ステージ１１４０の位置（ｘｙｚ座標）及び傾きを計測し、その計測結果をシステム制御部１３０に送出する。システム制御部１３０は、この計測結果に基づきｚ軸方向の座標原点Ｓ０を決定する（ステップＳ５０３）。ここでは、撮像ステージ１１４０の上面のｚ座標（プレパラート１８の下面のｚ座標にほぼ等しい）を座標原点Ｓ０にとる。検体上面計測部１１７０が、検体表面の高さ情報を求め、その高さ情報をシステム制御部１３０に送出する（ステップＳ５０４）。

次に、システム制御部１３０が、ステップＳ５０１で得られたプロファイルデータ、ステップＳ５０３で得られた座標原点Ｓ０、及び、ステップＳ５０４で得られた検体表面の高さ情報に基づき、検体のｚ方向の存在範囲を算出する（存在範囲決定工程）。図８に示
すように、プロファイルデータとは、検体の表面ＰＤの三次元形状を表すデータである（ただし、表面ＰＤのｚ位置は不定）。一方、高さ情報とは、検体上のある一点（ｘｈ，ｙｈ）における座標原点Ｓ０からの高さ（ｚｈ）を表すデータである。システム制御部１３０は、プロファイルデータで表される面ＰＤが点（ｘｈ，ｙｈ，ｚｈ）を通るように、面ＰＤのｘｙｚ位置を合わせこむ。この結果、座標原点Ｓ０を基準としたときの検体表面全体の高さを知ることができる。システム制御部１３０は、図８に示すように、座標原点Ｓ０から面ＰＤ内の最上点までの範囲を、検体のｚ方向の存在範囲とみなす。

システム制御部１３０は、検体の存在範囲の中の異なる深さ（ｚ位置）に各撮像素子１１３１の焦点が形成されるように、複数の撮像素子１１３１それぞれのｚ位置を決定する。そして、システム制御部１３０は、駆動部１１３２を制御して、各撮像素子１１３１の配置を変更する（ステップＳ５０５；第一の配置工程）。ここでは、図９に示すように、複数の撮像素子１１３１を所定の間隔で階段状に配置することで、各々の焦点の深さが段階的に変化するようにする。

撮像素子同士の間隔（焦点の深さの間隔）はどのように設定しても良い。等間隔配置は処理が簡便になるとともに、検体の存在範囲の中を漏れなく評価できるという利点がある。しかし、観察する物体がどの辺りの深さに存在するのか予測できるのであれば、その深さの近辺では配置間隔を狭くする、というような不等間隔配置も好ましい。間隔を狭くするほど合焦位置の検出精度の向上が期待できる。ただし、間隔を狭くしすぎると撮像枚数の増加による処理時間の増大を招くという弊害がある。よって検出精度と処理時間のバランスで間隔の下限を決めると良い。一方、間隔の上限については、結像光学部１１２０の被写界深度（撮像素子側の場合は焦点深度）との関係で決めると良い。すなわち、被写体側の焦点の間隔が被写界深度以下となるように設定するのである。このように間隔の上限を定めることで、観察したい物体がどの深さに存在しても、いずれかの撮像素子で合焦した画像を得ることが可能となる。

次に、システム制御部１３０は、各撮像素子１１３１に撮像実行命令を送信し、プレ撮像を行う（ステップＳ５０６；第一の撮像工程）。各撮像素子１１３１から得られた画像データはシステム制御部１３０を介して合焦画像識別部１５０に送られ、合焦画像識別部１５０で必要な処理が施された後、各画像がモニター１６０に表示される（ステップＳ５０７）。合焦画像識別部１５０は、それらの画像のコントラストなどを評価することで、合焦画像があるか否かを判断する（ステップＳ５０８；合焦位置判断工程）。合焦画像があれば、システム制御部１３０は、その画像を取得した撮像素子の位置座標を取得し、これを適正位置基準点とする。

もしステップＳ５０８において合焦画像が見つからなければ、システム制御部１３０は、撮像素子同士の間隔を保持したまま、撮像素子全体を移動させる（ステップＳ５０９）。撮像素子全体の移動は、撮像ステージ１１４０または撮像素子ステージ１１３５のｚ方向移動により行っても良い。駆動部１１３２の可動範囲であれば、全ての駆動部１１３２を一律に移動しても良い。撮像素子全体が移動後、ステップＳ５０６に帰還して、合焦画像が見つかるまで、同じ動作を繰り返す。

なお、合焦画像が見つからないまま、検体の存在範囲全域のプレ撮像が完了してしまった場合には、帰還ループを抜け、それまで得られた画像の中で最もコントラストの高い画像を合焦画像とみなすと良い。或いは、ステップＳ５０９の代わりに、撮像素子の間隔や配置を変更しつつ、合焦画像が見つかるまでプレ撮像を繰り返しても良い。

ステップＳ５０８にて適正位置基準点が得られたら、システム制御部１３０は、適正位置基準点とプロファイルデータに基づき、各々の撮像素子１１３１の適正位置を算出し、
全ての撮像素子１１３１を再配置する（ステップＳ５１０；第二の配置工程）。そしてシステム制御部１３０が各撮像素子１１３１に撮像実行命令を送信し、本撮像を行う（ステップＳ５１１；第二の撮像工程）。

本実施形態によれば、撮像ステージの位置決め精度があまり高くなくても、少なくとも一つの合焦した画像を基準にして、その他の撮像素子を適正位置に配置することができる為、ボケの少ない良好な検体の全体画像を取得する事ができる。また、合焦位置検出に用いる撮像系と、検体の本撮像に用いる撮像系が同じであるため、合焦位置検出のための追加設備が不要となり、システム構成の簡易化・小型化ならびにコストの低減を図ることができる。しかも、プレ撮像と本撮像を連続的に行うことができるので、撮像素子の違いによる焦点ズレの発生や、被写体のステージ移動による位置ズレ・タイムロスなどを回避でき、高精度な焦点合わせを高速に行うことが可能となる。

＜第２の実施形態＞
第１の実施形態は、検体のｚ方向の存在範囲を算出し、その存在範囲内の異なる深さに焦点が形成されるように、複数の撮像素子を所定の間隔で階段状に配置する方法であった。第２の実施形態は、検体の表面形状（プロファイルデータ）に応じたオフセットを撮像素子のｚ位置に加減することによって、図２（ｃ）に示すように、実際の検体表面の高さを基準にして各焦点の深さを設定する方法である。これにより、合焦計測範囲の拡大を実現できる。以下、プレ撮像における撮像素子の配置位置の決め方を中心に説明する。それ以外の構成及び処理は、第１の実施形態と同じなので説明を省略する。

図１０は、検体１８０の表面形状（プロファイルデータ）と、表面形状に応じたオフセットを撮像素子のｚ位置に加える様子を示している。なお、実際は検体側（上段）と撮像素子側（下段）とではスケールが異なるが、図１０では、説明の便宜のため、両者を同じスケール及び同じ符号を用いて示している。

システム制御部１３０は、検体１８０の表面形状（プロファイルデータ）、ｚ方向の座標原点Ｓ０、及び、検体上面計測部１１７０で得られた検体表面の高さ情報に基づき、検体のｚ方向の存在範囲を算出する。第１の実施形態では、図８に示すように、座標原点Ｓ０から検体表面の最上点までの範囲を検体の存在範囲とした。これに対し、本実施形態では、検体の存在範囲の最下点になる絶対位置基準Ｚ０を算出し、絶対位置基準Ｚ０から検体表面の最上点までの範囲を検体の存在範囲とみなす。絶対位置基準Ｚ０の決め方はいくつか考えられるが、例えば、プロファイルデータから求められる検体表面の最下点を絶対位置基準Ｚ０としても良いし、座標原点Ｓ０にスライドグラスの厚みを加算した値を絶対位置基準Ｚ０としても良い。

次に、システム制御部１３０は、各撮像素子に対応するｘｙ位置において、絶対位置基準Ｚ０と検体１８０の表面高さの差分を算出する。図１０では、９個の撮像素子に関して、差分Ｌ０〜Ｌ８が算出されている（Ｌ０とＬ８は差分がゼロのため不図示）。

第１の実施形態と同じように撮像素子を所定の間隔で階段状に配置した場合、９個の撮像素子Ｃ０〜Ｃ８は図１０のａの位置に配置されることになる。これに対し、本実施形態では、絶対位置基準Ｚ０と検体１８０の表面高さの差分Ｌ０〜Ｌ８を、撮像素子Ｃ０〜Ｃ８のｚ位置（ａの位置）にそれぞれ加算する。その結果、撮像素子Ｃ０〜Ｃ８はｂの位置に配置される。撮像素子Ｃ０〜Ｃ８をこのような配置とすることで、図２（ｃ）に示すように、各焦点の検体表面からの深さを所定の間隔で（つまり、相対的に所定の距離の差を生むように）配置することができる。

なお、図１０では検体の最下点（絶対位置基準（Ｚ０）と同じ）から、検体上面までの
距離差分を用いたが、図１１に示すように、最上点から検体上面までの距離差分を用いても良い。

本実施形態では、合焦位置を検出するために、表面形状の凹凸に合わせて撮像素子を配置することで、観察対象となる検体像面が曲面形状であったとしても、より確実に合焦する像面を見つける事が出来る。

＜第３の実施形態＞
第１および第２の実施形態では、プレ撮像において、複数の撮像素子、結像光学系の像面、および検体１８０が、光軸方向（図３のｚ軸方向）に対して垂直な状態で配置されていた。第３の実施形態は、プレ撮像において、各撮像素子の焦点面が光軸に垂直な面に対して傾斜するように、撮像素子、結像光学系の像面、および検体１８０のうち少なくともいずれかを傾ける制御を行うことで、合焦範囲を広げることを特徴とする。以下、この点を中心に説明する。それ以外の構成及び処理は、第１、第２の実施形態と同じなので説明を省略する。

撮像素子１１３１の傾き（姿勢）は、図５（ｂ）に示す駆動部１１３２によって調整することができる。光軸方向（ｚ軸方向）に対して傾けることをｘｙチルトと呼ぶ。また撮像素子ステージ１１３５に、駆動部１１３２と同じようなアクチュエータを設ければ、このアクチュエータの伸縮により全ての撮像素子１１３１を全体的にｘｙチルトさせることもできる。
また、結像光学系の像面を光軸に対して傾けるには、例えば、結像光学系と撮像素子の間に像面の傾き調整をするための光学部品を介在させればよい。このような光学部品は、例えば、反射ミラーと傾斜ステージの組み合わせで実現可能である。
また、検体１８０を光軸に対して傾けるには、撮像ステージ１１４０のｚ並進とｘｙチルト駆動を利用すれば良い。

図１２（ａ）、図１２（ｂ）は、撮像素子を光軸に対して傾けることにより合焦範囲を拡大できる理由を説明する図である。

図１２（ａ）のように撮像素子を光軸に垂直に配置する場合、第１の実施形態で説明したように撮像素子同士の間隔は焦点深度以下に設定することが望ましい。例えば、焦点深度がＤｚの撮像素子をＮ個用いたとすると、それらの撮像素子で一度に撮像可能な合焦範囲は、以下のとおりとなる。
合焦範囲≦Ｎ×Ｄｚ

これに対し、図１２（ｂ）のように撮像素子を傾けた場合、各撮像素子の焦点深度は実質的に、
焦点深度＝Ｄｚ＋Ｔｚ （Ｔｚ：チルト幅）
となるので、一度に撮像可能な合焦範囲は、以下のとおりとなる。
合焦範囲≦Ｎ×（Ｄｚ＋Ｔｚ）
すなわち、最大で合焦範囲をＮ×Ｔｚだけ拡大することができる。

なお、図１２（ｂ）では撮像素子を傾ける例を示したが、結像光学系の像面や検体を傾けた場合も同様に合焦範囲の拡大が可能である。そして、本実施形態のように一度に撮像可能な合焦範囲を拡大できると、プレ撮像の時間短縮による処理時間の高速化を実現することができる。

＜その他の実施形態＞
上述した第１から第３の実施形態は本発明の一具体例であり、本発明の範囲はこれらの
実施形態の構成に限定されるものではない。上述したシステム構成を適宜変形したものも本発明の範疇に含まれるものである。

例えば、上記実施形態では、撮像ステージ上面のｚ位置（スライドグラスの下面のｚ位置）をｚ方向の座標原点Ｓ０に選んだが、他の点を座標原点に選んでも良い。例えば、検体表面のｚ位置を座標原点に選んでも良い。この場合には、座標原点から下方向に各焦点を配置することになる。

また、上記実施形態では、検体上面計測部１１７０によって検体表面の高さを計測したが、計測を行わずに、計算だけで検体表面の高さを推定しても良い。例えば、スライドグラスの厚みは１．２ｍｍ以下、病理診断で扱う組織は４μｍ以下、カバーグラスの厚みが０．１７ｍｍ以下と分かっていれば、座標原点から検体表面までの距離は、それらの合算である１．３７４ｍｍ以下と求められる。プレ撮像では、検体のｚ方向の存在範囲を漏れなく探索することが望まれる。それゆえ、例えば、座標原点Ｓ０から１．３７４ｍｍまでの範囲を検体の存在範囲とみなすことで、漏れのない探索が可能となる。

プレ撮像の時間短縮のためには、検体のｚ方向の存在範囲は狭い方が良い。したがって、第１の実施形態では撮像ステージの上面からカバーグラスの上面までを検体の存在範囲としていたが、スライドグラスの上面からカバーグラスの下面までを検体の存在範囲として求めても良い。例えば、撮像ステージの上面にスライドグラスの厚みを加算することでスライドグラスの上面のｚ位置を計算したり、検体上面計測部１１７０で得られたカバーグラスの上面の位置からカバーグラスの厚みを減算することでカバーグラスの下面のｚ位置を計算できる。或いは、各種の計測装置を用いて、直接スライドグラスの上面の高さや、カバーグラスと検体の境界面の高さを計測しても良い。

また、上記実施形態では、第一の配置工程において検体ごとに各撮像素子の配置や間隔を決めているが、撮像素子の配置や間隔は予め決められていても良い。例えば、撮像装置やシステム制御部のメモリに各撮像素子の配置や間隔などの設定値をプリセットしておき、第一の配置工程ではこの設定値に従って撮像素子の配置を制御する。この方法は制御が単純であり、処理を高速にできるという利点がある。

また、第１から第３の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第２の実施形態で説明した検体の表面形状計測情報の利用と第３の実施形態で説明した像面の傾斜撮像による合焦領域拡大の各方式を組み合わせる構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた
とする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

１０：結像光学系
１１ａ，１１ｂ，１１ｃ：撮像素子
１２：被写体
１４ａ，１４ｂ，１４ｃ：焦点
１５ａ，１５ｂ，１５ｃ，１６ａ，１６ｂ，１６ｃ：画像
１８：プレパラート
１００：撮像システム
１１０：撮像装置
１８０：検体

Claims (13)

1. 結像光学系と複数の撮像素子とを有する撮像装置の制御方法であって、
   各撮像素子に対応する被写体側の焦点が光軸方向の異なる深さに形成されるように、前記複数の撮像素子の配置を制御する第一の配置工程と、
   前記第一の配置工程で配置された前記複数の撮像素子によって、前記被写体を撮像する第一の撮像工程と、
   前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データを比較することにより、合焦画像が得られる焦点の深さである合焦位置を判断する合焦位置判断工程と、
   前記合焦位置判断工程で判断された合焦位置を基準にして、前記複数の撮像素子の配置を制御する第二の配置工程と、
   前記第二の配置工程で配置された前記複数の撮像素子によって、前記被写体の本撮像を行う第二の撮像工程と、
   を含むことを特徴とする撮像装置の制御方法。
2. 前記第一の配置工程では、前記被写体に対する焦点の深さが段階的に変化するように、前記複数の撮像素子の配置が設定される
   ことを特徴とする請求項１に記載の撮像装置の制御方法。
3. 前記第一の配置工程では、前記被写体に対する焦点の深さが等しい間隔で変化するように、前記複数の撮像素子の配置が設定される
   ことを特徴とする請求項１又は２に記載の撮像装置の制御方法。
4. 前記第一の配置工程では、前記被写体に対する焦点の深さの間隔が前記結像光学系の被写界深度以下となるように、前記複数の撮像素子の配置が設定される
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の撮像装置の制御方法。
5. 前記被写体の光軸方向の存在範囲を決定する存在範囲決定工程をさらに含み、
   前記第一の配置工程では、前記被写体の光軸方向の存在範囲の中に各撮像素子の焦点が形成されるように、前記複数の撮像素子の配置が設定される
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の撮像装置の制御方法。
6. 前記撮像装置は、前記被写体の光軸方向の位置を計測する計測手段を有しており、
   前記存在範囲決定工程では、前記計測手段の計測結果に基づいて前記被写体の光軸方向の存在範囲を推定する
   ことを特徴とする請求項５に記載の撮像装置の制御方法。
7. 前記撮像装置は、前記被写体の表面の形状を表す表面形状情報を取得する表面形状取得手段を有しており、
   前記存在範囲決定工程では、前記計測手段の計測結果と前記表面形状情報で表される前記被写体の表面の形状とから、前記被写体の光軸方向の存在範囲を推定する
   ことを特徴とする請求項６に記載の撮像装置の制御方法。
8. 前記第一の配置工程では、前記被写体の表面と焦点との間の光軸方向の距離を、前記被写体に対する焦点の深さとみなして、前記複数の撮像素子の配置が設定される
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の撮像装置の制御方法。
9. 前記第一の配置工程では、各撮像素子に対応する被写体側の焦点面が光軸に垂直な面に対して傾斜するように、前記撮像素子、前記結像光学系の像面、および、前記被写体のう
   ちの少なくともいずれか１つを傾ける制御が行われる
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の撮像装置の制御方法。
10. 前記合焦位置判断工程では、前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データを比較することにより、合焦している画像が得られた撮像素子を特定し、前記特定した撮像素子に設定されている焦点の深さを、前記合焦位置として選ぶ
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の撮像装置の制御方法。
11. 前記合焦位置判断工程は、前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データに対応する複数の画像と、前記複数の画像のうち合焦していると判断された画像を示す情報とを、表示部に表示する工程を含む
    ことを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 結像光学系と複数の撮像素子を有する撮像装置と、制御処理部と、を備える撮像システムであって、
    前記制御処理部は、
    各撮像素子に対応する被写体側の焦点が光軸方向の異なる深さに形成されるように、前記複数の撮像素子の配置を制御する第一の配置工程と、
    前記第一の配置工程で配置された前記複数の撮像素子によって、前記被写体を撮像する第一の撮像工程と、
    前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データを比較することにより、合焦画像が得られる焦点の深さである合焦位置を判断する合焦位置判断工程と、
    前記合焦位置判断工程で判断された合焦位置を基準にして、前記複数の撮像素子の配置を制御する第二の配置工程と、
    前記第二の配置工程で配置された前記複数の撮像素子によって、前記被写体の本撮像を行う第二の撮像工程と、
    を含む制御を実行することを特徴とする撮像システム。
13. 請求項１〜１１のうちいずれか１項に記載の撮像装置の制御方法の各工程を、前記撮像装置の制御処理部に実行させることを特徴とするプログラム。

Images