以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本発明の技術思想を具体化するための例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
(拡大観察装置1の全体構成)
図1は、本発明の実施形態に係る拡大観察装置1のシステム構成を示す模式図である。この拡大観察装置1は、観察対象物SPを拡大して観察可能にするための装置であり、例えば単に顕微鏡と呼ぶことや、デジタルマイクロスコープ、走査顕微鏡等と呼ぶことができる。また、後述するように、観察対象物SPの三次元形状を取得できることから三次元形状測定機と呼ぶこともできる。
拡大観察装置1は、観察ユニット2と外部ユニット3とで構成することができるが、外部ユニット3を観察ユニット2に組み込んで一体化することもできる。観察ユニット2と外部ユニット3とで拡大観察装置1を構成する場合には、外部ユニット3に、観察ユニット2に電力を供給する電力供給装置3aを設けることができる。観察ユニット2と外部ユニット3とは、配線2aによって接続されている。
また、拡大観察装置1には、操作用端末4を接続することができる。外部ユニット3に内蔵されている通信部3b(図4に示す)によって操作用端末4の接続が可能になる。操作用端末4は、表示部5、キーボード6、マウス7及び記憶装置8を備えている。操作用端末4は、観察ユニット2や外部ユニット3に組み込んで一体化して拡大観察装置1の構成部材とすることができ、この場合は「操作用端末」ではなく、コントロールユニット等と呼ぶことができるが、この実施形態では、観察ユニット2及び外部ユニット3とは別体としている。
表示部5、キーボード6、マウス7及び記憶装置8についても、それぞれ観察ユニット2や外部ユニット3に組み込んで一体化して拡大観察装置1の構成部材とすることができる。つまり、操作用端末4、表示部5、キーボード6、マウス7及び記憶装置8も拡大観察装置1の一部とすることができ、例えば、表示部5付きの拡大観察装置1、キーボード6及びマウス7(操作部)付きの拡大観察装置1とすることもできる。
キーボード6及びマウス7は、従来から周知のコンピュータ操作用の機器であり、操作用端末4を操作するための操作部であり、これらによって拡大観察装置1を操作することができる。キーボード6及びマウス7の操作により、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行うことができる。キーボード6及びマウス7は、操作部としての一例であり、キーボード6及びマウス7の代わり、またはキーボード6及びマウス7に加えて、たとえば、各種ポインティングデバイス、音声入力機器、タッチ操作パネル等のコンピュータ操作用の機器を使用することもできる。
表示部5は、例えば、液晶表示パネルや有機ELパネル等のようなカラー表示可能な表示デバイスで構成されている。表示部5に操作部としてのタッチ操作パネルを組み込むようにしてもよい。
また、後述する各部材、手段、素子、ユニット等は、観察ユニット2、外部ユニット3、操作用端末4のいずれに設けられていてもよい。
拡大観察装置1には、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、IEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、IEEE802.x等の無線LANやBluetooth(登録商標)等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。尚、拡大観察装置1は、観察ユニット2及び外部ユニット3と、それら以外の上記各種ユニットや装置、機器を組み合わせて全体を拡大観察システム、デジタルマイクロスコープシステム等ということもできる。
(観察ユニット2の全体構成)
観察ユニット2の外観形状は図2等に示すようになっており、作業台等に載置されるベース20と、ベース20の奥側部分から上側へ向かって延びる支持部21と、支持部21の上部に設けられたヘッド部22とで構成されている。尚、観察ユニット2の手間側とは、作業者(観察者)が観察ユニット2に対して通常の操作姿勢で向かい合ったときに作業者に近くなる側であり、観察ユニット2の奥側とは、作業者が観察ユニット2に対して通常の操作姿勢で向かい合ったときに作業者から遠くなる側である。これは説明の便宜を図るために定義するだけであり、実際の使用状態を限定するものではない。
観察ユニット2は、観察対象物SPを載置するための水平な電動載置台23と、図3等に示す観察対象物SPに向けて光を照射する観察用照明としての同軸落射照明24及びリング照明25と、点光源としてのレーザー出力部26と、観察光学系としての非共焦点観察光学系30及び共焦点観察光学系40と、撮像素子(第1受光素子)50と、光電子倍増管(第2受光素子)51とを備えている。観察光学系は、テレセントリック光学系である。
電動載置台23は、図1や図2に示す昇降ダイヤル23aの回転操作によって上下方向に移動させることができるようになっている。観察対象物SPの厚みや高さに応じて使用者が昇降ダイヤル23aを回転操作するのは、他の光学顕微鏡と同様である。
(非共焦点観察光学系30の構成)
非共焦点観察光学系30は、従来から光学顕微鏡に使用されている光学系の基本構造と同様に構成することができ、同軸落射照明24及びリング照明25を観察用の光源としており、観察対象物SPから反射した光を撮像素子50によって受光するように構成されている。具体的には、非共焦点観察光学系30は、観察対象物SP側から撮像素子50側に向かって順に配置された対物レンズ27、電動レボルバ(電動の変倍機構)28、第1ハーフミラー31及び第2ハーフミラー32を少なくとも備えている。第1ハーフミラー31は無偏光ハーフミラーとすることができる。第1ハーフミラー31及び第2ハーフミラー32は、対物レンズ27の観察光路上に配置されており、観察対象物SPが照明されていると、観察対象物SPで反射された光L1が、対物レンズ27、第1ハーフミラー31及び第2ハーフミラー32を通って撮像素子50で受光される。
撮像素子50は、観察対象物SPの画像を取得するために、非共焦点観察光学系30を介して観察対象物SPを撮像する。具体的には、撮像素子50は、非共焦点観察光学系30を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサを使用することができるが、これらに限られるものではない。撮像素子50は、色情報も取得することができるセンサである。また、撮像素子50の露光時間は任意に調整可能となっている。
(同軸落射照明24の構成)
同軸落射照明24は、対物レンズ27を介して観察対象物SPを照明するための光源となる照明ユニットであり、対物レンズ27の光軸上に照明光路が位置するように観察対象物SPの観察面を照明する。同軸落射照明24は、例えばLED等の発光体24aを有するとともに、その発光体24aの光が入射するコレクタ24b、リレーレンズ24c、ミラー24d及びレンズ24eを有している。発光体24aの光は、コレクタ24b及びリレーレンズ24cを通った後、ミラー24dによって方向変換されてからレンズ24eに入射する。レンズ24eから出射した光は、第1ハーフミラー31によって観察対象物SP方向へ変換されてから対物レンズ27の観察光軸上に照射され、対物レンズ27を通って観察対象物SPを照明する。同軸落射照明24は、後述する照明制御部72cによってON/OFF及びON時の光量が制御される。
同軸落射照明24は、鏡面もしくは鏡面に近い観察面を観察するのに適しており、観察面の反射率の違いをコントラスト高く観察することができるという利点がある。
(リング照明25の構成)
リング照明25は、図3に模式的に示しているように、対物レンズ27の周囲を囲むように配置された非同軸落射照明であり、対物レンズ27の光軸の周囲から観察対象物SPを照明する。図5に示すように、電動レボルバ28には、対物レンズ27を取り付けるための複数の取付孔28aが回転中心線周りに間隔をあけて形成されており、各取付孔28aに倍率の異なる対物レンズ27A、27Bが取り付けられている。対物レンズ27Aは、リング照明25を有さないレンズであり、対物レンズ27Bは、リング照明25を有するレンズである。
リング照明25は、複数のLED等の光源(図示せず)を収容したリング形状のケース25aと、ケース25aの下部に設けられた光透過部材25bとを有している。ケース25aは、対物レンズ27Bが有するレンズの周囲を囲むように形成されており、内部に収容されている複数の光源は、対物レンズ27Bが有するレンズの周囲を囲むように配置されている。光源から出射された光は、光透過部材25bによって集光されて電動載置台23に載置されている観察対象物SPに向けて照射される。電動レボルバ28の回動位置が、対物レンズ27Aを現在の観察用対物レンズとして選択する位置にある場合には、リング照明25は機能しないが、対物レンズ27Bを現在の観察用対物レンズとして選択する位置である場合には、リング照明25を機能させることができる。リング照明25は、後述する照明制御部72cによってON/OFF及びON時の光量が制御される。
また、リング照明25以外にも、対物レンズ27の周囲から観察対象物SPの観察面を照明する側射照明や、対物レンズ27の光軸の周囲から観察対象物SPの観察面を照明する暗視野照明を使用することもできる。これら照明は従来から顕微鏡に使用されている照明であることから詳細な説明は省略する。
リング照明25、側射照明及び暗視野照明の場合、紙などの拡散体や凹凸の大きい観察面を観察するのに適しており、対物レンズ27の周囲又は光軸の周囲から光を照射するため、同軸落射照明24では光が返って来ないような傾斜面も明るく照らすことができるという利点がある。また、暗視野対物レンズを使用することもできる。
フォーカス合成の原理では、観察対象物SPの観察面にピントが合っているか否かをその点の高さの判定手段として用いているため、同軸落射照明24よりもリング照明25(側射照明及び暗視野照明)が適している場合がある。
(共焦点観察光学系40の構成)
図3に示す共焦点観察光学系40は、従来から共焦点顕微鏡に使用されている光学系の基本構造と同様に構成することができ、レーザー出力部26を光源としており、観察対象物SPで反射した光を光電子倍増管51で受光するように構成されている。光電子倍増管51は、共焦点観察光学系40を介して観察対象物SPを測定するための部品である。
共焦点観察光学系40は、上記非共焦点観察光学系30の対物レンズ27と電動レボルバ28とを有しており、従って、対物レンズ27と電動レボルバ28は、共焦点観察光学系40及び非共焦点観察光学系30で共通化されている。
さらに、共焦点観察光学系40は、ダイクロイックプリズム41と、第1レンズ42と、XYスキャナ部43と、1/4波長板44と、偏光ビームスプリッタ45と、ピンホールレンズ46と、ピンホール板47と、減光フィルタ(NDフィルタ)48とを少なくとも備えている。ダイクロイックプリズム41は、特定の波長の光を反射し、その他の波長の光を通すように構成された従来から周知の部材であり、対物レンズ27の観察光軸上に配置されている。この実施形態ではダイクロイックプリズム41はレーザー出力部26から出射された光を反射するように構成されている。
ダイクロイックプリズム41の反射光軸上には、第1レンズ42が配置されている。XYスキャナ部43は、第1レンズ42と波長板44との間に配置されている。また、光電子倍増管51と偏光ビームスプリッタ45との間に、ピンホールレンズ46、ピンホール板47及び減光フィルタ48が配置されている。レーザー出力部26は、偏光ビームスプリッタ45に向けて光を出射するように配置されている。減光フィルタ48は、光電子倍増管51に入射するレーザー光L2を減衰させるために用いられる。そのため、光電子倍増管51に入射するレーザー光L2が十分に弱い場合には減光フィルタ48が設けられなくてもよい。減光フィルタ48は、制御ユニット60によって制御されるようになっており、減光率の変更が可能である。
XYスキャナ部43は、ガルバノミラー43aと、レゾナント43bとを有している。ガルバノミラー43a及びレゾナント43bは従来から光を走査する場合に用いられるものであることから詳細な説明は省略する。レーザー出力部26から出射された光は、偏光ビームスプリッタ45及び波長板44を通ってXYスキャナ部43に入射する。XYスキャナ部43に入射した光は、ガルバノミラー43a及びレゾナント43bの動作によって観察対象物SPの観察面上を二次元的(X方向及びY方向)に走査される。X方向は、観察ユニット2の左右方向とし、また、Y方向は、観察ユニット2の奥行き方向とすることができるが、これに限られるものではなく、X方向及びY方向は任意に設定することができる。
XYスキャナ部43は、観察対象物SPの観察面上に光を二次元的に走査させることができるように構成されたユニットであればよく、上述した構造に限られるものではない。例えば、2つのガルバノミラーを組み合わせたガルバノスキャナ方式や、ガラスからなる音響光学媒体に圧電素子を接着し、この圧電素子に電気信号を入力して超音波を発生させて音響光学媒体中を通るレーザー光を回折させて光を偏向させる光音響素子方式(レゾナント方式)や、一列ないし多数列のピンホールを螺旋状に持つ円盤を回転させてピンホールを通過した光が観察対象物SPの観察面上を走査するように構成されたニポウディスク方式等であってもよい。
また、観察対象物SPで反射されたレーザー光L2は、対物レンズ27、第1ハーフミラー31を通った後、第2ハーフミラー32で反射されて第1レンズ42、XYスキャナ部43、波長板44を通って偏光ビームスプリッタ45により反射されてピンホールレンズ46に向かう。ピンホールレンズ46に入射したレーザー光L2はピンホールレンズ46によって集光されてからピンホール板47に形成されたピンホールの方向に向かって進み、ピンホールを通過したレーザー光L2が減光フィルタ48を通って光電子倍増管51に入射する。尚、光電子倍増管51の代わりに、上記のような撮像素子を使用することもできるし、フォトダイオード及び増幅器からなる受光素子を使用することもできる。また、光電子倍増管51の露光時間は任意に調整可能になっている。
共焦点観察光学系40では、光電子倍増管51の前において、観察対象物SPの観察面と共役になる位置にピンホールを配置しており、そのピンホールは極めて微小である。従って、レーザー出力部26から出射されたレーザー光L2が観察対象物SPの観察面で焦点を結ぶと、その観察面からの反射光は、ピンホールレンズ46を通ってからピンホール板47に形成されたピンホールで集光し、これにより、光電子倍増管51で受光する光量が著しく大きくなるので、光強度値(輝度値)が大きくなる。一方、レーザー光L2が観察対象物SPの観察面で焦点を結んでいないと、その観察面からの反射光は、ピンホール板47によって遮光されてピンホールを殆ど通過しないので、光電子倍増管51で受光する光量が著しく小さくなり、輝度値が小さくなる。
従って、XYスキャナ部43によるレーザー光L2の二次元的な走査領域(撮像領域、測定領域)のうち、観察対象物SPの観察面で焦点が合った部分については明るく、一方、それ以外の高さの部分については暗くなる。共焦点観察光学系40では、点光源を用いた光学系であることから分解能に優れた輝度情報を取得することができる。
(レーザー出力部26の構成)
レーザー出力部26は、対物レンズ27を介して観察対象物SPを照明するためのレーザー光を生成して射出する機器であり、共焦点観察光学系40用の光源となるものである。レーザー出力部26は、例えばHe−Neガスレーザや半導体レーザ等を使用することができる。また、レーザー出力部26の代わりに、点光源を生成することができる各種光源を利用することができ、例えば高輝度ランプとスリットの組み合わせ等であってもよい。
(Z軸移動機構の構成)
観察ユニット2は、対物レンズ27と電動載置台23との相対距離を変更自在なZ軸駆動部(垂直移動機構)52(図1及び図3に模式的に示す)と、高さ情報を検知する高さ情報検知部(高さ情報検知手段)53(図4に示す)とを備えている。Z軸駆動部52は、例えばステッピングモータと、ステッピングモータの出力軸の回転を上下方向の直線運動に変換する運動変換機構とを備えており、ヘッド部22に設けられている。Z軸駆動部52のステッピングモータを回転させることにより、電動レボルバ28が上下方向に移動し、これにより、対物レンズ27と電動載置台23との相対距離を変更することができる。対物レンズ27と電動載置台23との相対距離の変更ピッチを最小で1nm程度に設定することができる精度をZ軸駆動部52が有している。
高さ情報検知部53は、対物レンズ27と電動載置台23との相対距離を検知することができるリニアスケール(リニアエンコーダ)等で構成されている。高さ情報検知部53は、対物レンズ27と電動載置台23との相対距離の変化が1nmであっても検知できるように構成されている。この実施形態では、電動載置台23がZ軸方向に移動可能となっているとともに、対物レンズ27もZ軸方向に移動可能となっている。そして、フォーカス探索時には、電動載置台23を固定した状態で対物レンズ27をZ軸方向に駆動するので、結果的に、対物レンズ27と電動載置台23との相対距離が変化することになる。そのときの対物レンズ27のZ軸方向の位置をリニアスケールで検出することにより、高さ情報を検知することができる。尚、対物レンズ27がZ軸方向に動かないように固定しておき、フォーカス探索時には、電動載置台23をZ軸方向に駆動するようにしてもよい。この場合、電動載置台23のZ軸方向の位置をリニアスケールで検出することにより、高さ情報を検知することができる。つまり、フォーカス探索時に電動載置台23及び対物レンズ27のいずれをZ軸方向に駆動しても高さ情報検知部53によって高さ情報を検知することができる。
観察光学系は観察対象物SPにピントを合わせるオートフォーカス機構を備えている。オートフォーカス機構は、Z軸駆動部52によって構成することができる。すなわち、Z軸駆動部52により、対物レンズ27と、電動載置台23に載置されている観察対象物SPとの相対距離を変化させることができるので、周知のコントラストAF等と同様なアルゴリズムを利用して観察対象物SPにピントが合うまでZ軸駆動部52によって対物レンズ27を上下方向に移動させることで、オートフォーカス機構を実現できる。
(ステージ駆動部54の構成)
ステージ駆動部54は、電動載置台23を水平方向(X方向及びY方向)に移動させるための装置である。すなわち、電動載置台23は、図1に示す載置台支持部材23Aとは別体とされており、載置台支持部材23Aに対して水平方向に移動可能に支持されている。電動載置台23は例えばリニアモータ等のアクチュエータを備えており、このアクチュエータにより、載置台支持部材23A内の所定範囲内で電動載置台23をX方向及びY方向に移動させることができる。
(制御ユニット60の構成)
観察ユニット2は制御ユニット60を有している。制御ユニット60は、外部ユニット3に設けられていてもよいし、操作用端末4に設けられていてもよい。制御ユニット60は、拡大観察装置1の各部を制御するとともに各種演算及び処理等を行うためのユニットであり、CPUやMPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット60は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。以下、制御ユニット60について詳細に説明する。
制御ユニット60には、レーザー出力部26、同軸落射照明24、リング照明25、電動レボルバ28、XYスキャナ部43、減光フィルタ48、撮像素子50、光電子倍増管51、Z軸駆動部52、高さ情報検知部53及びステージ駆動部54が接続されている。制御ユニット60により、レーザー出力部26、同軸落射照明24、リング照明25、電動レボルバ28、XYスキャナ部43、減光フィルタ48、撮像素子50、光電子倍増管51、Z軸駆動部52及びステージ駆動部54が制御され、また、撮像素子50、光電子倍増管51及び高さ情報検知部53の出力信号は制御ユニット60に入力される。
(電動レボルバ制御部61の構成)
制御ユニット60は、観察光学系の倍率を変更するために電動レボルバ28を制御する電動レボルバ制御部(変倍機構制御部)61を有している。電動レボルバ制御部61は、電動レボルバ28を回転させることによって所望の対物レンズ27を非共焦点観察光学系30及び共焦点観察光学系40の対物レンズ27とする。予め電動レボルバ28に取り付けられている複数の対物レンズ27の中から、使用者がスイッチ、キーボード6、マウス7等の操作によって所望の対物レンズ27を選択すると、選択された対物レンズ27が非共焦点観察光学系30及び共焦点観察光学系40の対物レンズ27となるように、電動レボルバ制御部61が電動レボルバ28を回転させた後、停止させる。
図5に示すように、電動レボルバ28には倍率の異なる対物レンズ27A、27Bが取り付けられており、電動レボルバ28のどの取付孔28aにどの対物レンズ27A、27Bが取り付けられているかは、制御ユニット60が有する記憶部73に記憶されている。したがって、電動レボルバ制御部61は、記憶部73に記憶されている情報と、使用者による選択情報とに基づいて、上述したように電動レボルバ28を制御することができる。電動レボルバ28のどの取付孔28aにどの対物レンズ27A、27Bが取り付けられているかについては、使用者が操作用端末4から入力してもよいし、対物レンズ27を電動レボルバ28のセンサによって自動認識させるようにしてもよい。
電動レボルバ28を制御することで、非共焦点観察光学系30及び共焦点観察光学系40の倍率を変更することができる。電動レボルバ28に加えて、または電動レボルバ28に代えて、電動ズームレンズからなる対物レンズ(図示せず)を設けてもよい。電動ズームレンズは電動の変倍機構であり、電動ズームレンズを作動させることにより、非共焦点観察光学系30及び共焦点観察光学系40の倍率を変更することができる。この場合、電動ズームレンズを制御する部分が、変倍機構制御部となる。使用者による選択情報に基づいて変倍機構制御部が電動ズームレンズを制御することで、所望の倍率とすることができる。
電動レボルバ28は、表示部5に表示されるユーザーインターフェースを介して操作することもできるし、観察ユニット2に設けられたスイッチ等で操作することもできる。電動レボルバ28にすることで使用者が手でレボルバを回す必要が無くなるので、レボルバを回す際に観察対象物SP上にゴミ等が落ちることがなくなる。
(載置台制御部62の構成)
図4に示すように、制御ユニット60は、電動載置台23の水平位置を変更する載置台制御部62を有している。載置台制御部62は、ステージ駆動部54を制御することで電動載置台23の水平位置を変更することができる。電動載置台23の水平位置は、例えば電動載置台23の中心部のX座標及びY座標で指定することができる。載置台制御部62が電動載置台23の水平位置を変更する場合は、例えば、後述するナビゲーション画像を新規で取得する場合、ナビゲーション画像を取得し直す場合、ナビゲーション画像を追加取得する場合等があるが、これらの場合に限らず、使用者が観察範囲や位置を指定した場合にも、指定された範囲を観察することができるように、電動載置台23の水平位置を載置台制御部62が変更する。
(フォーカス探索手段の構成)
制御ユニット60は、Z軸駆動部52による前記相対距離に対応して高さ情報検知部53が検知した高さ情報と前記撮像素子50により取得した画像に基づいてフォーカス探索をする第1フォーカス探索手段63と、Z軸駆動部52による前記相対距離に対応して高さ情報検知部53が検知した高さ情報と前記光電子倍増管51により取得した信号に基づいてフォーカス探索をする第2フォーカス探索手段64とを備えている。ここで、前記相対距離とは、高さ情報検知部53が検知した高さ情報に基づいて得られた距離である。この相対距離は、対物レンズ27の先端面と、電動載置台23の上面との距離とすることができるが、これに限られるものでなく、対物レンズ27の所定部位と、電動載置台23の所定部位との上下方向の離間距離とすることができる。
第1フォーカス探索手段63は、同軸落射照明24及びリング照明25の少なくとも一方により観察対象物SPを照明し、撮像素子50により取得した画像に基づいてフォーカス探索を実行する。具体的には、Z軸駆動部52を制御して対物レンズ27と電動載置台23との相対距離を変化させながら、撮像素子50により取得した画像に基づいて観察対象物SPにピントを合わせる。ピントが合った時に高さ情報検知部53が検知した高さ情報に基づいて得られた相対距離を記憶部73に記憶しておく。これが第1フォーカス探索手段63で取得されたフォーカス位置(合焦位置)となる。
第2フォーカス探索手段64は、レーザー出力部26により観察対象物SPを照明し、光電子倍増管51により取得した信号に基づいてフォーカス探索を実行する。具体的には、Z軸駆動部52を制御して対物レンズ27と電動載置台23との相対距離を変化させながら、光電子倍増管51により取得した信号に基づいて観察対象物SPにピントを合わせる。このとき、上述したように、光電子倍増管51での受光光量が最も大きくなった時が、観察対象物SPにピントが合っていると判定することができる。この判定手順の詳細については後述する。ピントが合った時に高さ情報検知部53が検知した高さ情報に基づいて得られた相対距離を記憶部73に記憶しておく。これが第2フォーカス探索手段64で取得されたフォーカス位置(合焦位置)となる。
(三次元形状測定手段の構成)
制御ユニット60は、第1フォーカス探索手段63により探索されたフォーカス位置に基づいて観察対象物SPの三次元形状を測定する第1三次元形状測定手段65と、第2フォーカス探索手段64により探索されたフォーカス位置に基づいて観察対象物SPの三次元形状を測定する第2三次元形状測定手段66とを備えている。観察対象物SPの三次元形状は、観察対象物SPの表面形状、テクスチャと呼ぶこともできる。
第1三次元形状測定手段65は、フォーカス合成の原理を使用して観察対象物SPの観察面の三次元形状を把握できる画像を取得する。第1三次元形状測定手段65で取得する画像は深度合成画像と呼ぶこともできる。深度合成画像は、観察対象物SPの測定対象部分の高低差が対物レンズ27の被写界深度を超える場合、高さ方向を異ならせて別々に撮像素子50で撮像した画像の中から、ピントが合った部分(画素)だけを抜き出して合成した画像である。深度合成画像を生成するためには深度合成処理を行えばよく、この深度合成処理は、Z軸駆動部52によって対物レンズ27をZ軸方向(高さ方向)に移動させながら、複数の静止画像を撮像素子50で撮像して、ピントが合っている領域を合成することで、画面全域にピントが合っている画像を合成する処理である。この場合は、Z軸方向の範囲や、Z軸方向の位置を変更する変更ピッチ等によって数十から数百の静止画像を使用する。
撮像素子50では色情報を取得できるので、第1三次元形状測定手段65は、観察対象物SPを示すカラー画像を取得できる。
第2三次元形状測定手段66は、レーザー共焦点の原理を使用して観察対象物SPの観察面の三次元形状を把握できる画像を取得する。第2三次元形状測定手段66は、次のようにして共焦点画像データを生成する。共焦点画像データは、観察対象物SP上の単位領域ごとに行われる。単位領域は、対物レンズ27の倍率により定まる。
まず、観察対象物SPのZ方向の位置が一定の状態で、XYスキャナ部43により単位領域内のY方向の端部でレーザー光L2がX方向に走査される。X方向の走査が終了すると、レーザー光L2がXYスキャナ部43によりY方向に一定の間隔だけ移動する。この状態でレーザー光L2がX方向に走査される。単位領域でのレーザー光L2のX方向の走査及びY方向の移動が繰り返されることにより、単位領域のX方向及びY方向の走査が終了する。次に、Z軸駆動部52によって対物レンズ27をZ軸方向に移動させる。これにより、対物レンズ27のZ方向の位置が前回とは異なる状態になり、この状態で、単位領域のX方向及びY方向の走査が行われる。その後、対物レンズ27のZ方向の位置を後述する所定の変更ピッチで移動させて、単位領域のX方向及びY方向の走査が行われる。これが繰り返される。
共焦点画像データのX方向の画素数はXYスキャナ部43によるレーザー光L2のX方向の走査速度とサンプリング周期とによって定まる。1回のX方向の走査(1本の走査線)におけるサンプリング数がX方向の画素数となる。また、Y方向の画素数は、X方向の走査の終了ごとのXYスキャナ部43によるレーザー光L2のY方向の変移量により定まる。Y方向における走査線の数がY方向の画素数となる。
単位領域のX方向及びY方向の走査が終了すると、載置台制御部62がステージ駆動部54を制御して電動載置台23をX方向またはY方向に移動させ、別の単位領域において同様にX方向及びY方向の走査を行う。これを繰り返して複数の単位領域についてX方向及びY方向の走査を行う。得られた各単位領域の共焦点画像データを連結して1つの共焦点画像データにすることができる。
図7は、1つの画素において観察対象物SPのZ方向の位置と光電子倍増管51の受光強度(受光光量)との関係を示す図である。上述したように、共焦点観察光学系40では、観察対象物SPの観察面が対物レンズ27の焦点位置にあるときに、観察対象物SPの観察面で反射されたレーザー光L2がピンホール板47に形成されたピンホールで集光される。これにより、観察対象物SPの観察面で反射されたレーザー光L2の大部分がピンホール板47に形成されたピンホールを通過して光電子倍増管51に入射するので、光電子倍増管51の受光強度が最大になる。よって、光電子倍増管51から出力される受光信号の電圧値が最大になる。
一方、観察対象物SPの観察面が対物レンズ27の焦点位置から外れた位置にあるときには、観察対象物SPの観察面で反射されたレーザー光L2がピンホール板47に形成されたピンホールの前または後で集光されるので、光電子倍増管51から出力される受光信号の電圧値が大幅に低くなる。
このように、観察対象物SPの観察面が対物レンズ27の焦点位置にある状態で光電子倍増管51の受光強度分布に急峻なピークが現れる。各単位領域の共焦点画像データから画素ごとにZ方向における受光強度分布を得ることができる。これにより、画素ごとに受光強度分布のピーク位置(Z座標)とピーク受光強度とを得ることができる。
各画素についてZ方向におけるピーク位置を示すデータを高さ画像データ(三次元形状データ)と呼ぶことができる。この高さ画像データに基づいて表示される画像を高さ画像と呼ぶことができる。高さ画像は、観察対象物SPの観察面の三次元形状を把握できる画像である。
つまり、レーザー共焦点の原理では、例えばピンホール等の選択的遮光手段により、合焦時に光電子倍増管51による受光量が最も多くなり、合焦状態から離れるにつれ、光電子倍増管51による受光量が急峻に減少することを利用し、画素毎に上記相対距離を変化させた時の光電子倍増管51による受光量のピーク位置を合焦位置である判断する。
一方、フォーカス合成の原理では、撮像素子50により取得した画像から、コントラスト、高空間周波成分等に基づいて画素毎に焦点の合っている度合いを示すフォーカス値を算出し、画素毎に上記相対距離を変化させた時のフォーカス値のピーク位置を合焦位置であると判断する。
ここで、焦点が合っていないというのは、隣接画素間の輝度差がなくなること(輝度比が1に近づくこと)であり、逆に、焦点が合っているというのは、隣接画素間の輝度差(輝度比)が、焦点が合っていないときに比べ大きい状態である。
すなわち、フォーカス合成の原理とレーザー共焦点の原理とでは、合焦判定の方法が違うだけであり、「観察面の各点において最もピントが合っている画像が撮像された相対距離を各点の高さとする高さ画像(三次元形状画像)」を得ることや、「観察面の各点において最もピントが合っている画像を合成して、各点でピントの合った深度合成画像」を得ることについては変わりない。
(測定手順)
図8は、拡大観察装置1を用いて観察対象物SPの測定や観察を行う手順を示すフローチャートである。拡大観察装置1を起動した後、ステップSA1では観察対象物SPを電動載置台23に載置する。その後、ステップSA2では観察対象物SPの測定箇所(観察箇所)を探す。ステップSA3では観察対象物SPの測定箇所にピントを合わせる。これは上述したオートフォーカス機構によって行うことができる。
ピントを合わせた後、ステップSA4で対物レンズ27を選択する。対物レンズ27を選択すると、電動レボルバ28が回転して選択した対物レンズ27による観察が可能になる。次いで、ステップSA5では測定原理を選択する。測定原理とは、フォーカス合成及びレーザー共焦点であり、これらのうち、一方を選択する。ステップSA6では各種パラメータを設定する。そしてステップSA7で観察対象物SPの測定箇所の測定を行う。
上記各ステップでは、必要に応じて表示部5にユーザーインターフェースを表示する。以下、表示部5に表示されるユーザーインターフェースについて詳細に説明する。
(UI生成部72aの構成)
図4に示すように制御ユニット60は制御部72を有している。図6に示すように制御部72はUI生成部72aを有している。UI生成部72aは、表示部5に表示させるユーザーインターフェースを生成する部分である。UI生成部72aで生成されたユーザーインターフェースのデータは、操作用端末4に送られて表示部5に表示される。後述するユーザーインターフェースのデザインは一例であり、各領域、ボタン、メニュー等の表示形態は同様な機能を有する他の形態に変更することが可能である。また、各領域、ボタン、メニュー等の表示位置も図面に示された位置に限定されるものではなく、任意に設定することができる。
UI生成部72aは、拡大観察装置1の起動後に表示部5に表示する起動後ユーザーインターフェース80を生成する(図9参照)。この起動後ユーザーインターフェース80には、観察対象物SPの時間的変化を示すライブ画像を表示するためのライブ画像表示領域80aと、観察範囲設定用のナビゲーション画像を表示するためのナビゲーション画像表示領域80bとが左右方向に並ぶように設けられている。この実施形態では、ライブ画像表示領域80aの方が、ナビゲーション画像表示領域80bに比べて大きくなっている。ライブ画像とは、撮像素子50で順次取得された観察対象物SPの画像を、順次更新しながら表示される画像のことである。
ライブ画像表示領域80aには、電動載置台23に載置された観察対象物SPの画像が略リアルタイムで動画表示されるようになっており、非共焦点観察光学系30を介して撮像素子50で取得された観察対象物SPの時間的変化を示す第1ライブ画像と、共焦点観察光学系40を介して光電子倍増管51で取得された観察対象物SPの時間的変化を示す第2ライブ画像との一方を選択して表示することができる。ライブ画像は、ライブビューと呼ぶこともできる。ライブ画像を表示部5に表示させることで、使用者は各種設定変更を行う際にライブ画像を見てほぼリアルタイムで変更結果を確認することが可能になるので、利便性を向上させることができる。
ここで、非共焦点観察光学系30を介して撮像素子50で取得された第1ライブ画像と、共焦点観察光学系40を介して光電子倍増管51で取得された第2ライブ画像とについて詳細に説明する。
非共焦点観察光学系30を介して撮像素子50で取得された第1ライブ画像は、深度合成前の、いわゆる通常の顕微鏡画像であるため、ピントが合わずにボケている領域が広いものの、色やおおよその外観は確認可能な画像である。この第1ライブ画像は、一般的にも見慣れた画像であり、各種パラメータを設定するための参照用画像としては十分である。共焦点観察光学系40を介して光電子倍増管51で取得された第2ライブ画像に不慣れな使用者は、第2三次元形状測定手段66によって観察対象物SPの観察面の三次元形状を把握できる画像を取得する場合であっても、通常の顕微鏡画像(第1ライブ画像)を参照しながら観察対象物SPの観察位置決定や各種パラメータの設定をする方が直観的で好ましいことがある。
一方、共焦点観察光学系40を介して光電子倍増管51で取得された第2ライブ画像は、深度合成前の共焦点画像のため、ピントの合っていない領域は真っ暗に映り、観察対象物SPの全体像がつかみにくい。また、第2ライブ画像は輝度情報のみであるため、色を確認することができず、観察対象物SPのどの部分が映っているかを把握するには、慣れが必要である。第2三次元形状測定手段66によって観察対象物SPの観察面の三次元形状を把握できる画像を取得するのであれば、共焦点画像(第2ライブ画像)を見慣れた人にとっては、第2ライブ画像を参照しながら観察対象物SPの観察位置決定やパラメータ設定をするほうが直観的で好ましいことがある。
起動後ユーザーインターフェース80のライブ画像表示領域80aの上方には、その左側に「カメラ」ボタン及び「レーザー」ボタンからなるライブ画像選択ボタン80cが表示されており、このライブ画像選択ボタン80cをマウス7等で操作して、「カメラ」ボタンを押下すると、非共焦点観察光学系30を介して撮像素子50で取得された第1ライブ画像をライブ画像表示領域80aに表示させ、「レーザー」ボタンを押下すると、共焦点観察光学系40を介して光電子倍増管51で取得された第2ライブ画像をライブ画像表示領域80aに表示させる(図10参照)。つまり、制御部72は、第1ライブ画像と第2ライブ画像との一方を選択して表示可能にするライブ画像表示領域80aを生成して表示部5に表示させるように構成されている。これは制御ユニット60が各部を制御することによって実行される。
起動後ユーザーインターフェース80のライブ画像表示領域80aの上方には、表示されているライブ画像の明るさを調整する明るさ調整部80dが設けられている。明るさ調整部80dをマウス7等で操作することにより、ライブ画像表示領域80aに表示されているライブ画像の明るさを調整することができる。
起動後ユーザーインターフェース80のライブ画像表示領域80aの上方には、非共焦点観察光学系30を介して撮像素子50で撮像する際の照明を選択するための照明選択ボタン80eが設けられている。照明選択ボタン80eをマウス7等で操作すると、図11に示すように選択枝が表示される。選択枝は、「同軸+リング」、「同軸」、「リング」及び「OFF」の4つである。「同軸+リング」を選択すると、制御部72が有している照明制御部72c(図6に示す)は、同軸落射照明24及びリング照明25の両方を点灯させる。「同軸」を選択すると、照明制御部72cは同軸落射照明24を点灯させ、リング照明25を消灯させる。「リング」を選択すると、照明制御部72cは同軸落射照明24を消灯させ、リング照明25を点灯させる。「OFF」を選択すると、照明制御部72cは同軸落射照明24及びリング照明25の両方を消灯させる。
図12は、同軸落射照明24のみを使用して撮像した第1ライブ画像を示しており、図13は、リング照明25のみを使用して撮像した第1ライブ画像を示しており、図14は、同軸落射照明24及びリング照明25の両方を使用して撮像した第1ライブ画像を示している。
照明制御部72cは、同軸落射照明24の光量及びリング照明25の光量を別々に調整することができるように構成されている。例えば、「同軸+リング」が選択されていて、同軸落射照明24及びリング照明25が同時に観察対象物SPを照明している場合に、同軸落射照明24の光量及びリング照明25の光量を独立して調整することが可能になっている。すなわち、「同軸+リング」を選択すると、図15に示すように、同軸落射照明24の光量及びリング照明25の光量を独立して調整するための光量調整領域83が表示される。光量調整領域83では、同軸落射照明24の光量及びリング照明25の光量をそれぞれ0〜100の間で変更することができる。値が小さくなるほど光量が減少する。光量調整領域83は、当該領域に表示されている「OK」ボタンまたは「キャンセル」ボタンを操作することで消すことができる。調整結果に基づいて照明制御部72cが同軸落射照明24及びリング照明25の光量を制御する。
同軸落射照明24及びリング照明25の制御は使用者が手動で調整することもできるが、照明制御部72cが自動で調整するように構成することもできる。例えば、撮像素子50で撮像した画像のヒストグラムを制御部72が解析し、画像が所定の明るさよりも明るい場合には光量を低下させ、一方、画像が所定の明るさよりも暗い場合には光量を増加させるように、照明制御部72cが同軸落射照明24及びリング照明25の少なくとも一方を制御する。また、同様にして、同軸落射照明24及びリング照明25の両方を点灯させるか、一方を点灯させるかも自動的に設定することができる。
また、起動後ユーザーインターフェース80の右側には、スキャンモード選択ボタン80gが設けられている。この実施形態では、スキャンモードは、フォーカス合成の原理を使用して観察対象物SPの観察面の三次元形状を把握するフォーカス合成モード(第1測定モード)と、レーザー共焦点の原理を使用して観察対象物SPの観察面の三次元形状を把握するレーザー共焦点モード(第2測定モード)とがある。スキャンモード選択ボタン80gを操作することで、フォーカス合成モードとレーザー共焦点モードとのうち、一方を選択することができる。フォーカス合成モードが選択されると、第1三次元形状測定手段65によって観察対象物SPの観察面の三次元形状を把握できる画像を取得し、一方、レーザー共焦点モードが選択されると、第2三次元形状測定手段66によって観察対象物SPの観察面の三次元形状を把握できる画像を取得する。
また、起動後ユーザーインターフェース80のナビゲーション画像表示領域80bの上側には、対物レンズ表示領域80hが設けられている。対物レンズ表示領域80hには、現在、電動レボルバ28に取り付けられている対物レンズ27がその倍率と共に図で表示されている。使用者が電動レボルバ28に取り付けた対物レンズ27の種類(リング照明の有無を含む)を手動で入力することによって制御ユニット60が対物レンズ27の種類を記憶し、対物レンズ表示領域80hに表示させることができる。また、対物レンズ表示領域80hには、リング照明25の有無も表示させることができる。尚、電動レボルバ28に取り付けた対物レンズ27の種類を自動認識できるようにして制御ユニット60に記憶させてもよい。
使用者が対物レンズ表示領域80hに表示されている対物レンズ27を選択すると、その対物レンズ27が選択されていることが分かるように対物レンズ表示領域80hに表示するとともに、電動レボルバ制御部61により電動レボルバ28を制御して選択された対物レンズ27による観察が可能となるように電動レボルバ28を回転させる。図16は高倍率の対物レンズ27に変更された場合を示している。
(ナビゲーション画像作成)
図9に示す起動後ユーザーインターフェース80のナビゲーション画像表示領域80bの下方には、ナビゲーション画像を作成してナビゲーション画像表示領域80bに表示させるためのナビゲーション画像作成ボタン80fが設けられている。表示部5は、起動後ユーザーインターフェース80を表示させることにより、後述するようにして取得したナビゲーション画像を表示させることができる。ナビゲーション画像とは、使用者によって観察範囲を設定するための観察範囲設定用の画像のことであり、一般的には、現在選択している対物レンズ27の視野よりも広い範囲を撮像した画像となる。
すなわち、制御ユニット60は、観察用照明により観察対象物SPに光を照射した状態で、ナビゲーション画像を第1の撮像条件で前記撮像素子50または光電子倍増管51により取得するナビゲーション画像取得手段68(図4に示す)を備えており、図9に示すナビゲーション画像作成ボタン80fを操作すると、ナビゲーション画像取得手段68がナビゲーション画像の作成を開始する。第1の撮像条件には、観察光学系の倍率、観察用照明の照明条件、撮像素子50及び光電子倍増管51の露光時間を含んでいる。
観察光学系の倍率は、電動レボルバ28の回転によって選択された対物レンズ27の倍率と関連付けることができ、また、電動ズームレンズの場合はそのときの倍率とすることができる。観察用照明の照明条件には、同軸落射照明24とリング照明25の照明パラメータを含んでいる。照明パラメータには、同軸落射照明24のみ点灯、リング照明25のみ点灯、同軸落射照明24及びリング照明25の点灯、同軸落射照明24及びリング照明25の消灯、同軸落射照明24及びリング照明25の光量等が含まれている。撮像素子50及び光電子倍増管51の露光時間は制御部72によって適した露光時間となるように調整される。図4に示すように、制御ユニット60は撮像条件記憶部70を備えており、この撮像条件記憶部70に前記第1の撮像条件が記憶される。
ナビゲーション画像取得手段68は、撮像条件記憶部70から第1の撮像条件を読み込んだ後、各部を第1の撮像条件となるように制御する。このとき、使用者が撮像条件のうち、1つまたは複数を変更することもできる。
その後、ナビゲーション画像取得手段68は、非共焦点観察光学系30を介して撮像素子50により観察対象物SPの第1領域を撮像する。次いで、ナビゲーション画像取得手段68は、載置台制御部62によってステージ駆動部54を制御させ、電動載置台23をX方向またはY方向に移動させる。その後、ナビゲーション画像取得手段68は、非共焦点観察光学系30を介して撮像素子50により観察対象物SPの第2領域を撮像する。次いで、ナビゲーション画像取得手段68が電動載置台23をX方向またはY方向に移動させ、非共焦点観察光学系30を介して撮像素子50により観察対象物SPの第3領域を撮像する。
このようにして観察対象物SPの複数の領域を隙間無く撮像し、撮像した画像を図17に示すようにナビゲーション画像表示領域80bに表示する。複数の撮像した画像を、撮像した順番でナビゲーション画像表示領域80bに表示させてもよいし、複数の撮像した画像を同時にナビゲーション画像表示領域80bに表示させてもよい。複数の撮像した画像を、撮像した順番でナビゲーション画像表示領域80bに表示させる場合には、横方向(X方向)や縦方向(Y方向)に順に並ぶように表示させる方法や、渦巻き状に並ぶように表示させる方法等がある。複数の撮像した画像同士の連結は、従来から周知の手法によって隙間ができないように、かつ、重複表示されないようにする。
ナビゲーション画像表示領域80bには、使用者が観察する観察位置及び/又は観察視野を示す枠Aが表示される。枠Aの大きさは、対物レンズ27を変更することによって変わる。例えば対物レンズ27の倍率が高くなると視野が狭くなるので、その分、枠Aが小さくなる(図16参照)。
ナビゲーション画像は、共焦点観察光学系40を介して光電子倍増管51により観察対象物SPの複数の領域を撮像することによって取得するようにしてもよい。
(ナビゲーション画像の領域追加)
ナビゲーション画像表示領域80bにナビゲーション画像が表示されると、図17に示すように、ナビゲーション画像作成ボタン80fが消えて、そのナビゲーション画像作成ボタン80fが表示されていた部分に追加指定ボタン81が表示される。
例えば、視野の広い低倍率の対物レンズ27を使用してナビゲーション画像を作成しておき、その後、高倍率の対物レンズ27に切り替えて観察対象物SPを観察するのが一般的であるが、このような使われ方がされている時、電動載置台23を使用者がXY方向に動かし、これまでとは別の範囲を観察しようとすることがあり、そうすると作成されていた既存のナビゲーション画像の範囲から観察範囲が外れてしまう場合がある。この場合、使用者が観察対象物SPのどの部分を観察しているのか分からなくなるため、ナビゲーション画像を追加取得したくなる。このときに使用者が追加指定ボタン81を操作することで、ナビゲーション画像取得手段68がナビゲーション画像の追加取得を実行する。使用者がマウス7等によって追加指定ボタン81を操作することは、ナビゲーション画像表示領域80bに既に表示されているナビゲーション画像(既存のナビゲーション画像)への領域の追加指定を行ったことになり、これをナビゲーション画像取得手段68で検出することができる。
ナビゲーション画像取得手段68は、使用者による既存のナビゲーション画像への領域の追加指定がなされたことを検出すると、その追加指定に基づいて、追加すべき領域(追加領域ともいう。)に対応して載置台制御部62を制御するとともに、現在の撮像条件が撮像条件記憶部70に記憶されている第1の撮像条件と異なる場合には、撮像条件を第1の撮像条件に変更して撮像素子50または光電子倍増管51により追加すべき領域を取得し、取得した追加すべき領域の画像とナビゲーション画像とを表示部5に表示させるように構成されている。どの領域を追加するかは、枠Aの位置に基づいて判断することができる。
ナビゲーション画像に対する追加すべき領域の画像の追加方向を、ナビゲーション画像が表示された表示部5上の位置の指定に基づいて設定可能となっている。例えば、表示部5上においてナビゲーション画像よりも上方をマウス7等によって指定すると、追加すべき領域の画像の追加方向は「上」となり、観察対象物SPにおける既存のナビゲーション画像よりも上方の領域を撮像し、既存のナビゲーション画像の上方に追加する(図18参照)。マウス7等による位置指定は、表示部5上においてナビゲーション画像よりも下、右、左、斜め上、斜め下等のように指定することができ、指定された方向に追加する。
図19に示すように、マウス7による選択操作(例:クリック操作等)を行うと、枠Bがナビゲーション画像表示領域80bに表示され、この状態でマウス7の右ボタンをクリックすると、メニュー84がナビゲーション画像表示領域80bに表示される。メニュー84には、「枠Bで囲まれた範囲を観察視野にする」、「枠Bで囲まれた範囲において追加領域の連結を行う」、「枠Bで囲まれた範囲のナビゲーション画像を取得する」の3つの選択枝が表示される。
メニュー84の「枠Bで囲まれた範囲を観察視野にする」を選択すると、観察視野が枠Bで囲まれた範囲となるように、載置台制御部62によってステージ駆動部54を制御させ、電動載置台23をX方向またはY方向に移動させる。これにより、枠Bで囲まれた範囲が対物レンズ27の視野と略一致し、観察視野になる。
メニュー84の「枠Bで囲まれた範囲において追加領域の連結を行う」を選択すると、枠Bで囲まれた範囲が既存のナビゲーション画像外に位置していれば、既存のナビゲーション画像外の部分について追加すべき領域を取得すべく、電動載置台23をX方向またはY方向に移動させて撮像を行う。このようにして取得した追加すべき領域の画像とナビゲーション画像とを表示部5に表示させる。
メニュー84の「枠Bで囲まれた範囲のナビゲーション画像を取得する」を選択すると、ナビゲーション画像取得手段68が、枠Bで囲まれた範囲のナビゲーション画像を取得すべく、電動載置台23をX方向またはY方向に移動させて撮像を行う。このようにして取得した追加すべき領域の画像とナビゲーション画像とを表示部5に表示させる。また、枠Bはマウス7の操作によってドラッグすることができ、これにより枠Bの位置を変更できる。また、枠Bを形成する位置は、マウス7による初期の選択操作位置に対応する位置とすることができ、マウス7による初期の選択操作の位置によって枠Bを形成する位置を変更することができる。
ナビゲーション画像が表示された表示部5上の位置の指定に基づいて、ナビゲーション画像の一方向にのみ追加領域の画像を連結することができる。例えば、表示部5上においてナビゲーション画像よりも上方をマウス7等によって指定すると、既存のナビゲーション画像の上方向にのみ追加領域の画像を連結することができる。これにより、使用者が欲しい領域のみナビゲーション画像を追加することができ、追加領域の作成時間が短くて済む。尚、マウス7等による位置指定はどの方向であってもよい。また、マウス7等による位置指定が行われると、特定の方向だけでなく、既存のナビゲーション画像の全周に対して追加領域の画像を連結するようにしてもよい。
使用者が指定した位置が、既存のナビゲーション画像から大きく離れている場合がある。このような場合には、追加領域の画像が既存のナビゲーション画像から離れてしまうことがあるが、追加領域の画像と既存のナビゲーション画像との間に追加する補完画像を、ナビゲーション画像取得手段68が取得し、その補完画像をナビゲーション画像表示領域80b(表示部5)に表示させる。つまり、既存のナビゲーション画像と、追加領域の画像と、それらの間を補完する補完画像とを表示させることができる。
ナビゲーション画像取得手段68は、撮像素子50によりナビゲーション画像を取得し、観察画像取得部69は、光電子増倍管51により観察画像を取得するように構成することもできる。
(測定パラメータ設定部67の構成)
起動後ユーザーインターフェース80の上部には各種ボタンが設けられており、そのうち、基本測定ボタン80iを操作すると、図20に示すように起動後ユーザーインターフェース80の右側に基本測定表示領域(パラメータ表示領域)82が表示される。基本測定表示領域82には、測定パラメータを設定するとともに、フォーカス合成モードとレーザー共焦点モードで共通化された第1設定表示領域82aと、照明条件パラメータを設定するとともに、フォーカス合成モードとレーザー共焦点モードで非共通化された第2設定表示領域82bと、フォーカス合成モードとレーザー共焦点モードで共通化された第3設定表示領域82cとを有している。測定パラメータには、撮像素子50のゲインや、高さに関する測定パラメータ、照明条件パラメータ等が含まれる。第1設定表示領域82a、第2設定表示領域82b及び第3設定表示領域82cは上下方向に並ぶように設けられており、使用者が各領域を区別することができるようになっている。
高さに関する測定パラメータには、対物レンズ27と電動載置台23との離間距離の上限値及び下限値と、フォーカス位置(例えばピントが合ったときのZ座標)とが含まれる。高さに関する測定パラメータは高さ情報検知部53で得ることができ、記憶部73に記憶させておくことができる。
第1設定表示領域82aには、対物レンズ27と電動載置台23との離間距離の上限値及び下限値を個別に設定することができる領域と、オートフォーカスを行うオートフォーカスボタンとが設けられている。これは高さに関する測定パラメータ設定領域である。
第2設定表示領域82bには、ライブ画像表示領域80aに表示されているライブ画像の明るさを調整する明るさ調整部が設けられている。第2設定表示領域82bの明るさ調整部は、ライブ画像表示領域80aの上方の明るさ調整部80dと連動させることができる。
第2設定表示領域82bは、フォーカス合成モードとレーザー共焦点モードで異なっており、明るさ調整部はいずれのモードでも設けられる一方、フォーカス合成モードでは、照明選択ボタンと詳細設定ボタンとが設けられ、レーザー共焦点モードでは、照明選択ボタン及び詳細設定ボタンが無く、減光フィルタ選択メニューが設けられている。
照明選択ボタンは、上述した照明選択ボタン80eと同様に、「同軸+リング」、「同軸」、「リング」及び「OFF」の中から任意の1つを選択することができるボタンである。詳細設定ボタンは、上述した光量調整領域83と同様に同軸落射照明24の光量及びリング照明25の光量を独立して調整するためのボタンである。減光フィルタ選択メニューは、減光フィルタ48の適用、非適用の他、適用する場合に減光率を設定するためのものである。減光フィルタ選択メニューによって設定された状態となるように、制御ユニット60が減光フィルタ48を制御する。これらは照明条件パラメータである。
第3設定表示領域82cは、測定サイズ、測定品質、Z方向の測定ピッチを設定することができる領域である。測定サイズとは、たとえば1024×768(ピクセル)を標準サイズとしており、第3設定表示領域82cでは標準サイズよりも大きな測定サイズ及び標準サイズよりも小さな測定サイズを選択することができる。具体的には、標準(例えば1024×768)、高解像度(例えば2048×1536)、1/12(例えば1024×64)、1ライン(例えば1024×1)等で表示することができる。Z方向の測定ピッチは、フォーカス探索時のZ軸駆動部52による相対距離の変更ピッチのことであり、例えば、複数段階に設定することができ、これは高さに関する測定パラメータに含まれる。測定品質とは、精度を重視した「高精度」、速度を重視した「高速」、より高速な「超高速」等の中から選択できる。
図18〜図20は、第1三次元形状測定手段65による測定モード用パラメータ設定領域を基本測定表示領域82に表示した場合を示しており、図11は、第2三次元形状測定手段66による測定モード用パラメータ設定領域を基本測定表示領域82に表示した場合を示している。
スキャンモード選択ボタン80gの操作により、第1三次元形状測定手段65による測定モード用パラメータ設定領域と、第2三次元形状測定手段66による測定モード用パラメータ設定領域とのいずれを基本測定表示領域82に表示させるか、切替操作を行うことができる。スキャンモード選択ボタン80gでフォーカス合成モードを選択すると、第1三次元形状測定手段65による測定モード用パラメータ設定領域(フォーカス合成モード用パラメータ設定領域)を基本測定表示領域82に表示させ、一方、スキャンモード選択ボタン80gでレーザー共焦点モードを選択すると、第2三次元形状測定手段66による測定モード用パラメータ設定領域(レーザー共焦点モード用パラメータ設定領域)を基本測定表示領域82に表示させる。
フォーカス合成モード用パラメータ設定領域と、レーザー共焦点モード用パラメータ設定領域とでは、第1設定表示領域82aと第3設定表示領域82cの表示項目が共通化されているが、第2設定表示領域82bの表示項目が共通化されていない。
図4に示すように、制御ユニット60は、フォーカス合成モードと、レーザー共焦点モードとの各測定モードの測定パラメータを設定可能な測定パラメータ設定部67を備えている。測定パラメータ設定部67は、高さに関する測定パラメータ及び照明条件パラメータを含む複数のパラメータを設定可能に構成されている。
測定パラメータ設定部67は、共焦点観察光学系40用の光源に対するレーザー共焦点モード用の照明条件パラメータと、焦点観察光学系30用の観察用照明(同軸落射照明24及びリング照明25)に対するフォーカス合成モード用の照明条件パラメータとを設定可能に構成されている。フォーカス合成モード用の照明条件パラメータと、レーザー共焦点モード用の照明条件パラメータとは独立して保持され、記憶部73に記憶しておくことができる。
フォーカス合成モード用の照明条件パラメータは、同軸落射照明24による照明条件パラメータとリング照明25による照明条件パラメータとを含んでいる。また、レーザー共焦点モード用の照明条件パラメータは、減光フィルタ48による減光率を含んでいる。
測定パラメータ設定部67は、第1フォーカス探索手段63によるフォーカス探索時のZ軸駆動部52による相対距離の変更ピッチと、第2フォーカス探索手段64によるフォーカス探索時のZ軸駆動部52による相対距離の変更ピッチとは、それぞれ、複数段階に設定可能に構成されている。複数段階とは、例えば、広めのピッチ、中間ピッチ、狭めのピッチ等であり、2段階であってもよいし、4段階以上であってもよい。
フォーカス合成モード及びレーザー共焦点モードのうち、一方の測定モードから他方の測定モードに切り替えられた場合、一方の測定モード時に測定パラメータ設定部67により設定された一方の変更ピッチに対応する変更ピッチが他方の測定モードに適用されるように構成されている。すなわち、フォーカス合成モードに対応している第1フォーカス探索手段63によるフォーカス探索時の変更ピッチを「広めのピッチ」としている場合には、その後、レーザー共焦点モードに切り替えられたとき、第2フォーカス探索手段64によるフォーカス探索時の変更ピッチを「広めのピッチ」に自動的に設定する。逆の場合も同様である。また、一方の測定モードで「中間ピッチ」が選択されていれば、他方の測定モードでも「中間ピッチ」に自動的に設定し、一方の測定モードで「狭めのピッチ」が選択されていれば、他方の測定モードでも「狭めのピッチ」に自動的に設定する。尚、変更ピッチの自動適用はキャンセルすることもできる。
また、制御部72は、フォーカス合成モード及びレーザー共焦点モードのうち、一方の測定モードから他方の測定モードに切り替えられた場合、一方の測定モード時に測定パラメータ設定部67により設定された測定パラメータが他方の測定モードの測定パラメータとして引き継がれるように構成されている。具体的には、フォーカス合成モードで設定した高さに関する測定パラメータは、レーザー共焦点モードにも引き継がれる。高さに関する測定パラメータは、非共焦点観察光学系30と共焦点観察光学系40とで変更する必要は殆ど無く、むしろ非共焦点観察光学系30と共焦点観察光学系40とで同じにしておいた方が観察しやすいためである。従って、レーザー共焦点モードで設定した高さに関する測定パラメータは、フォーカス合成モードにも引き継がれる。
ところが、照明パラメータについては、フォーカス合成モードからレーザー共焦点モード、レーザー共焦点モードからフォーカス合成モードに引き継がれない。非共焦点観察光学系30と共焦点観察光学系40とでは、光源が全く異なっているため、照明パラメータを引き継ぐことに利点がないからである。尚、照明パラメータも高さに関する測定パラメータと同様に引き継がれるようにしてもよい。
制御部72は、非共焦点観察光学系30のフォーカス位置と、共焦点観察光学系40のフォーカス位置との差分を記憶しておき、フォーカス合成モード及びレーザー共焦点モードのうち、一方の測定モードから他方の測定モードに切り替えられた場合、フォーカス位置の差分を考慮して、対物レンズ27と電動載置台23との離間距離の上限値及び下限値を計算するように構成されている。
すなわち、この拡大観察装置1では、非共焦点観察光学系30の光源は自然光に近く、R、G、Bの波長域を含んでおり、一方、共焦点観察光学系40の光源は単色レーザー光で波長が短くなっている。また、拡大観察装置1は、nmオーダーの測定が可能であり、観察光の波長の相違による焦点距離の違いは無視できない程大きくなる。このため、非共焦点観察光学系30のフォーカス位置(フォーカス値が最大となる位置)と、共焦点観察光学系40のフォーカス位置(光電子倍増管51の受光量が最大となる位置)とでは、観察光の波長の相違に起因する差が生じることになり、制御部72はこの差分を記憶しておく。フォーカス合成モードからレーザー共焦点モード、また、レーザー共焦点モードからフォーカス合成モードに切り替えられた場合には、フォーカス位置の差分を考慮して、対物レンズ27と電動載置台23との離間距離の上限値及び下限値を再計算する。
(ライブ画像及びパラメータ設定領域の表示制御)
制御部72は、フォーカス合成モード用パラメータ設定領域が基本測定表示領域82に表示された場合には、非共焦点観察光学系30を介して撮像素子50で取得された第1ライブ画像をライブ画像表示領域80aに表示させる。制御部72は、レーザー共焦点モード用パラメータ設定領域が基本測定表示領域82に表示された場合には、共焦点観察光学系40を介して光電子倍増管51で取得された第2ライブ画像を前記ライブ画像表示領域に表示させる。
基本測定表示領域82に表示されるフォーカス合成モード用パラメータ設定領域及びレーザー共焦点モード用パラメータ設定領域の切替に連動してライブ画像表示領域80aに表示されるライブ画像を切り替えるように構成されている。具体的には、制御部72は、レーザー共焦点モード用パラメータ設定領域が基本測定表示領域82に表示される場合に、第2ライブ画像をライブ画像表示領域80aに表示させ、一方、フォーカス合成モードモード用パラメータ設定領域が基本測定表示領域82に表示される場合に、第1ライブ画像をライブ画像表示領域に表示可能に構成されている。
また、第1ライブ画像をライブ画像表示領域80aに表示させる場合に、フォーカス合成モード用の照明条件パラメータ設定領域(図20に示す第2設定表示領域82b)を基本測定表示領域82に表示させ、一方、第2ライブ画像をライブ画像表示領域80aに表示させる場合に、レーザー共焦点モード用の照明条件パラメータ設定領域(図11に示す第2設定表示領域82b)をパラメータ表示領域に表示させる。ライブ画像表示領域80aに表示される第1ライブ画像と第2ライブ画像とが観察対象物SPの同じ領域を示す画像とすることができるが、異なっていてもよい。
制御部72は、第1ライブ画像がライブ画像表示領域80aに表示された後に、フォーカス合成モード用パラメータ設定領域を基本測定表示領域82に表示させ、一方、第2ライブ画像がライブ画像表示領域80aに表示された後に、レーザー共焦点モード用パラメータ設定領域を基本測定表示領域82に表示させることもできる。
また、制御部72は、第1ライブ画像がライブ画像表示領域80aに表示される場合に、レーザー共焦点モード用パラメータ設定領域を基本測定表示領域82に表示させること、また、第2ライブ画像がライブ画像表示領域80aに表示される場合に、フォーカス合成モード用パラメータ設定領域を基本測定表示領域82に表示させることもできる。
尚、拡大観察装置1を使用した測定に慣れた使用者の場合には、例えば基本測定モードとして上述したように連動表示させるのが好ましいが、拡大観察装置1を使用した測定に慣れていない使用者の場合には、例えば簡単モードとして、どの三次元形状測定手段が選択されているかにかかわらず、常に、第1ライブ画像(通常の顕微鏡画像)を表示させる、つまり非連動にすることができるように構成してもよい。簡単モードを設ける理由は、第2ライブ画像は、レーザー共焦点の原理を使用しているためピントが合っていないと暗くなってしまうというのが、測定に不慣れな人にとっては直感的ではなく、わかりづらいからである。基本測定モードと、簡単モードとの切替は使用者が行うことができる。
(観察画像取得部69の構成)
制御ユニット60は、ナビゲーション画像が表示された表示部5上の位置の指定に基づいて観察位置及び/又は観察視野を決定し、決定した該観察位置及び/又は観察視野に対応して載置台制御部62及び/又は電動レボルバ制御部61を制御して、撮像素子50により観察画像を取得する観察画像取得部69を有している。表示部5上においてナビゲーション画像上の任意の点にマウス7のポインタを置き、マウス7による範囲選択を行うと、例えば図20等のナビゲーション画像表示領域80bに表示されているような枠Aを該ナビゲーション画像表示領域80bに表示することができる。この枠Aを形成する位置の指定方法は特に限定されるものではないが、マウス7によって行われるのが好ましく、これが観察位置の指定になる。また、枠Aの大きさの指定もマウス7によって行うことができ、これが観察視野の範囲指定になる。観察位置の指定のみ行うようにしてもよいし、観察視野の範囲指定のみ行うようにしてもよい。このようにマウス7の操作によって観察位置及び/又は観察視野を決定することができる。
決定された観察位置にある視野範囲が対物レンズ27の視野に入るように、載置台制御部62によってステージ駆動部54を制御させ、電動載置台23をX方向またはY方向に移動させる。また、決定された観察位置にある視野範囲が対物レンズ27の視野に入るように、電動レボルバ制御部61を制御して電動レボルバ28を回転させて対物レンズ27を変更する。
観察画像取得部69は、載置台制御部62及び電動レボルバ制御部61の両方を制御することなく、一方のみを制御して撮像素子50により観察画像を取得することができる。例えば、ナビゲーション画像が表示された表示部5上の位置の指定に基づいて観察位置及び/又は観察視野を決定し、決定した該観察位置及び/又は観察視野に対応して載置台制御部62を制御して、撮像素子50または光電子増倍管51により観察画像を取得することもできる。
また、ナビゲーション画像が表示された表示部5上の位置の指定に基づいて、観察視野を包含するように観察光学系の最大倍率を決定可能に構成されている。観察位置及び/又は観察視野が決定されると、観察画像取得部69は観察視野の大きさを把握することができ、この観察視野が全て入るような倍率を演算して観察光学系の最大倍率として決定する。観察画像取得部69は、決定された最大倍率と現在の観察光学系の倍率とを比較し、決定された最大倍率と現在の観察光学系の倍率とが異なる場合、決定された最大倍率と現在の観察光学系の倍率とが異なっていることを使用者に報知する。報知する手段としては、表示部5上に表示する方法、音声による方法等を挙げることができるが、どのような方法であっても構わず、決定された観察視野が全て入る最大倍率と、現在の観察光学系の倍率とが異なることを報知できればよい。
観察画像取得部69は、決定された最大倍率となるように電動レボルバ制御部61を制御する。決定された最大倍率と同じ倍率を実現する対物レンズ27による観察が可能となるように、電動レボルバ制御部61が電動レボルバ28を回転させる。決定された最大倍率と同じ倍率を実現する対物レンズ27が無い場合には、決定された最大倍率に近い倍率を実現する対物レンズ27にすればよい。
観察画像取得部69は、観察光学系の倍率が最大倍率に変更された後に、オートフォーカス機構を作動させる。これにより、対物レンズ27の交換後にピントを自動的に合わせることができる。
また、上述した例では、撮像素子50で取得された非共焦点画像を表示部5に表示させるとともに、表示された非共焦点画像上で使用者による観察範囲の指示を受け付けるように構成されているが、光電子倍増管51で取得された共焦点画像を表示部5に表示させるとともに、表示された共焦点画像上で使用者による観察範囲の指示を受け付けるように構成されていてもよい。
また、図21に示すように、起動後ユーザーインターフェース80の画像観察タブ80kを選択して2つの画像表示領域87a、87bを表示させることもできる。例えば、一方の画像表示領域87aには同軸落射照明24で照明した場合の画像を表示させ、他方の画像表示領域87bにはリング照明25で照明した場合の画像を表示させることができる。
(三次元形状測定結果)
図22は、フォーカス合成モードによる三次元形状測定結果を表示したユーザーインターフェースを示す図であり、図23は、レーザー共焦点モードによる三次元形状測定結果を表示したユーザーインターフェースを示す図である。
図20等に示すユーザーインターフェース80の右下には、測定開始ボタン88が設けられている。使用者がマウス7等によってスキャンモード選択ボタン80gでスキャンモードを選択した後、測定開始ボタン88を操作すると、選択されたスキャンモードで三次元形状測定が開始される。フォーカス合成モードが選択されていると、第1三次元形状測定手段65によって観察対象物SPの観察面の三次元形状を把握できる画像を取得し、図22に示すように、測定結果表示領域89に表示される。レーザー共焦点モードが選択されていると、第2三次元形状測定手段66によって観察対象物SPの観察面の三次元形状を把握できる画像を取得し、図23に示すように測定結果表示領域89に表示される。測定結果表示領域89は、ライブ画像表示領域80aであるが、表示内容が異なっているため名称及び符号を変更している。
測定結果表示領域89に表示される画像は、視点を変えた画像にすることができる。例えば、観察対象物SPを真上から見た画像、斜めから見た画像等にすることができ、例示しているのは観察対象物SPを斜めから見た画像である。また、測定結果表示領域89に表示される画像は、上述したカラー画像とすることもできる。さらに、測定結果表示領域89に表示される画像は、高さによって色を変えた画像にすることもできる。例えば高い部位は赤にし、低い部位は青にする等である。
図24は、プロファイル測定画面90を表示したユーザーインターフェース80を示す図である。観察対象物SPの観察面の三次元形状の測定が完了した後、図22及び図23に示す測定ボタン92を操作すると、図24に示すようなプロファイル測定領域90が表示される。プロファイル測定領域90で例えば任意の2点を指定すると、測定結果表示領域91に2点間のプロファイルが拡大表示される。尚、これはプロファイルの測定の一例である。
(画像生成部72bの構成)
図6に示すように、制御部72は画像生成部72bを有している。画像生成部72bは、第1三次元形状測定手段65で取得されたカラー画像と、第2三次元形状測定手段66で取得された三次元形状データとを合成した合成画像を生成する。ここで生成された合成画像は、表示部5に表示される。表示部5には、画像生成部72bで生成された合成画像と、第1三次元形状測定手段65で取得されたカラー画像とを同時に表示することもできる。
また、カラーを合成する方法としては次のような方法を採用することも可能である。例えば、電動載置台23を予め設定した上限高さに配置しておき、そこから下方へ移動させながらレーザー共焦点モードで各画素の高さ情報を得る。その後、電動載置台23が予め設定した下限高さに到達したら、今度は上方へ移動させながら撮像素子50で複数回撮像していき、ピントが合ったときの画素の色彩と、レーザー共焦点モードで取得した高さ情報とを合成し、カラー画像を生成することができる。
第1フォーカス探索手段63は、同軸落射照明24もしくはリング照明25により観察対象物SPを照明し、撮像素子50により取得した画像に基づいてフォーカス探索を行うように構成されている。画像生成部72bが合成画像を生成する場合には、第1フォーカス探索手段63は、同軸落射照明24により観察対象物SPを照明し、撮像素子50により取得した画像に基づいてフォーカス探索を行うのが好ましい。これは、レーザー共焦点モードで取得した輝度情報と、撮像素子50で取得したカラー情報とを合成する場合に、レーザー共焦点モードでのレーザー光の照射方向と実質的に同一となる同軸落射照明24の方が照明手段として好ましいからである。
つまり、同軸落射照明24を使用して撮像素子50により画像を取得した場合、観察対象物SPの観察面に凹凸があったとしても、その凹凸による陰影が付きにくく、取得された画像が立体感の無い画像になる。一方、レーザー共焦点の原理では、傾斜面からの反射光量が少なくなるので、取得された画像は結果的に凹凸の輪郭が強調された画像となる。これらを組み合わせると観察するのに適した画像になる。その理由は、同軸落射照明24を使用して撮像素子50によりカラー情報を含む画像を取得した場合に、その画像には余計な陰影情報が無く、レーザー共焦点の原理で取得した陰影情報を含んだ画像と合成しても、レーザー共焦点の原理で取得した陰影情報(輝度情報)の邪魔をすることはないからである。従って、合成後に得られたカラー画像は見栄えが良好になる。
一方、リング照明25を使用して撮像素子50により画像を取得した場合、観察対象物SPの観察面に凹凸があると、その凹凸による陰影が得られやすいので、コントラスト算出に有利である。コントラスト算出に有利であるということは、フォーカス探索しやすいということになる。また、凹凸感(立体感)のあるカラー画像を得るためにも有利であり、結果としてカラー画像の見栄えが良好になる。ただし、レーザー共焦点の原理により取得した輝度情報と組み合わせると、陰影のつき方がそもそも異なるので、観察に不適な画像となってしまい、カラー画像として見栄えが良好であるとは言い難い画像になる。
尚、合焦時でも輝度差が無い(輝度比が1に近い)観察対象物SPについては、フォーカス合成の原理は向いていないが、観察対象物SPの表面の色は同一でも、凹凸による陰影があれば、得られる画像としては輝度差がある(輝度比が1より大きい)ものとなるため、フォーカス合成ができることになる。また、リング照明25による光の照射角により、凹凸のある観察対象物SPの場合には取得された画像に陰影が現れやすく、フォーカス合成がしやすくなる場合がある。この場合にはフォーカス探索しやすくなるので、カラー画像とした場合に、陰影が付き立体感のある画像が得られ、結果的に、カラー画像として見栄えが良好になる。
(信頼性指標算出部72dの構成)
図6に示すように、制御部72は信頼性指標算出部72dを有している。信頼性指標算出部72dは、第1フォーカス探索手段63によるフォーカス探索結果の信頼性を示す第1信頼性指標または第2フォーカス探索手段64によるフォーカス探索結果の信頼性を示す第2信頼性指標を算出する。信頼性指標算出部72dは、画素毎に前記第1信頼性指標及び前記第2信頼性指標を算出するように構成されている。この実施形態では、前記第1信頼性指標及び前記第2信頼性指標の両方を算出するようにしているが、いずれか一方のみ算出するようにしてもよい。
第1信頼性指標は、例えば撮像素子50で取得されたコントラスト値である。コントラスト値が高ければ高いほど第1信頼性指標を高く設定する。第2信頼性指標は、例えば光電子倍増管51で取得された画素値である。画素値が高ければ高いほど第2信頼性指標を高く設定する。
信頼性指標算出部72dは、同軸落射照明24により照明した観察対象物SPのフォーカス探索結果の信頼性指標と、リング照明25により照明した観察対象物SPのフォーカス探索結果の信頼性指標とを算出することもできる。
(置換判断部72eの構成)
制御部72は、前記第1信頼性指標及び前記第2信頼性指標に基づいて、第1三次元形状測定手段65で取得される第1三次元形状データと、第2三次元形状測定手段66で取得される第2三次元形状データとの置換判断を行う置換判断部(置換判断手段)72eを備えている。
置換判断部72eは、前記第1三次元形状データと前記第2三次元形状データとの置換を自動で行うように構成されている。すなわち、第1三次元形状データを構成する各画素の第1信頼性指標を画素の位置に関連付けて取得するとともに、第2三次元形状データを構成する各画素の第2信頼性指標を画素の位置に関連付けて取得する。そして、第1三次元形状データの特定の画素と、その画素と同位置にある第2三次元形状データの画素との信頼性指標を比較する。つまり、同位置にある画素の第1信頼性指標と第2信頼性指標との比較を行う。
比較の結果、第1信頼性指標の方が高ければ、第1三次元形状データを構成する画素を有効にして第2三次元形状データを構成する画素を無効にし、第2信頼性指標の方が高ければ、第2三次元形状データを構成する画素を有効にして第1三次元形状データを構成する画素を無効にする。これを全ての画素について行っていくことで、信頼性の高い三次元形状データを構成することができる。
第1三次元形状データ及び第2三次元形状データは、上述したように高さ情報を含んでいる。また、第1三次元形状データ及び第2三次元形状データは、色情報を含んでいてもよい。
置換判断部72eは、第1三次元形状データと第2三次元形状データとの置換を行うか否かの指示を受け付けるように構成することもできる。例えば、使用者が例えばマウス7等によって操作することで、第1三次元形状データと第2三次元形状データとの置換を行うという指示をすること、第1三次元形状データと第2三次元形状データとの置換を行わないという指示をすることができる。第1三次元形状データと第2三次元形状データとの置換を行わないということは、第1三次元形状データまたは第2三次元形状データをそのまま使用することになる。
置換判断部72eは、第1三次元形状データ及び第2三次元形状データの一方を他方よりも優先させる指示を受け付けるように構成されている。例えば、使用者が例えばマウス7等によって操作することで、第1三次元形状データを第2三次元形状データよりも優先して使用するように指示すること、第2三次元形状データを第1三次元形状データよりも優先して使用するように指示することができる。この場合、優先度を設定することができるようにしてもよい。
置換判断部72eは、第1三次元形状データと第2三次元形状データとの置換を行うか否かの判断の際に使われる情報を、第1信頼性指標及び第2信頼性指標に基づいて取得している。置換判断部72eは、この情報を使用者に報知するように構成することができる。報知する手段としては、表示部5上に表示する方法、音声による方法等を挙げることができるが、どのような方法であっても構わず、第1三次元形状データと第2三次元形状データとの置換を行うか否かの判断の際に使われる情報を報知できればよい。この情報の具体例としては、例えば、第1信頼性指標及び第2信頼性指標を数値化したものやグラフ化したもの等を挙げることができる。
制御部72は、第1三次元形状データ及び/又は第2三次元形状データで構成されるとともに、観察対象物SPの異なる領域を示した複数の三次元画像を生成し、該複数の三次元画像を連結して1つの三次元画像を構成することができる。すなわち、観察対象物SPの第1領域の第1三次元形状データ及び第2三次元形状データを取得することで、第1領域の三次元画像を生成することができる。この三次元画像は、第1三次元形状データのみで構成されていてもよいし、第2三次元形状データのみで構成されていてもよいし、第1三次元形状データ及び第2三次元形状データで構成されていてもよい。
その後、載置台制御部62がステージ駆動部54を制御することで電動載置台23の水平位置を変更して、観察対象物SPの第2領域の第1三次元形状データ及び第2三次元形状データを取得し、第2領域の三次元画像を生成することができる。このようにして複数の三次元画像を生成することができる。生成された複数の三次元画像を連結することで、観察対象物SPの広い範囲の三次元形状を示す1つの三次元画像を構成することができる。
(信頼性指標に基づいたフォーカス探索手段の制御)
制御部72の信頼性指標算出部72dは、上述した手法により、同軸落射照明24により照明した観察対象物SPのフォーカス探索結果の信頼性指標と、リング照明25により照明した観察対象物SPのフォーカス探索結果の信頼性指標と算出することが可能に構成されている。具体的には、同軸落射照明24及びリング照明25の光を第1の比率で観察対象物SPに照射したときのフォーカス探索結果の信頼性指標を算出し、算出した信頼性指標が所定の基準を満たしているか否かを判定し、所定の基準を満たしていないと判定した場合には、同軸落射照明24及びリング照明25の光を前記第1の比率とは異なる第2の比率で観察対象物SPに照射してフォーカス探索を行うように構成されている。「所定の基準」とは、フォーカス探索結果によって三次元形状の測定結果が適切に得られるか否かに基づいて設定することができる。三次元形状の測定結果を適切に得ることができるフォーカス探索結果が所定の基準である。
この実施形態では、上述したように、同軸落射照明24の光量及びリング照明25の光量を独立して調整することができるようになっており、前記第1の比率及び第2の比率は、例えば百分率で表すことができる。同軸落射照明24及びリング照明25を0%〜100%の間で任意に設定できるとともに、同軸落射照明24を0%とし且つリング照明25を100%とすること(リング照明25のみの照明)や、同軸落射照明24を100%とし且つリング照明25を0%とすること(同軸落射照明24のみの照明)も可能である。
また、制御部72は、同軸落射照明24及びリング照明25の光を第1の比率で観察対象物SPに照射したときのフォーカス探索結果の信頼性指標が所定の基準を満たしていると判定した場合には、前記第1の比率で観察対象物SPを照射して観察対象物SPの三次元形状を測定する。制御部72は、第1の比率を任意に変更することができる。
また、制御部72は、同軸落射照明24により照明した観察対象物SPのフォーカス探索結果の信頼性指標と、リング照明25により照明した観察対象物SPのフォーカス探索結果の信頼性指標と比較し、同軸落射照明24により照明した場合の前記信頼性指標が、リング照明25により照明した場合の前記信頼性指標よりも低い場合には、リング照明25により照明し、撮像素子50により取得した画像に基づいて前記第1フォーカス探索手段63がフォーカス探索を行う。
また、制御部72は、同軸落射照明24及びリング照明25の光を第1の比率で観察対象物SPに照射したときのフォーカス探索結果の信頼性指標を算出し、算出した信頼性指標が所定の基準を満たしているか否かを判定し、所定の基準を満たしていないと判定した場合には、前記第1の比率を維持したまま、撮像した画像のダイナミックレンジを広げるハイダイナミックレンジ合成(HDR)処理を実行するように構成することもできる。HDR処理を行う際、照明の比率を第1の比率から変更してもよい。
HDR処理は、露光時間等を変更しながら複数回撮像して複数の撮像データを取得した後、それらを合成することで広いダイナミックレンジを有する画像にする処理であり、この処理自体は従来のHDR処理と同じ処理とすることができる。また、単一の露光条件で取得した画像において、ハレーション(白飛び)や黒つぶれが発生している部分についてはフォーカス探索を行うことができないが、HDR処理を行うことでハレーションや黒つぶれの発生を抑えることができるため、より正確にフォーカス探索を行えるようになる。
また、HDR処理を行うことなく、同軸落射照明24及びリング照明25の少なくとも一方の光量を変化させてもよいし、露光時間を変化させてもよい。
また、制御部72は、同軸落射照明24の光を観察対象物SPに照射したときのフォーカス探索結果の信頼性指標と、リング照明25の光を観察対象物SPに照射したときのフォーカス探索結果の信頼性指標とを算出し、両方の信頼性指標が所定の基準を満たしているか否かを判定し、所定の基準を満たしていないと判定した場合には、第2三次元形状測定手段66により観察対象物SPの三次元形状を測定するように構成されていることを特徴とする。
また、制御部72は、同軸落射照明24により照明した観察対象物SPのフォーカス探索結果の信頼性指標と、リング照明25により照明した観察対象物SPのフォーカス探索結果の信頼性指標とに基づいて、信頼性指標が高い照明に切り替えるように構成することもできる。
(衝突推定部72fの構成)
電動レボルバ28を設けた場合、作動距離(以下、WDという。)の長い対物レンズ27からWDの短い対物レンズ27に切り替える際には、対物レンズ27の先端部が観察対象物SPに衝突してしまう危険性がある。一方、レボルバを使用者が手で回す場合には、一般に対物レンズ27と観察対象物SPとを同時に見ながら回すので、対物レンズ27と観察対象物SPとが衝突する直前でレボルバの回転を停止させることができ、上述した問題は起こらないと考えられ、よって、上述した問題は電動レボルバ28に特有の問題となる。
このことに対し、この実施形態では、図6に示すように制御部72に衝突推定部72fを設けている。衝突推定部72fは、電動レボルバ28が回転を始めるとき、第1三次元形状測定手段65または第2三次元形状測定手段66により取得された観察対象物SPの位置及び高さ情報に基づき、電動レボルバ28が回転した後の対物レンズ27と観察対象物SPとの衝突を推定する。
衝突推定部72fは、第1三次元形状測定手段65または第2三次元形状測定手段66により取得された観察対象物SPの位置及び高さ情報を取得することができ、観察対象物SPの位置及び高さ情報を取得した後に、電動レボルバ28を回転させようとするときには、回転を始める前に、衝突推定部72fが、電動レボルバ28が回転した後の対物レンズ27と観察対象物SPとの衝突を推定するように構成されている。観察対象物SPとの衝突は、主に対物レンズ27の先端部であることから、事前に対物レンズ27の先端部に関する情報を得て、記憶部73等に記憶しておく。対物レンズ27の先端部に関する情報としては、上記WDの他、同焦点距離、対物レンズ27の長さや外径等を挙げることができる。同焦点距離は、対物レンズ27の取付面から観察対象物SPの観察面までの距離である。尚、観察対象物SPの位置及び高さ情報を取得する前に電動レボルバ28を回転させようとするときには、回転を始める前に、観察対象物SPの位置及び高さ情報を取得して衝突の推定を行うようにすればよい。
対物レンズ27の先端部に関する情報に基づいて、電動レボルバ28が回転した後の対物レンズ27の先端部の位置を把握することができる。この位置に、観察対象物SPの一部が存在するか否かを判定し、対物レンズ27の先端部が位置する所に観察対象物SPの一部が存在する場合には、対物レンズ27と観察対象物SPとが衝突すると推定し、一方、対物レンズ27の先端部が位置する所に観察対象物SPの一部が存在しない場合には対物レンズ27と観察対象物SPとが衝突しないと推定する。
ナビゲーション画像取得手段68は、電動レボルバ制御部61により電動レボルバ28を制御して非共焦点観察光学系30の倍率を第1の倍率として、撮像素子50によりナビゲーション画像を取得するように構成することができる。この第1の倍率は任意に設定することができる。
衝突推定部72fは、非共焦点観察光学系30の倍率を前記第1の倍率よりも高い倍率とするように前記電動レボルバ28が回転を始めるとき、第1三次元形状測定手段65または第2三次元形状測定手段66により取得された観察対象物SPの位置及び高さ情報に基づき、対物レンズ27と観察対象物SPとの衝突を推定することができる。すなわち、高倍率の対物レンズ27は、低倍率の対物レンズ27に比べてWDが短い傾向にあり、この場合に、観察対象物SPの位置及び高さ情報に基づいた対物レンズ27と観察対象物SPとの衝突の推定が特に有効になる。
また、ナビゲーション画像取得手段68は、電動レボルバ制御部61により電動レボルバ28を制御して共焦点観察光学系40の倍率を第1の倍率として、光電子倍増管51によりナビゲーション画像を取得するように構成することもできる。
衝突推定部72fは、共焦点観察光学系40の倍率を前記第1の倍率よりも高い倍率とするように前記電動レボルバ28が回転を始めるとき、第1三次元形状測定手段65または第2三次元形状測定手段66により取得された観察対象物SPの位置及び高さ情報に基づき、対物レンズ27と観察対象物SPとの衝突を推定することができる。
第1フォーカス探索手段63、第2フォーカス探索手段64、第1三次元形状測定手段65及び第2三次元形状測定手段66は、衝突推定部72fが利用する観察対象物SPの位置及び高さ情報を測定するための簡易高さ測定条件に従って動作するように構成することができる。例えば、ナビゲーション画像が表示された表示部5上の位置の指定に基づいて決定した観察視野を包含する倍率の対物レンズ27を、前記簡易高さ測定条件における対物レンズ27としてもよい。簡易高さ測定条件は、観察時よりも簡易的に設定された測定条件である。
衝突推定部72fは、前記簡易高さ測定条件における対物レンズ27よりも作動距離の短い対物レンズ27が観察用の対物レンズ27となるように電動レボルバ28が回転を始めるとき、前記簡易高さ測定条件に従って取得された観察対象物SPの位置及び高さ情報に基づき、前記作動距離の短い対物レンズ27と観察対象物SPとの衝突を推定する。
衝突推定部72fは、前記簡易高さ測定条件における対物レンズ27よりも倍率の高い対物レンズ27が観察用の対物レンズ27となるように電動レボルバ28が回転を始めるとき、該倍率の高い対物レンズ27と観察対象物SPとの衝突を推定するように構成することもできる。
衝突推定部72fは、対物レンズ27と観察対象物SPとが衝突すると推定されるときには使用者に報知するように構成することができる。報知する手段としては、表示部5上に表示する方法、音声による方法等を挙げることができるが、どのような方法であっても構わない。
報知後、使用者が電動レボルバ28の回転をキャンセルできるようにしてもよい。ユーザーインターフェースに、電動レボルバ28の回転キャンセルボタンを設けておき、使用者が操作できるようにしておく。また、報知後、使用者に対して衝突可能性の低い対物レンズ27を提示し、選択可能にしてもよい。また、予め対物レンズ27の使用可能な倍率を使用者に提示しておくこともできる。
Z軸駆動部52は、電動レボルバ28の回転前に、対物レンズ27と電動載置台23との相対距離が現在の距離よりも長くなるように該相対距離を変化させ、その後、載置台制御部62は、Z軸駆動部52により対物レンズ27と電動載置台23との相対距離を長くした後に、表示部5上の位置の指定に基づいて決定された観察位置及び/又は観察視野に対応して電動載置台23の水平位置を変更し、衝突推定部72fは、電動載置台23の水平位置が変更された後、対物レンズ27と観察対象物SPとの衝突を推定することもできる。
制御部72は、衝突推定部72fが利用する観察対象物SPの高さ情報に基づいて、対物レンズ27と電動載置台23との離間距離の上限値及び下限値を設定することができる。
オートフォーカス機構は、Z軸駆動部52により対物レンズ27とZ軸駆動部52との相対距離を短くする過程で、観察対象物SPにピントを自動的に合わせるように構成することができる。
ナビゲーション画像取得手段68がナビゲーション画像を取得するときに、第1三次元形状測定手段65及び第2三次元形状測定手段66が観察対象物SPの三次元形状を測定するように構成することもできる。
(動作具体例1)
図25は、使用者に確認を求めずにフォーカス合成モードとレーザー共焦点モードで測定する場合の手順を示したフローチャートである。ステップSB1では、フォーカス合成モードで三次元形状測定データを取得する。ステップSB2では、信頼性指標算出部72dが、ステップSB1で取得した三次元形状測定データの信頼度を計算する。信頼度は、信頼性指標に基づいて得ることができ、信頼性指標が高いほど信頼度が高くなる。また、信頼度と信頼性指標とは同じにしてもよい。
ステップSB3では、レーザー共焦点モードで三次元形状測定データを取得する。ステップSB4では、信頼性指標算出部72dが、ステップSB3で取得した三次元形状測定データの信頼度を計算する。ステップSB5では、ステップSB2で計算した三次元形状測定データの信頼度と、ステップSB4で計算した三次元形状測定データの信頼度とを比較する。ステップSB6では、各ピクセル(各画素)において信頼度の高い方のデータを使用して三次元形状測定データを作成する。信頼度が高いか否かは置換判断部72eが行う。その後、ステップSB7に進む。尚、ステップSB1、SB2と、ステップSB3、SB4とは入れ替えることができ、この場合、先にレーザー共焦点モードで測定することができる。また、ステップSB2とステップSB4とは並行して行うこともできる。
(動作具体例2)
図26は、測定結果の信頼度によってフォーカス合成モードとレーザー共焦点モードで測定する場合の手順を示したフローチャートである。ステップSC1では、フォーカス合成モードで三次元形状測定データを取得する。ステップSC2では、信頼性指標算出部72dが、ステップSC1で取得した三次元形状測定データの信頼度を計算する。ステップSC3では、ステップSC2で計算した三次元形状測定データの信頼度がしきい値以上であるか否かを判定する。ステップSC2でNOと判定されて三次元形状測定データの信頼度がしきい値未満であればステップSC4に進み、一方、ステップSC2でYESと判定されて三次元形状測定データの信頼度がしきい値以上であればステップSC8に進み、フォーカス合成モードで取得した三次元形状測定データを使用する。
ステップSC3でNOと判定されて進んだステップSC4では、レーザー共焦点モードで三次元形状測定データを取得する。ステップSC5では、信頼性指標算出部72dが、ステップSC4で取得した三次元形状測定データの信頼度を計算する。ステップSC6では、ステップSC2で計算した三次元形状測定データの信頼度と、ステップSC5で計算した三次元形状測定データの信頼度とを比較する。ステップSC7では、各ピクセル(各画素)において信頼度の高い方のデータを使用して三次元形状測定データを作成する。信頼度が高いか否かは置換判断部72eが行う。その後、ステップSC8に進む。尚、ステップSC1、SC2と、ステップSC4、SC5とは入れ替えることができ、この場合、先にレーザー共焦点モードで測定することができる。
(動作具体例3)
図27は、フォーカス合成モードとレーザー共焦点モードで測定するか否かを使用者の判断にゆだねる場合の手順を示したフローチャートである。ステップSD1では、フォーカス合成モードで三次元形状測定データを取得する。ステップSD2では、信頼性指標算出部72dが、ステップSD1で取得した三次元形状測定データの信頼度を計算する。ステップSD3では、ステップSD2で計算した三次元形状測定データの信頼度がしきい値以上であるか否かを判定する。ステップSD2でNOと判定されて三次元形状測定データの信頼度がしきい値未満であればステップSD4に進み、一方、ステップSD2でYESと判定されて三次元形状測定データの信頼度がしきい値以上であればステップSD9に進み、フォーカス合成モードで取得した三次元形状測定データを使用する。
ステップSD3でNOと判定されて進んだステップSD4では、「レーザー共焦点でデータを取得しますか?」というダイアログを表示部5に表示させる。ダイアログはこれに限られるものではなく、使用者に対し、レーザー共焦点モードで測定し直してもよいかどうかを尋ねるダイアログであればよい。
ステップSD4において使用者がNOと回答を入力するとステップSD9に進み、フォーカス合成モードで取得した三次元形状測定データを使用する。ステップSD4において使用者がYESと回答を入力するとステップSD5に進み、レーザー共焦点モードで三次元形状測定データを取得する。ステップSD6では、信頼性指標算出部72dが、ステップSD5で取得した三次元形状測定データの信頼度を計算する。ステップSD7では、ステップSD2で計算した三次元形状測定データの信頼度と、ステップSD6で計算した三次元形状測定データの信頼度とを比較する。ステップSD7では、各ピクセル(各画素)において信頼度の高い方のデータを使用して三次元形状測定データを作成する。信頼度が高いか否かは置換判断部72eが行う。その後、ステップSD9に進む。尚、ステップSD1、SD2と、ステップSD5、SD5とは入れ替えることができ、この場合、先にレーザー共焦点モードで測定することができる。先にレーザー共焦点モードで測定する場合には、ステップSD4において「フォーカス合成でデータを取得しますか?」というダイアログを表示部5に表示させればよい。
動作具体例1〜3では、レーザー共焦点モードでの測定と、フォーカス合成モードでの測定を対物レンズ27の視野の全範囲について行うようにしているが、これに限られるものではない。例えば、フォーカス合成モードでの測定を対物レンズ27の視野の全範囲について行った後、信頼度の低い画素(領域)のみレーザー共焦点モードで測定し直すことや、レーザー共焦点モードでの測定を対物レンズ27の視野の全範囲について行った後、信頼度の低い画素(領域)のみフォーカス合成モードで測定し直すこともできる。
(実施形態の作用効果)
この実施形態によれば、フォーカス合成の原理を使用した測定手法と、レーザー共焦点の原理を使用した測定手法とを実現することができる。
第1三次元形状測定手段65によるフォーカス合成測定モードと、第2三次元形状測定手段66によるレーザー共焦点測定モードとの各測定モードの測定パラメータを測定パラメータ設定部67により設定できる。例えば、フォーカス合成測定モード時に測定パラメータ設定部67により測定パラメータを設定していて、その後、レーザー共焦点測定モードに切り替えられた場合には、フォーカス合成測定モード時に設定されていた測定パラメータがレーザー共焦点測定モードの測定パラメータとして引き継がれる。レーザー共焦点測定モードからフォーカス合成測定モードに切り替えた場合も同様である。したがって、測定モードを頻繁に切り替えたとしても使用者の操作の負担を軽減することができる。
また、表示部5には、パラメータを表示可能な基本測定表示領域82と、ライブ画像表示領域80aとが表示されるので、使用者がライブ画像表示領域80aのライブ画像を見ながら測定モード用パラメータを設定することができる。このとき、基本測定表示領域82には、第1三次元形状測定手段65による測定モード用パラメータ設定領域と、第2三次元形状測定手段66による測定モード用パラメータ設定領域との一方を表示させて測定パラメータを設定することができる。例えば、使用者が第1三次元形状測定手段65による測定モード用パラメータ設定領域を表示させると、ライブ画像表示領域80aには、非共焦点観察光学系30を介して撮像素子50により取得されたライブ画像が表示され、また、使用者が第2三次元形状測定手段66による測定モード用パラメータ設定領域を表示させると、ライブ画像表示領域80aには、共焦点観察光学系40を介して光電子倍増管51により取得されたライブ画像が表示される。つまり、表示されているライブ画像と、基本測定表示領域82に表示されているパラメータとが対応するので、設定時における使用者の使いやすさを向上させることができる。
また、上述したようにフォーカス合成の原理を使用した測定手法と、共焦点の原理を使用した測定手法との両方を兼ね備えた構成にすることができるとともに、フォーカス合成の原理を使用した測定手法の場合には、同軸落射照明24とリング照明25とのいずれか一方で照明した状態や、両方で照明した状態で観察対象物SPの三次元形状を測定することができる。これにより、鏡面状の観察対象物SPのみならず、拡散体や凹凸の大きい観察対象物であっても三次元形状を測定することができる。
また、第1フォーカス探索手段63によるフォーカス探索の信頼性を示す第1信頼性指標と、第2フォーカス探索手段64によるフォーカス探索の信頼性を示す第2信頼性指標が算出されるので、信頼性の高い三次元測定データが得られる。
また、使用者が、ナビゲーション画像が表示された表示部5上で位置を指定すると、その位置の指定に基づいて観察位置及び/又は観察視野が決定される。決定された観察位置及び/又は観察視野に対応して電動載置台23を動かしたり、観察光学系の倍率を変更し、撮像素子51や光電子倍増管51により観察画像を取得する。
その後、例えば、使用者による観察範囲の変更等によって観察範囲がナビゲーション画像の外となった場合には、ナビゲーション画像への領域の追加が必要になるので、領域の追加指定が行われたことになる。そうすると、ナビゲーション画像取得手段68は、まず、現在の撮像条件が既存のナビゲーション画像取得時の撮像条件と異なっているか否かを判定し、異なっている場合には、撮像条件を、既存のナビゲーション画像取得時の撮像条件に変更して撮像素子51や光電子倍増管51により追加領域を取得し、取得した追加領域の画像と、これまで表示していたナビゲーション画像とが表示部5に同時に表示される。これにより、ナビゲーション画像に新たな領域が追加される。追加された領域の撮像条件がこれまで表示していたナビゲーション画像の撮像条件と同じであることから、自然なナビゲーション画像になる。
また、第1三次元形状測定手段65や第2三次元形状測定手段66によって取得した観察対象物SPの位置及び高さ情報に基づいて、電動レボルバ28が回転した後の対物レンズ27と観察対象物SPとの衝突を推定できる。よって、WDの長い対物レンズ27からWDの短い対物レンズ27に切り替えるときに、対物レンズ27が観察対象物SPに衝突してしまう危険性が大幅に減少する。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。