JP2015127772A - 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 - Google Patents

Abstract

【課題】合成画像を短時間で簡単な操作により生成可能とする。【解決手段】載置部に載置された観察対象物の観察面とのワーキングディスタンスを自動で調整可能なＺ軸移動手段と、載置部と顕微鏡レンズ部２０との相対位置を変化可能なＸＹ軸移動機構と、Ｚ軸移動手段によって異なる相対距離で撮像された複数枚の画像を合成した合成画像を生成するための画像合成手段８５ｂとを備える拡大観察装置であって、画像合成手段８５ｂによる画像合成処理と、Ｚ軸移動手段で顕微鏡レンズ部２０を移動させカメラ部１０で画像を撮像する処理とを非同期で実行可能としている。【選択図】図１

Description

本発明は、拡大した画像を撮像して表示するデジタルマイクロスコープや顕微鏡のような拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体に関する。

微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、ステージ上に載置された観察対象の試料に対して、光学系を介して照明光を照射し、試料からの反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。このような拡大観察装置は、ステージに対峙させた光学レンズをＺ軸（高さ）方向に移動させてピントを調整する。一般には、レンズとカメラを一体に構成したヘッド部でもって、Ｚ軸方向への移動が行われる。

このような拡大観察装置においては、焦点深度の浅い画像に対して、レンズと試料とのＺ軸方向の位置を変化させながら複数枚の画像を撮影して、得られた画像に対し、ピントの合っている画素を抽出して一枚の画像（深度合成画像）に合成する深度合成処理（「焦点合成」、「多重焦点」等とも呼ばれる。）が知られている。しかしながら、このような深度合成画像（「合焦画像」、「多重フォーカス画像」等とも呼ばれる。）を得るために、１００万画素を超える画像を深度合成処理するには、処理負荷が大きくなり、また必要な記憶領域も多くなり、ハードウェア的な仕様も厳しくなる。そこで、従来は図３６のフローチャートに示すように処理を小分けにして、レンズのＺ位置移動→撮影→合成という動作を直列に繰り返して行うことで、Ｚ位置移動・撮影と合成処理が同期して動くように制御していた。

この方法によれば、合成処理が完了するまでの間はレンズのＺ位置を移動しない。またこの方法では、図３７のユーザインターフェース画面に示すように、レンズを移動させるＺ方向の範囲について予めユーザが上限位置と下限位置をユーザが指定しておく必要があり、手間がかかるという問題があった。

または、レンズのＺ位置を深度合成開始位置（初期位置）に移動させた後深度合成を開始し、Ｚ位置を一方向に所定の距離だけ移動させてユーザが合成経過画像を確認し、所望の合成が完了した時点で完了を指定する方法もある。しかしながらこの方法では、合成範囲の設定に失敗した場合、例えば合成範囲上限を正しい位置よりも低く設定してしまった場合には、上限・下限位置の設定を再度やり直して最初から合成撮影処理を繰り返さなければならず、効率が悪い。

さらにこれらの方法では、例えば合成画像を各位置で撮像しようとすれば、図３８に示すように、まずある位置で高さ、すなわちＺ方向にカメラを移動させて高さの異なる画像を撮像し、次にこれらを合成して合焦位置の画素を抽出した上で、次の位置にステージを移動させて、同様にカメラをＺ軸方向に移動させて画像を合成するという動作を繰り返すことで、高さの異なる部位でもそれぞれピントの合った合成画像を生成することが行われてきた。しかしながらこの方法では、各位置で合焦画像が得られた上でステージを移動させるため、極めて時間がかかるという問題があった。特に画像の合成処理には時間がかかるため、撮像作業自体は短時間で終了しても、合成処理のため撮像や移動の待ち時間が発生し、さらに時間がかかってしまうという問題があった。

特開２０１２−１４５７２２号公報 特開２００４−１７０５７４号公報

本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、短時間でも合成画像を生成可能な拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。

課題を解決するための手段及び発明の効果

上記の目的を達成するために、本発明の第１の拡大観察装置によれば、観察の対象物を載置するための載置部と、前記載置部に載置された観察対象物の画像を撮像するためのカメラ部と、前記カメラ部と光軸を一致させて光学的に結合された顕微鏡レンズ部と、前記カメラ部で画像を撮像する際の撮像条件を設定するための撮像条件設定部と、前記撮像条件設定部により設定された撮像条件で観察対象物を撮像した画像を表示させるための表示部と、前記載置部に載置された観察対象物の観察面とのワーキングディスタンスを自動で調整可能なＺ軸移動手段と、前記載置部と顕微鏡レンズ部との相対位置を変化可能なＸＹ軸移動機構と、前記Ｚ軸移動手段によって異なる相対距離で撮像された複数枚の画像を合成した合成画像を生成するための画像合成手段とを備える拡大観察装置であって、前記画像合成手段による画像合成処理と、前記Ｚ軸移動手段で前記顕微鏡レンズ部を移動させ前記カメラ部で画像を撮像する処理とを非同期で実行可能とできる。上記構成により、従来のように、あるＸＹ座標の位置で高さのみを変化させて画像を撮像した後、次の高さに移動させて同様に画像を生成する逐次的な動作ではなく、Ｚ軸方向に移動させつつ、撮像された画像を同時平行で画像合成処理を行うことが可能となり、画像合成に要する処理の待ち時間や処理速度の制約を受けることなく、合成画像を生成することが可能となって合成画像を得るまでの時間を大幅に短縮できる利点が得られる。

また、第２の拡大観察装置によれば、さらに前記Ｚ軸移動手段が、前記載置部に載置された観察対象物と前記顕微鏡レンズ部との相対高さを前記Ｚ軸移動手段で変化させる高さ範囲を設定する高さ範囲設定手段を備えており、前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超える範囲で前記顕微鏡レンズ部を移動させて、該Ｚ軸移動手段で移動させながら前記撮像手段でもって画像を撮像可能とできる。上記構成により、画像の撮像に際して従来のように撮像させる高さ位置に移動させ、一度静止させた状態で撮像するのでなく、移動させながら撮像を行うので、高さ方向の移動と停止を繰り返す動作よりも短時間で撮像を終えることが可能となる。

さらに、第３の拡大観察装置によれば、前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超えて前記顕微鏡レンズ部を移動させて、該超えた範囲で追加画像を撮像可能であり、前記画像合成手段は、該追加画像を用いて画像合成を行うことを可能に構成できる。上記構成により、Ｚ軸移動手段は載置部又は顕微鏡レンズ部を高さ範囲の限界位置で停止させることなく、これを超えて移動させることで、移動させながら限界位置での撮影を正確に行える。加えて、高さ範囲を超えた位置でも追加画像を取得して、この追加画像を用いてより精細な画像合成が可能となる。

さらにまた、第４の拡大観察装置によれば、前記画像合成手段は、前記追加画像が所定の基準値を超える品質を達成している場合に、該追加画像を用いて画像合成を行うよう構成できる。上記構成により、画像合成に有意な追加画像が得られている場合にのみ、この追加画像を利用してより高精細な画像合成が可能となり、追加画像が有意なデータを有していない場合はこれを画像合成に利用しないこととして、合成画像の品質に悪影響を与えないようにし、品質向上に寄与できる。

さらにまた、第５の拡大観察装置によれば、前記画像合成手段は、前記追加画像に含まれる画素の内、焦点の合った画素の数が所定の閾値を超えている場合に、該追加画像を用いて画像合成を行うよう構成できる。

さらにまた、第６の拡大観察装置によれば、前記Ｚ軸移動手段が、高さ範囲を前記載置部と顕微鏡レンズ部との相対距離の短い側から高い側に移動させることができる。上記構成により、顕微鏡レンズ部の先端が観察対象物に接触するリスクを低減できる。

さらにまた、第７の拡大観察装置によれば、前記Ｚ軸移動手段が、前記顕微鏡レンズ部側を移動させて前記載置部と顕微鏡レンズ部との相対距離を調整可能とできる。

さらにまた、第８の拡大観察装置によれば、前記顕微鏡レンズ部とカメラ部は一体となってヘッド部を構成しており、前記Ｚ軸移動手段が、前記ヘッド部を移動させて前記載置部と顕微鏡レンズ部との相対距離を調整可能とできる。上記構成により、Ｚ軸移動手段でヘッド部を上下させて相対高さを調整できる。

さらにまた、第９の拡大観察装置によれば、前記高さ範囲設定手段が、高さ範囲を、前記顕微鏡レンズ部に含まれる光学レンズ系の情報に基づいて、該光学レンズ系の焦点深度に基づいて予め設定された規定の範囲として自動で設定可能とできる。上記構成により、ユーザが予め顕微鏡レンズ部を上下動させる範囲を指定するのでなく、使用する光学レンズ系によって設定された規定値でもって指定されるので、ユーザが指定する手間を省くことができ、短時間で画像合成を実行できる利点が得られる。

さらにまた、第１０の拡大観察装置によれば、前記高さ範囲設定手段を、高さ範囲を任意に調整可能とできる。上記構成により、得られた合成画像が所望の画像でなかった場合等は、ユーザが合成画像を参照しながら手動で適切な高さ範囲に調整して、再度画像合成を行うことができるので、一から高さ範囲をユーザに指定させる方法と比べ、効率よく最適な高さ範囲に設定できる。

さらにまた、第１１の拡大観察装置によれば、前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超えた位置から、該高さ範囲内に向かって前記カメラ部の移動を開始するよう構成できる。上記構成により、高さ範囲内の開始位置からカメラ部の移動を開始する場合は、カメラ部が一定速度に達するまでの加速期間では撮像タイミングが一定とならないという問題に対し、一旦カメラ部を高さ範囲の外に移動させ、助走区間を設けた上で、カメラ部の移動を開始し、一定速度まで速度を上げた上で高さ範囲内にカメラ部を移動させて撮像を開始することで、一定速度での撮像が可能となる。

さらにまた、第１２の拡大観察装置によれば、さらに観察対象に照明光を照射するための照明手段を備えることができる。

さらにまた、第１３の拡大画像観察方法によれば、観察対象物を撮像した画像を表示させる拡大画像観察方法であって、載置部に載置された観察対象物の画像を撮像するためのカメラ部と光軸を一致させた顕微鏡レンズ部を、該観察対象物の観察面との距離を調整して高さ方向に移動させる高さ範囲を設定する工程と、前記高さ範囲内で前記顕微鏡レンズ部を、一方の限界位置から他方の限界位置に向かって移動させながら、異なる高さの画像を前記撮像手段で撮像する工程と、前記顕微鏡レンズ部が高さ範囲の他方の限界位置に達しても移動を継続し、さらに高さ範囲外の位置で追加画像を撮像する工程と、高さ範囲外で撮像された追加画像が、所定の基準値を超える品質か否かを判定し、超える場合は該追加画像と、高さ範囲内で撮像された画像を用いて、画像合成を行う工程と、画像合成により得られた合成画像を表示手段に表示する工程とを含むことができる。これにより、従来のように、あるＸＹ座標の位置で高さのみを変化させて画像を撮像した後、次の高さ位置に移動させて同様に画像を生成する逐次的な動作ではなく、Ｚ軸方向に移動させつつ、撮像された画像を同時平行で画像合成処理を行うことが可能となり、画像合成に要する処理の待ち時間や処理速度の制約を受けることなく、合成画像を生成することが可能となって合成画像を得るまでの時間を大幅に短縮できる利点が得られる。

さらにまた、第１４の拡大画像観察方法によれば、前記高さ範囲の設定工程を、前記顕微鏡レンズ部に含まれる光学レンズ系の焦点深度に基づいて予め設定された規定の範囲とできる。これにより、ユーザが予め顕微鏡レンズ部を上下動させる範囲を指定するのでなく、使用する光学レンズ系によって設定された規定値でもって指定されるので、ユーザが指定する手間を省くことができ、短時間で画像合成を実行できる利点が得られる。

さらにまた、第１５の拡大画像観察方法によれば、前記表示手段に表示された合成画像を参照して、高さ範囲の再設定を促す工程を含むことができる。これにより、得られた合成画像が所望の画像でなかった場合等は、ユーザが合成画像を参照しながら手動で適切な高さ範囲に調整して、再度画像合成を行うことができるので、一から高さ範囲をユーザに指定させる方法と比べ、効率よく最適な高さ範囲に設定できる。

さらにまた、第１６の拡大画像観察プログラムによれば、観察対象物を撮像した画像を表示させるための拡大画像観察プログラムであって、載置部に載置された観察対象物の画像を撮像するための撮像手段と光軸を一致させた顕微鏡レンズ部を、該観察対象物の観察面との距離を調整して高さ方向に移動させる高さ範囲を設定する機能と、前記高さ範囲内で前記顕微鏡レンズ部を、一方の限界位置から他方の限界位置に向かって移動させながら、異なる高さの画像を前記撮像手段で撮像する機能と、前記顕微鏡レンズ部が高さ範囲の他方の限界位置に達しても移動を継続し、さらに高さ範囲外の位置で追加画像を撮像する機能と、高さ範囲外で撮像された追加画像が、所定の基準値を超える品質か否かを判定し、超える場合は該追加画像と、高さ範囲内で撮像された画像を用いて、画像合成を行う機能と、画像合成により得られた合成画像を表示手段に表示する機能とをコンピュータに実現させることができる。上記構成により、従来のように、あるＸＹ座標の位置で高さのみを変化させて画像を撮像した後、次の高さ位置に移動させて同様に画像を生成する逐次的な動作ではなく、Ｚ軸方向に移動させつつ、撮像された画像を同時平行で画像合成処理を行うことが可能となり、画像合成に要する処理の待ち時間や処理速度の制約を受けることなく、合成画像を生成することが可能となって合成画像を得るまでの時間を大幅に短縮できる利点が得られる。

さらにまた第１７のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

図１は本発明の一実施の形態に係る拡大観察装置の外観図である。 図２は本発明の一実施の形態に係る拡大観察装置のブロック図である。 図３は照明部を示す概略図である。 図４は拡大画像観察プログラムの照明光切替画面のユーザインターフェース画面を示すイメージ図である。 図５は拡大画像観察プログラムの明るさ設定画面のユーザインターフェース画面を示すイメージ図である。 図６は変形例に係る拡大観察装置を示す模式図である。 図７はさらに他の変形例に係る拡大観察装置を示す模式図である。 図８はヘッド部の断面図である。 図９は拡大観察装置の撮像系の外観構成を示す斜視図である。 図１０はヘッド部を揺動させる様子を示す模式図である。 図１１は対物レンズ切替手段を備える拡大観察装置を示す斜視図である。 図１２は撮像素子のベイヤー配列を示す平面図である。 図１３は１画素ずつずらして各画素でＲＧＢデータを取得する様子を示す平面図である。 図１４は図１３からさらに１／２画素ずつずらしてサブピクセル単位でＲＧＢデータを取得する様子を示す平面図である。 図１５は拡大画像観察プログラムのホワイトバランス設定画面のユーザインターフェース画面を示すイメージ図である。 図１６は一覧表示領域を表示させた拡大画像観察プログラムのユーザインターフェース画面を示すイメージ図である。 図１７は拡大画像観察プログラムの画像設定画面のユーザインターフェース画面を示すイメージ図である。 図１８Ａ、図１８Ｂは露光時間の異なる低階調画像、図１８Ｃは図１８Ａ、図１８Ｂを合成したＨＤＲ画像を示すイメージ図である。 図１９Ａ〜図１９Ｄは深度合成画像を合成する様子を示す模式図である。 図２０は三次元画像を示すイメージ図である。 図２１は拡大画像観察プログラムの計測処理設定画面のユーザインターフェース画面の示すイメージ図である。 図２２Ａは深度合成前の画像、図２２Ｂは深度合成画像を第一表示モードで表示した状態、図２２Ｃは第二表示モード画像、図２２Ｄは第一表示モード画像を示すイメージ図である。 図２３は表示モードを切り替える手順を示すフローチャートである。 図２４Ａ〜図２４Ｃは自動計測処理を行う様子を示すイメージ図である。 図２５は観察対象物を静止させて撮像した合成画像を示すイメージ図である。 図２６はＸＹステージを移動させながら撮像した合成画像を示すイメージ図である。 図２７は中断の処理を含めた表示モードの切り替え手順を示すフローチャートである。 図２８は第二表示モードにおけるライブ映像を示すイメージ図である。 図２９は第一表示モードにおける合成画像を示すイメージ図である。 図３０は実施の形態に係る顕微鏡レンズ部のＺ軸方向の移動速度と位置を示す模式図である。 図３１は他の実施の形態に係る顕微鏡レンズ部のＺ軸方向の移動速度と位置を示す模式図である。 図３２はさらに他の実施の形態に係る顕微鏡レンズ部のＺ軸方向の移動速度と位置を示す模式図である。 図３３は合成画像の高速撮影処理の手順を示すフローチャートである。 図３４は合成画像の採用画素の元画像の高さ位置のヒストグラムを示すグラフである。 図３５は自動で追加画像の撮影を行う画像合成処理の手順を示すフローチャートである。 図３６は従来の深度合成画像を合成する手順を示すフローチャートである。 図３７は合成画像の生成に際して高さ範囲を指定するための撮像条件設定画面を示すイメージ図である。 図３８は従来の顕微鏡レンズ部のＺ軸方向の移動速度と位置を示す模式図である。 図３９は手動追加撮影設定画面のユーザインターフェース画面を示すイメージ図である。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置及び拡大画像観察方法とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。

また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末その他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。

以下、図１〜図２を用いて、本発明の一実施の形態に係る拡大観察装置１００を説明する。これらの図において、図１は拡大観察装置１００の全体構成を示す模式図、図２は主に本体部５０と各部の制御を中心としたブロック図を、それぞれ示している。拡大観察装置１００は、図１に示すように撮像系１と制御系２に大別される。撮像系１は、観察対象物Ｓである試料又はワークその他の被写体を照明するための照明部６０と、照明部６０により照明された観察対象物Ｓを撮像するヘッド部４を備える。ヘッド部４は、撮像素子１２を含むカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。顕微鏡レンズ部２０は複数枚の光学レンズで構成された撮像光学系（レンズ光学系）を構成する。ここでは、顕微鏡レンズ部２０は対物レンズ部２５を含んでいる。またヘッド部４は、照明光の反射光又は透過光を受光する撮像手段として機能する。

また撮像系１は、観察対象物Ｓを載置する載置部３０と、この載置部３０とヘッド部４との光軸方向における相対距離を変化させ焦点を調整する第一焦点調整部としてＺ上ステージ及びこのＺ上ステージを駆動するための上ステージ昇降器１６とを備える。一方ヘッド部４も、光軸方向における載置部との相対距離を変化させ焦点を調整する第二焦点調整部としてＺ下ステージを備える。この載置部３０上に載置された観察対象物Ｓに対して、撮像光学系１１を介して入射され、観察対象物Ｓで反射された反射光又は観察対象物Ｓの底面側から照射された透過光を、カメラ部１０の撮像素子１２で電気的に読み取る。

さらに制御系２は、カメラ部１０で撮像された拡大画像を表示する表示部５２を有する本体部５０を備える。カメラ部１０は、ケーブル部３を介して本体部５０と接続される。なお図１の例では、表示部５２を本体部５０と一体に設けているが、表示部を本体部と別部材とすることもできる。またケーブル部３は、カメラ部１０の撮像素子で得られた画像情報を保体部５０側に伝達するための電気的ケーブルに加えて、照明光を本体部５０からヘッド部４側に伝達するための光学的ケーブル３ｂを備えている。ケーブル部３は、電気的ケーブルと光学的ケーブル３ｂと統合することもできるし、これらを個別に設けることもできる。

さらにまた載置部３０は、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動に加えて、平面内での移動も可能としている。具体的には、Ｘ軸方向およびＹ軸方向に移動可能なＸ−Ｙステージを備える。また、載置部３０を回転させる回転可能なステージ（θステージ）を備えることもできる。

本体部５０は、図２のブロック図に示すように下ステージ昇降器３５によって焦点を調整したときのステージ３０と撮像光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における観察対象物Ｓの２次元位置情報と共に記憶する焦点距離情報記憶部として記憶部５３と、撮像素子１２によって読み取られた画像を表示する表示部５２と、ヘッド部４および下ステージ昇降器３５とデータを通信するためのインターフェイス５４とを備える。この拡大観察装置１００は、撮像光学系１１を介して入射する載置部３０に固定された観察対象物Ｓからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、表示部５２に表示させる。

また記憶部５３は、レンズ識別情報やレンズ収差情報を記憶するレンズ識別情報記憶部、あるいは各レンズ部の、収差の少ない波長成分を、レンズ部の収差情報と対応させて記憶した波長成分記憶手段としても機能する。なお記憶部５３は、ハードディスクや半導体メモリ等で構成される。また各データベース毎に個別の記憶部を設けてもよい。
（レンズ識別情報）

レンズ識別情報には、レンズの型式、焦点距離の位置、レンズの筒体の長さ等の情報が含まれる。上述の通り、撮像系１と制御系２とはケーブル部３を介して接続されているので、制御系２で現在装着されているレンズの種別を判別することで、適切な制御を行える。例えば、顕微鏡レンズ部２０の物理的な長さを把握することで、顕微鏡レンズ部２０をＺ上ステージで降下させる際に、観察対象物Ｓや載置部３０に接触しないように降下できる下限移動距離を把握して、これよりも降下しないように制限をかけることができる。

またレンズ種別情報として、顕微鏡レンズ部の情報を直接記録する他、顕微鏡レンズ部の識別情報、例えば型式のみを記録させ、一方型式と対応する顕微鏡レンズ部の詳細情報は、予め本体部５０の記憶部５３等に、型式と関連付けられたルックアップテーブルとして記憶しておくこともできる。これにより、本体部５０はカメラ部１０を通じてレンズ識別情報である型式を取得すると、この型式と対応する詳細情報を、記憶部５３を参照して取得し、取得された情報に基づいて顕微鏡レンズ部に合致した制御を行うことが可能となる。この方法であれば、顕微鏡レンズ部側に保持すべき情報量を少なくしつつ、必要な情報を本体部５０側で把握することが可能となる。

さらに拡大観察装置１００は、カメラ部１０で画像を撮像する際の条件を設定するための撮像条件や、その他の必要な各種の設定や操作を行うための操作部５５と、設定された領域に対応する観察対象物Ｓの一部又は全部に関する記憶部５３に記憶された焦点距離情報に基づいて、設定された領域に対応する観察対象物Ｓの光軸方向における高さを演算する制御部５１を備える。この拡大観察装置１００は、撮像素子１２を用いて指定された領域に対応する観察対象物Ｓの光軸方向における平均高さ（深さ）を演算できる。

この制御部５１は、光路シフト手段１４を作動させる光路シフト制御手段８１、複数の照明フィルタを用いて観察対象物Ｓの同一の視野について撮像した複数の観察像を表示部５２に同時に表示した状態から、一を選択可能な画像選択手段８２、画像選択手段８２で選択された観察像の撮像に使用された照明フィルタの種別を含む像観察条件を、撮像条件として設定する撮像条件設定部８３、所定の画像処理を行う画像処理部８５、画像処理部８５で観察像を合成してカラーの高解像画像観察像を取得する動作を自動で行う自動合成手段８４、交換可能な複数の異なる仕様の顕微鏡レンズ部の内、現在カメラ部１０に装着されている顕微鏡レンズ部の収差情報に基づいて、複数の波長成分の内でこの顕微鏡レンズ部の収差の影響が相対的に少ない波長成分を選択可能な波長選択手段８６、照明光源６５が発する光の波長帯域に含まれる複数の異なる波長域について、いずれかの波長域に選択的に切り替え可能な照明光選択手段８７、表示部５２に表示される画像の表示倍率を拡大又は縮小するための倍率調整手段８９ａ、表示部５２に表示される画像の表示位置を移動させるための表示位置変更手段８９ｂ、複数の異なる仮の撮像条件を生成するための簡易撮像条件生成部８９ｃ、一覧表示領域に複数の簡易画像を一覧表示させた状態で、倍率調整手段８９ａで一の簡易画像の倍率を調整すると、他の簡易画像の倍率もこれに連動して調整されてなると共に、表示位置変更手段８９ｂで一の簡易画像の表示位置を変更すると、他の簡易画像の表示位置もこれに連動して変更されるように、各簡易画像の表示倍率及び表示位置を調整する連動調整手段８９ｄ、表示部５２における表示を、第二表示モードから、第一表示モードに自動的に切り替える表示モード切替手段８９ｅ、載置部に載置された観察対象物と顕微鏡レンズ部との相対距離を変化させる高さ範囲を設定する高さ範囲設定手段８９ｆ等の機能を実現する。また画像処理部８５は、例えば同一の観察対象物Ｓを異なる照明フィルタを用いて撮像した少なくとも２つの観察像を合成する画像合成手段８５ｂとして機能する。この制御部５１はＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。

操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置１００自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウス等のポインティングデバイスで構成される。
（照明部６０）

照明部６０は、撮像素子１２に結像される観察対象物Ｓを照明する照明光を生成する。照明部６０の照明光源は、本体部５０に内蔵され、光学的ケーブル３ｂを介して照明光がヘッド部４の照明部６０に伝達される。なお照明部６０は、ヘッド部４に組み込み式としたり、ヘッド部４と脱着可能な別体とする構成のいずれも採用できる。また照明光の照明方式としては、落射照明や透過照明等が適宜利用できる。落射照明とは、観察対象物の上方から照明光を落とす照明方法であり、リング照明や同軸落射照明等が含まれる。図１に示す照明部６０は、観察対象物Ｓに同軸落射光を照射するための同軸落射照明部６２（図３参照）と、リング状の光源からリング状照明光を照射するためのリング照明部６３と、透過光を照射するための透過照明部６４を備えている。これらの照明は、光学的ケーブル３ｂを介して本体部５０と接続される。本体部５０は光学的ケーブル３ｂを接続するコネクタを備えると共に、コネクタを介して光学的ケーブル３ｂに光を送出するための照明光源６５を内蔵する（図３参照）。またリング照明部６３は、全周照明と側射照明を切り替えることができる。これを実現するため、リング照明部６３として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成や、照明光の一部をカットするターレット式のマスクを配置する構成等が利用できる。これら照明光の点灯制御や切り替えは、照明光制御部６６で行われる。照明光制御部６６は、照明光を切り替えるための照明光切替部６１を備えている。

照明部６０の詳細を、図３の模式断面図に示す。照明部６０は、同軸落射照明部６２とリング照明部６３を備えている。同軸落射照明とは、カメラの撮像面と同じ方向から照射する方法であり、明視野照明とも呼ばれる。同軸落射照明は、例えばシリコンウェハやＬＣＤパネルなど特に鏡面ワークの凸凹を見る場合に効果的となる。照明部６０の点灯制御は、照明光制御部６６で行われる。また照明光制御部６６は照明光切替部６１を備えており、照明切替部６１は、同軸落射照明部６２とリング照明部６３とを切り替え可能としている。また照明切替部６１は、同軸落射照明部６２とリング照明部６３とを比率を変えて混合させるように構成することもできる。
（拡大画像観察プログラム）

照明光切替手段の一態様を構成するユーザインターフェース画面の一例を図４に示す。図４は拡大観察装置１００を操作するための拡大画像観察プログラムのユーザインターフェース画面である。このような操作画面は、拡大観察装置１００の表示部５２や外部接続されたコンピュータのモニタ上に表示できる。ユーザは表示された画面上から、拡大観察装置１００の各種設定や操作を行う。拡大画像観察プログラムは、本体部５０に組み込まれている。

なおこれらのプログラムのユーザインターフェース画面の例において、各入力欄や各ボタン等の配置、形状、表示の仕方、サイズ、配色、模様等は適宜変更できることはいうまでもない。デザインの変更によってより見やすく、評価や判断が容易な表示としたり操作しやすいレイアウトとすることもできる。例えば詳細設定画面を別ウィンドウで表示させる、複数画面を同一表示画面内で表示する等、適宜変更できる。またこれらのプログラムのユーザインターフェース画面において、仮想的に設けられたボタン類や入力欄に対するＯＮ／ＯＦＦ操作、数値や命令入力等の指定は、操作部５５で行う。ここでは、プログラムを組み込んだコンピュータに接続された入力デバイスでもって、撮像条件等の設定を行う。本明細書において「押下する」とは、ボタン類に物理的に触れて操作する他、入力部によりクリックあるいは選択して擬似的に押下することを含む。操作部等を構成する入出力デバイスはコンピュータと有線もしくは無線で接続され、あるいはコンピュータ等に固定されている。一般的な入力部としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入出力デバイスは、プログラムの操作のみに限られず、拡大観察装置１００等のハードウェアの操作にも利用できる。さらに、インターフェース画面を表示する表示部５２のディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。
（照明切替画面１１０）

図４に示す拡大画像観察プログラムのユーザインターフェース画面は、照明部の照明条件を設定する照明条件設定手段の一形態として、照明切替画面１１０を示している。照明切替画面１１０では、左側に表示領域１１１を設け、右側に操作領域１１２を設けている。操作領域１１２は、その左側にメニューをリボン状に表示し、選択されたリボンに応じて、右側の操作可能な内容が切り替わる。ここでは、複数のタブを切り替えることで、さらに設定内容を切り替えることができる。図４の例では、操作領域１１２の「明るさ・照明」リボン１１３を選択して、さらに「照明」タブ１１４を選択する。そして「照明」タブ１１４の上段に設けられた「落射照明」設定欄１１５、及び下段に設けられた「透過照明」設定欄１１６で、各照明光の方向や明るさを設定する。例えば「落射照明」設定欄１１５の「ＯＮ」ボタン１１７を押下するとリング照明が点灯され、その明るさを０〜２５５で指定する。明るさの指定は、数値又はスライダで行う。光量値が大きければ画像が明るく、小さければ暗くなる。また「リング照明」ボタン１１８を押下すると円環状のリング照明の全周が点灯され、「リング片射」ボタン１１９を押下すると円環状の一部のみが点灯される。斜めから照明光を照射することで、例えば観察対象物表面の傷や凹凸を強調して観察できる。一方「透過照明」設定欄１１６でも同様に「ＯＮ」ボタン１２０を押下すると透過照明が点灯され、その明るさを数値又はスライダ１２１で指定する。この例ではリング照明をＯＮさせて透過照明をＯＦＦさせている。ただ、観察目的に応じて両方の照明をＯＮさせてそのバランスを調整することもできる。
（明るさ設定画面１２２）

また図４の照明切替画面１１０から操作領域１１２において「照明」タブ１１４を選択すると、図５の明るさ設定画面１２２に切り替わる。この画面では画像の明るさとして、カメラ部１０の撮像時のシャッタースピード（露光時間）とゲインを調整できる。シャッタースピードを遅く（露光時間を長く）すると画像が明るく、速く（露光時間を短く）すると暗くなる。ここでは、シャッタースピードとしてオート、マニュアル、スーパーチャージ、プリセットのいずれかをラジオボタンで選択できる。またシャッターゲイン値を大きくすると画像が明るく、小さくすると暗くなる。ここではゲインとしてオート、マニュアル、プリセットのいずれかを選択できる。
（照明光源６５）

照明光源６５としては、発光ダイオード（Light Emitting Diode：ＬＥＤ）や半導体レーザ（Laser Diode：ＬＤ）といった半導体発光素子が利用できる。例えば、図３に示すようにＲ、Ｇ、Ｂの波長域を有するＬＥＤ６５ｒ、６５ｇ、６５ｂを用意し、各ＬＥＤの点灯により照明光を赤色、緑色、青色にそれぞれ切り替えたり、これらの混色によって白色光を得ることができる。また、白色ＬＥＤを別途用意することもできる。特にＬＥＤはＯＮ／ＯＦＦ応答性に優れるため、測定のスループットを向上できる利点も得られる。また長寿命で低消費電力であり、発熱量も少なく、機械的衝撃に強いといった特長も備える。あるいは、光源光の紫外線や可視光線で励起される蛍光体等の波長変換部材を利用した光源とすることもできる。これにより、１個のＬＥＤでも白色光を発光できる。さらに、可視光以外に紫外光や赤外光を照射可能なＬＥＤを光源として用いることもできる。例えば赤外光による観察は、不良品の解析や生体組織の組織分布等において有用である。なお照明光源には半導体発光素子に限らず、幅広い波長域の白色光を発する白色光源として、ハロゲンランプ、キセノンランプ、ＨＩＤランプ等を利用してもよい。また可視光のみならず赤外光を照射可能な光源としてもよい。特にハロゲンランプは、発光波長の波長域が広いため好ましい。また、単一の光源を利用するのみならず、複数の光源を備え、これらを同時に点灯して混色光を照明光としたり、あるいは切り替えて照明することもできる。

なお、照明光源は本体部に内蔵する構成に限られない。例えば、載置部や顕微鏡レンズ部に設けることもできる。変形例として図６に示す拡大観察装置４００は、載置部３０側に照明光源として、透過照明光源６５Ｂを設けている。また図７に示す拡大観察装置５００は、顕微鏡レンズ部２０側に同軸落射照明やリング照明用の照明光源６５Ｃを備えている。このような構成により、光ファイバ等で照明光を本体部側からヘッド部側に伝達する必要をなくし、外部に引き出すケーブルを少なくして構成を簡素化できる利点が得られる。また、ヘッド部側の内部においても、照明光源からの光を光ファイバで分岐する他、直接照明に高輝度のＬＥＤ等の半導体発光素子を設けてもよい。特にＬＥＤは、従来のハロゲンランプなどと比べて小型で発熱量も少なく、長寿命でメンテナンスフリー化も図ることができる。

このように、赤色、緑色、青色に発光可能な照明光源を用意することで、従来の白色光源のようなフィルタを不要にでき、またフィルタの切り替えといった機械的な動作を不要となり、電気信号のみでの安定した高速な照明光切り替えが実現される。またＬＥＤは長寿命であるため、電球の交換等のメンテナンス作業も省力化できる。さらに、半導体発光素子はバルブに比べ小型であるため、複数種類の発光素子を省スペースで配置できる利点もある。さらにまた、例えば赤外光発光素子や紫外光発光素子も備えることで、照明光を可視光のみならず赤外光、紫外光等に切り替えることが容易に行える。さらに、低消費電力で冷却ファンも小型化或いは省略でき、静音性にも優れる。このようにして、異なる波長域の発光素子を複数備える照明光源を照明光選択手段８７で制御し、所望の波長域の発光素子を選択して点灯し照明光を照射することができる。

また照明光源や照明フィルタ手段には、ＲＧＢ３原色の他、これらの補色（例えばシアン・マゼンダ・イエロー）を適宜利用することもできる。その他、フィルタとして紫外光や赤外光を透過させるフィルタを利用することもできる。
（同軸落射照明観察）

ヘッド部４の断面図を図８に示す。このヘッド部４は、観察対象に同軸落射照明光を照射するための同軸落射照明部６２と、同軸落射照明部６２で照射された照明光の反射光を受光する撮像素子を有するカメラ部１０と、カメラ部１０と光軸を一致させて光学的に結合された対物レンズ部２５と、対物レンズ部２５と光軸を一致させて配置された位相遅延素子９０を備えている。照明部６０は、同軸落射照明部６２とリング照明部６３を含む。ヘッド部４はカメラ部１０と、偏光ビームスプリッタ２８と、対物レンズ部２５とを備えている。これらは、光軸ＡＸを一致させた状態で光学的に結合されており、撮像光学系を構成する。また対物レンズ部２５には、位相遅延素子９０が光軸ＡＸ上に配置されている。一方リング照明光は撮像光学系に導入されることなく、観察対象物Ｓに対して直接照射される。なお位相遅延素子９０には、λ／４板、λ板、（１／２）λ板、（３／４）λ板、（５／８）λ板等が利用でき、典型的にはλ／４板が利用される。なおλ／４板は、この境界面で反射が生じないように傾斜させて配置することが好ましい。
（支持台４０）

拡大観察装置１００の撮像系１の外観構成の一例を図９に示す。この図に示す撮像系１は、観察対象物Ｓを載置する載置部３０とヘッド部４を支持する支持台４０を備えている。支持台４０は、載置部３０を水平面内あるいは上下移動可能な状態に保持するステージ固定機構４２と、載置部３０を保持した状態でヘッド部４を傾斜させるヘッド傾斜機構４４を備えている。これらステージ固定機構４２及びヘッド傾斜機構４４は、ベース部４１に固定されている。ベース部４１は平板状として、安定的に支持台４０を自立させる。
（ステージ固定機構４２）

ステージ固定機構４２は、載置部３０を水平面内（ＸＹ軸方向）及び垂直方向（Ｚ軸方向）に移動可能な一以上の移動機構を介して、載置部３０を支持台４０に固定している。具体的には、ここでは移動機構として、載置部３０をＺ軸方向に移動させるためのＺ軸方向移動機構（第一焦点調整部）、載置部３０をＸＹ軸方向に移動させるためのＸＹ軸移動機構、載置部３０をθ方向に回転させるための回転移動機構が利用できる。図９に示す例では、Ｚ軸移動機構としてベース部４１上に昇降可能に固定されたスライダ３２でもって下ステージ昇降器３５を実現し、さらに回転移動機構として、スライダ３２上に固定された中間連結部３４でもって載置部３０を回転可能とし、加えてＸＹ軸移動機構として、中間連結部３４上に固定されたＸＹステージでもって、載置部３０をＸＹ軸方向に移動可能としている。これらのＸＹ軸移動機構やＺ軸移動機構、回転移動機構は、表示部５２に表示されている画像の視野を変更するための視野移動手段として機能する。
（ヘッド傾斜機構４４）

一方ヘッド傾斜機構４４は、ヘッド部４を載置部３０に対して傾斜させるため、図１０の斜視図に示すようにベース部４１に揺動軸４５を介して揺動自在に連結された揺動部４６と、揺動部４６にヘッド部４を固定するためのヘッド固定部４８とを備える。揺動部４６は、ベース部４１から上方に突出する姿勢に設けられた揺動支柱４７と、揺動軸４５とを備える。またヘッド固定部４８は、揺動支柱４７にヘッド部４を、ほぼ平行な姿勢で固定するヘッド用アーム４９を備える。揺動支柱４７は、下端に揺動軸４５を設けており、揺動軸４５を中心として旋回するようにベース部４１に支持される。またヘッド用アーム４９は、ヘッド部４を載置部３０の上方に保持するよう、揺動支柱４７の上部から中間部の位置で、揺動支柱４７をクランプするなどして固定される。またヘッド用アーム４９の先端には、ヘッド部４を固定する固定機構が設けられる。ここでは、固定機構はヘッド部４の外周を囲むリング状に形成されて、リング状の中心にヘッド部４を挿入して、周囲の複数の位置から止めねじで螺合されて固定される。

ベース部４１の上面には、下方に向かって末広がりとしたブロック４１ａが固定され、このブロック４１ａの上部に軸受部４１ｂを形成している。軸受部４１ｂは、離間して固定された一対のガイド部４１ｃを備えており、一対のガイド部４１ｃは側面視において凹形状に形成されている。各ガイド部４１ｃは、Ｙ軸方向に平行な軸を中心軸として形成された円形の孔部を開口している。これらの孔部には揺動軸４５がＹ軸方向に沿って嵌合されている。この例では、揺動軸４５に目盛を設けており、ヘッド部４を揺動させる角度を目盛でもって目視できるように構成している。

このヘッド傾斜機構４４によってヘッド部４を載置部３０に対して傾斜させることで、観察対象物Ｓを斜め方向から観察した傾斜観察が可能となる。特にヘッド部４を垂直姿勢から、揺動軸４５を回転軸として左右に揺動させることで、左右いずれの方向からも観察することが可能となり、異なる視点からの観察により観察の自由度を高めることが可能となる。またこのような傾斜観察においては、ヘッド部４を傾斜させても視野が変化しないユーセントリック観察が求められる。このため傾斜観察に際しては、予め観察対象物Ｓの観察面が、揺動軸４５の中心と合致するように載置部３０の高さを調整することが望ましい。

また拡大観察装置２００は、図１１の斜視図に示すように、ヘッド部４の先端に設けられた第一対物レンズ部２５Ａ、第二対物レンズ部２５Ｂを、ヘッド部４を揺動させる面に対して垂直な面内で揺動させて切り替える対物レンズ切替手段２６を備えている。このように、ヘッド部４の揺動面と、対物レンズ部２５を切り替えるための揺動面とを直交させることで、ヘッド部４を傾斜させた状態で対物レンズ部２５を切り替える際に、対物レンズの先端が観察対象物に接触する事態を回避できる。この際、各対物レンズ部の長さが等しくなるように予め設計しておく。
（カメラ部１０）

ヘッド部４は、撮像素子を有するカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。カメラ部１０は、照明部６０により照明された観察対象物Ｓから、撮像光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。また顕微鏡レンズ部２０は、対物レンズ部２５に加え、レンズ本体２１と、このレンズ本体２１の端面に装着されてレンズ接続面を構成するマウント部２２とを備えている。またマウント部２２は、可撓性を有するレンズ側ケーブル２４を介して顕微鏡レンズ部２０と電気的に接続されている。これにより、顕微鏡レンズ部２０のレンズ識別情報は、レンズ側ケーブル２４を介してマウント部２０のレンズ側接続端子に送出される。
（光路シフト手段１４）

さらに拡大観察装置１００は、撮像素子１２の検出位置を相対的にシフトさせるための光路シフト手段１４と、光路シフト手段１４を作動させる光路シフト制御手段８１とを備えることもできる。具体的には、３以上の注目画素群について、注目画素群を構成する各撮像素子の画素の位置で受光信号が一巡して受光量が各々の位置で検出されるよう、撮像素子の画素間隔に相当する変位量分、注目画素群を構成するいずれかの撮像素子の検出位置を光路シフト手段１４で相対的にシフトさせる。
（光路シフト制御手段８１）

一方光路シフト制御手段８１は、フィルタ選択手段８８で選択された照明フィルタを介して所定波長の照明光が試料Ｓに照射される際、複数の撮像素子の内、該波長域に対応する撮像素子で受光量を検出するように、光路シフト手段１４を作動させる。これにより、照明フィルタと撮像素子の選択及び画素ずらしを連動させることが可能となり、ユーザは面倒な切り替えや照明光とこれに応じた照明フィルタ、撮像素子の選択の組み合わせを意識することなく、高解像度の観察像を簡単に取得できる。

図２の例では、カメラ部１０に光路シフト手段１４が備えられており、画素ずらしによってＣＭＯＳの持つ解像度以上の高解像度を得ることができる。画素ずらし（ピクセルシフト）とは、例えば単板タイプについて特許文献２や、３板タイプについて特許文献３に記載されるように、圧電素子等を用いることにより、隣接する素子と素子（画素）との間の空間に、素子を物理的にシフトさせるピクセルシフトにより、例えば画素ピッチの半分だけ試料Ｓをずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。また１画素ピッチ分ずらして各画素でＲＧＢのデータを取得することにより、色再現性も向上される。代表的な画像ずらしの機構としては、撮像素子１２をアクチュエータＡＣ等により移動させる撮像素子駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。

画素ずらし機能を実行すると、図１２に示すように、撮像素子がベイヤー配列でマトリクス状に画素毎に配置された状態において、光路シフト手段１４は図１３に示すように、隣接する２×２の画素位置にシフトさせるよう切り替えることができる。これにより、ベイヤー配列された異なる受光特性の撮像素子を、隣接する２×２の注目画素につき、一巡するように光路シフト手段１４でシフトさせて、２×２のすべての画素位置で受光信号を取得することができ、高解像度の観察像を得ることができる。なお、光路シフト手段１４で撮像素子を相対的にシフトさせるシフト量は、図１３の例では撮像素子の画素間隔に相当する変位量分として、反時計回りに４回、計４画素分移動させているが、上下、左右等隣接する２画素のみ、あるいは３画素分だけ移動させることもできる。また、移動量は撮像素子の１画素分に限られず、図１４に示すように１／２画素分や１／３画素分等とすることもできる。撮像素子を構成する各画素の受光感度のピーク位置やレンジに応じて移動量を調整することで、１画素分以下の移動量でも受光量を向上できるので、高解像度化を図ることができる。このように、撮像素子の画素間隔に相当する変位量分とは、画素ピッチと同等もしくはその整数倍に限られず、１／２画素分や１／３画素分といった分数倍も含まれる。
（表示部５２）

またこのような画像データや記憶部５３に保持された設定内容は、表示部５２にて表示させることができる。表示部５２はＣＲＴや液晶ディスプレイ、有機ＥＬ等のモニタが利用できる。また、制御部５１に対して、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においても表示部や操作部は、本体部５０と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示部をタッチパネルで構成すれば、表示部と操作部を一体に構成することもできる。

ここで下ステージ昇降器３５の動作について説明する。本体部５０は、モータ制御回路３６に対してステッピングモータ３７の制御に関する制御データを入力することによって、載置部３０と、撮像光学系１１および撮像素子１２を有するヘッド部４との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、下ステージ昇降器３５の制御に必要な制御データをモータ制御回路３６に入力することによってステッピングモータ３７の回転を制御し、載置部３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ３７は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路３６を介して入力される回転信号に基づいて、載置部３０と撮像光学系１１の光軸方向における相対距離に関する情報としての載置部３０の高さｚを記憶する。この載置部３０は、観察対象物Ｓに対して観察位置の位置決めを行う観察位置決め手段として機能する。

なお、下ステージ昇降器３５はこのような電動式に限られず、手動式で昇降させる構成としてもよいことはいうまでもない。

さらに本実施の形態においては、載置部３０の高さを変化させることによって載置部３０と撮像光学系１１の光軸方向における相対距離を変化させるのみならず、撮像光学系の高さ、すなわちヘッド部４の高さも変化可能としている。ヘッド部４は本体部５０とケーブル部３により接続される。これにより、ヘッド部４で取得したデータはケーブル部３を介して本体部５０に送出され、本体部５０側で必要な処理を行うことができる。

撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された観察対象物Ｓの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、ヘッド側制御部１３においてさらにデジタルデータに変換される。本体部５０は、ヘッド側制御部１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における観察対象物Ｓの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共に記憶部５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その撮像光学系および撮像素子における解像度において観察対象物Ｓの形状を認識できる程度の傾きの範囲内にある観察面であればよい。

また、以上の説明では載置部３０の一例として、観察対象物Ｓが載置部３０に載置される例を示したが、例えば載置部の代わりにアームを取り付け、その先端に観察対象物Ｓを固定する構成とすることもできる。さらにヘッド部４は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（制御部５１）

制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図１の拡大観察装置１００においては、カメラ部１０が撮像素子１２によって観察対象物Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＭＯＳやＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。カメラ部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
（簡易撮像条件生成機能）

拡大観察装置１００を用いて観察対象物を観察する際には、画像を取得するための撮像条件を設定する必要がある。撮像条件には例えば、複数の照明部４０を備えている場合は照明光の選択、照明光の種類や方向、カメラ部１０のシャッタースピード（露光時間）、画面の明るさやコントラスト、ホワイトバランス、あるいは撮像後の後処理として各種のフィルタといった画像処理の種別等、各種の撮像パラメータが挙げられる（なお、ここでは撮像後の後処理のパラメータも含めて「撮像パラメータ」と呼ぶ。）。また撮像条件には、照明光の設定を行う照明条件も含む。一例として、図４、図１５〜図１７に、このような撮像条件を設定するための撮像条件設定部８３の一形態として、拡大画像観察プログラムのユーザインターフェース画面を示す。これらの図において、図４は上述の通り、照明部４０の照明条件を設定する照明条件設定手段の一形態として、照明切替画面１１０を示している。また図１５はホワイトバランスを設定するホワイトバランス設定画面１２４、図１６は一覧表示領域、図１７は画像設定画面の例を、それぞれ示している。図１５のホワイトバランス設定画面１２４では、ホワイトバランス、すなわち画像の色合いを調整することができる。図１６の一覧表示領域では、簡易的に設定された簡易撮像条件で各々撮像された簡易画像中から、所望の簡易画像を選択することで、この簡易画像に設定された簡易撮像条件を、撮像条件として設定することができる。図１７の画像設定画面では、各種の撮像条件を設定する。このように、撮像条件設定部８３でもって撮像条件を設定、変更すると、後述する表示モード切替手段８９ｅが画像変更操作が行われたと判断して、表示モードの切り替えを行う。
（簡易撮像条件設定機能）

このような撮像条件を個別に設定することは手間がかかる。また撮像パラメータ同士が相関しているものもあるため、特に初心者のユーザには、所望の画像を得るために、どの撮像パラメータを調整しなければならないかが判り辛いことがある。そこで、本実施の形態に係る拡大観察装置は、予め様々な撮像パラメータを組み合わせた仮の撮像条件を簡易的に複数生成し、さらに各簡易撮像条件で取得した簡易画像を表示部に一覧表示させる簡易撮像条件設定機能を備えている。これによれば、ユーザに、一覧表示された簡易画像の中から、所望の簡易画像を選択させることで、この簡易画像を取得した簡易撮像条件を、正規の撮像条件として設定することができ、操作に詳しくないユーザでも視覚的に所望のイメージに近い画像を容易に得ることが可能となる。また、選択された簡易撮像条件に対して、各撮像パラメータを微調整することもでき、これによって撮像条件の設定作業を容易に行える利点も得られる。このような簡易撮像条件生成機能は、制御部５１の簡易撮像条件生成部８９ｃによって実現される。

簡易撮像条件生成部８９ｃで生成された複数の異なる簡易撮像条件は、それぞれ制御部から照明部４０及びカメラ部１０に設定されて、各簡易画像が簡易的に撮像される。ここで撮像される簡易画像は、あくまでもユーザに一覧表示して比較するためのものであるため、精細な画像を取得する必要はなく、簡易的な撮像で足りる。具体的には、解像度やフレームレートを落としたり画像生成のための演算処理を簡略化するなどして、通常の撮像よりも短時間で得られるようにしている。これにより、簡易撮像条件の異なる複数枚の簡易画像を、短時間で取得できる（予備的な撮像という意味で、プレビューと呼ぶことがある。）。簡易撮像条件生成部８９ｃは、見た目の効果が変わりやすい撮像パラメータに設定することで、得られる簡易画像の印象を際立たせることができる。
（一覧表示機能）

また拡大観察装置１００は、簡易撮像条件生成部８９ｃで生成された複数の異なる簡易撮像条件でそれぞれ簡易的に取得された簡易画像を、表示部の一覧表示領域に一覧表示させる一覧表示機能を備えている。一覧表示させた例を図１６の一覧表示画面１３０に示す。図１６の例では、一覧表示機能を実行するには、操作領域１１２の「画質改善」リボン１３１を選択して、さらに「最適画像選択」タブ１３２を選択する。そして「最適画像選択」タブ１３２の上段に設けられた「最適画像を実行」ボタン１３３を押下することで、表示領域１１１は一覧表示領域１３４に切り替えられる。一覧表示領域１３４では、各簡易撮像条件で撮像された簡易画像が並べて表示される。この例では、簡易撮像条件生成部８９ｃによって９つの簡易撮像条件が生成され、各簡易撮像条件で簡易的に撮像された９枚の簡易画像が表示されている。各簡易画像は異なる画像処理や照明効果が施されており、ユーザはこの中から観察目的に応じた所望の簡易画像を選択する。図１６の例では、操作領域１１２にも一覧表示領域１３４と同様の９つの一覧表示画像１３６が表示されている。一覧表示画像１３６の並びは、一覧表示領域１３４の並びと一致しているので、ユーザはより大きな一覧表示領域１３４で各簡易画像を対比しながら所望の簡易画像を決定し、対応する位置にある画像を操作領域１１２の一覧表示画像１３６中からマウスクリックなどにより選択する。これにより、選択された簡易画像と対応する簡易撮像条件が呼び出されて、この簡易撮像条件が、通常の撮像条件として入力される。また必要に応じてユーザは更に撮像条件の微調整を行うことができる。

図１６の例では、「画像設定」タブ１３８を選択すると、一覧表示画面１３０から図１７の画像設定画面１４０に切り替わる。ここでは、撮像パラメータとしてエッジ強調、ガンマ補正、オフセット、モノクロ設定の微調整を行うことができる。この例では、エッジ強調、ガンマ補正、オフセットはスライダで調整し、モノクロ設定はラジオボタンで陰影の強調度合いを選択する。ここでエッジ強調は、画像の輪郭部分を強調して傷や微細なものを観察し易くするための撮像パラメータであり、値が大きいほどエッジ強調が強く適用される。またガンマ補正は、画像に含まれる画素毎の輝度のヒストグラムに対する調整であり、コントラストやグラデーションの強調に利用される。さらにオフセット調整も輝度のヒストグラムの調整であり、画像全体を明るく、又は暗くする際に利用される。また、ここでの設定条件に従って、新たな簡易撮像条件を生成して一覧表示機能を再度実行させることもできる。また図１６の画面から、一覧表示画像１３６の下部に設けられた「ＨＤＲのパラメータ調整を行う」ボタンを押下することで、ＨＤＲ画像を生成するための詳細な合成パラメータの設定画面に移行する。
（画像合成手段８５ｂ）

またこの拡大観察装置は、合成画像生成手段８５で合成画像を取得する合成画像撮影モードとして、ダイナミックレンジ拡大用途に適したダイナミックレンジ拡大撮影モードと、輝度分解能を向上し、コントラストを強調した分解能向上撮影モードを備える。ダイナミックレンジ拡大撮影モードでは、原画像よりも広いダイナミックレンジを持つ合成画像を生成する。一方、分解能向上撮影モードでは、撮像素子のダイナミックレンジよりも狭いダイナミックレンジで、輝度分解能を原画像よりも向上させた合成画像を生成する。
（ＨＤＲ画像）

ダイナミックレンジ拡大撮影モードではいわゆるＨＤＲＩを撮像する。ＨＤＲＩ（High Dynamic Range Image：以下「ＨＤＲ画像」という。）は、従来の画像よりダイナミックレンジ、すなわち最小光量と最大光量の比が格段に高い画像である。例えば標準的なコンピュータのモニタでは、標準色表現として８ビット〜２４ビットのカラーが採用されており、２５６〜１６７７万階調で表現できるが、現実にはより多くの色が存在しており、人の目は瞳孔の大きさを変えることで適正と思われる基準の明るさに調整して見ている。そこで、モニタの表現能力等を超えた、より多くの色情報を持たせたＨＤＲ画像が利用される。このようなＨＤＲ画像の取得には、同一の観察対象を同一位置で、異なる撮像条件（典型的には、撮像素子の露光時間）で撮像した複数の画像を合成する等、既知の手法が利用できる。例えば輝度領域のダイナミックレンジを変更して撮像した複数枚の低階調の画像を合成することで高階調のＨＤＲ画像とできる。一例として図１８Ａ、図１８Ｂに示すような露光時間の異なる低階調画像を合成して、図１８Ｃに示すような高階調のＨＤＲ画像を生成する。

また、上記のダイナミックレンジ拡大用撮影とは逆に、狭いダイナミックレンジで細かな模様が表示できるように分解能を向上させた撮影も可能となる。分解能向上撮影モードでは、元の画像よりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた画像を合成して、輝度分解能を原画像よりも向上させた合成画像を得ることができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上ＨＤＲ画像でないが、ＨＤＲ画像と同様の高階調画像であり、本明細書では便宜上ＨＤＲ画像に含めて扱うこととする。また本明細書においてＨＤＲ画像とは、ダイナミックレンジが表示部で表示可能なダイナミックレンジよりも広い意味で使用しているが、それに限られず、撮像部の撮像素子で撮像可能なダイナミックレンジよりも広い画像、あるいは２４ビット以上、３２ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。
（深度合成画像）

さらにこの拡大観察装置は、合成画像生成手段８５で合成画像として、ＨＤＲ画像の他、深度合成画像も撮像できる。深度合成画像は、対象物Ｓの測定対象部分の高低差が被写界深度を超える場合、図１９Ａ〜図１９Ｄに示すように高さ方向を異ならせて個々に撮像した観察画像中から、ピントが合った部分だけを抜き出して合成した画像である。深度合成画像を生成する深度合成処理は、Ｚ位置を移動させながら複数枚の静止画を撮影して、ピントが合っている領域を合成することで、画面全域にピントが合っている画像を合成する。この場合は、撮影するＺ方向の範囲や他の画像合成処理（ハイダイナミックレンジ処理や後述する超解像処理）との組み合わせよって、数枚から数百枚の撮影が必要となる。

また、合成画像生成手段８５で合成する他の合成画像として、三次元画像や画素ずらし機能による高解像度画像、超解像画像、自動計測処理も利用できる。三次元画像は、深度合成処理とＺステージの位置情報を組み合わせることで、ピントが合っている高さを推定した画像である（図２０）。具体的には、深度合成画像を作成する際に、Ｚ軸移動機構（Ｚステージ）の座標情報と記憶しておき、画素毎の高さ情報を用いて立体的な画像を生成する。さらに画素ずらし機能による高解像度画像は、図１２に示すようなベイヤー配列となる撮像素子において、１画素ずつずらして２行×２列の４つの位置を移動させて各位置で撮像した画像を組み合わせる。これにより、各画素においてＲＧＢのデータを取得することができ、ベイヤー補間をすることなく解像度の高い画像（図１３）が得られる。さらにサブピクセルの画素ずらしを併用することにより、画素間のデータを取得しつつＲＧＢ各データを取得して、さらに高解像の画像を得ることができる（図１４）。さらに超解像画像とは、画素ずらし撮影によって特定の波長成分だけを用いて輝度情報を得ることで、レンズ収差の影響や長波長成分の影響を無くした高解像度の画像を生成するものである。この超解像画像は、画素ずらし撮影等により複数枚の撮影を行い、確率分布モデルと点拡がり関数に基づき、レンズによるボケが発生する前の画像を推定する。さらに自動計測処理は、パターンマッチングなどにより画像の計測を自動で行い、寸法などの計測結果を画像上に合成して表示する処理である。
（ワンクリック計測機能）

ここで計測処理について説明する。計測処理は、計測処理の対象となる画像を表示させた状態で、指定した部位の計測を行う処理である。計測処理にはユーザが手動で行う手動計測処理と、予め設定された手動計測処理条件に従って自動的に行う自動計測処理がある。自動計測処理はさらに、ユーザが指定したタイミングで行うワンクリック計測と、画像が入力されたタイミングで自動的に実行する全自動計測処理がある。ここではまずワンクリック計測機能について、図２１の拡大画像観察プログラムのユーザインターフェース画面に基づいて説明する。この図は計測処理の設定を行うための、計測処理設定画面１６０のユーザインターフェース画面を示している。ワンクリック計測機能は、左側の表示領域１１１に表示された計測処理対象画像ＭＩ上で、計測したい部位をユーザがマウス等で指定（クリック）すると、計測処理が行われる機能である。図２１の画面では、まず計測処理に際して入力画像に対して実行されるパターンマッチングに用いる画像と、計測すべき項目を指定する。ここでは、パターンマッチングに用いる画像を計測テンプレート画像ＴＩとして指定する。図２１の例では、操作領域１１２において、計測テンプレート画像ＴＩを設定する。設定された計測テンプレート画像ＴＩは、操作領域１１２の計測テンプレート設定欄１６２に表示される。またこの計測テンプレート画像ＴＩに対して、計測したい部位や計測の種別を指定する。

さらに表示領域１１１に、計測処理を行う対象となる入力画像、すなわち計測処理対象画像ＭＩを表示させる。この状態で、操作領域１１２の中段に設けられたワンクリック自動計測設定欄１６４の「自動計測」ボタン１６５を押下して、計測処理対象画像ＭＩ上で計測したい部位の周辺でクリックすると、登録された計測テンプレート画像ＴＩとパターンマッチングが実行され、さらにこの計測テンプレート画像ＴＩに設定された計測項目と同じ計測が実行されて、その結果が計測結果表示１６６として表示領域１１１上に重ねて表示される。図２１の例では、入力画像に含まれるチップ抵抗の長さを計測項目として指定しており、表示領域１１１に表示されたチップ抵抗の２つに対して、計測処理が実行された様子が２つの計測結果表示１６６として示されている。

以上のワンクリック計測機能では、ユーザが計測処理対象画像上の領域を指定する必要があるが、入力された画像に対して自動的に所定の領域に対してパターンマッチングを行い、計測処理を実行した結果を表示部に表示させてもよい。このような全自動計測処理も、画像処理の一として含まれる。全自動計測処理においては、視野の移動が停止した段階で計測処理対象画像内をパターンマッチングして、マッチング度の高い領域を抽出し、自動で計測を行った結果を表示部に表示させる（詳細は後述）。

さらに画像合成手段８５ｂを用いて、高分解能のカラー画像を取得することもできる。短波長の照明光で観察を行えば、分解能の高い画像が得られる。この性質を利用して、青色の照明光を用い、かつ画素ずらしを行うことによって、高分解能の単色画像を得ることができる。ただしこの画像には青色の情報しかなく、フルカラー画像ではない。そこで、別途白色の照明光を用いたフルカラー画像を取得し、画像合成手段８５ｂで単色画像の輝度情報にフルカラー画像の色情報（色度、彩度）を重ね合わせることにより、分解能の高い合成カラー画像を得ることができる。すなわち、単板の撮像素子の内、波長の短い照明光を撮像可能な撮像素子、具体的には青色用の撮像素子を用いてモノクロの高解像度画像を撮像し、別途撮影したカラーの観察像と合成することで、高解像度のモノクロ観察像に色情報を加えて、カラーの高解像度観察像（輝度合成画像）を得ることができる。
（表示モード自動切替機能）

拡大観察装置において、このような合成画像を表示した後、さらに別の合成画像を撮像するために視野の移動や撮影条件の変更を行うことがある。このような場合、従来であれば一旦合成画像の静止画を表示する第一表示モードを中止して、表示部５２の表示を動画像（スルー画像又はライブ映像）を表示する第二表示モードに切り替えた上で、上述した視野探しや撮像条件の調整作業を行う必要がある。これは、第一表示モードのままでは、一枚の画像の生成に要する時間が長いため、表示部５２の表示内容が更新されるまでに時間がかかり、視野探しに不適なため、より短時間で描画の可能な、フレームレートの高い動画像に切り替える必要があるためである。そして、高フレームレートの第二表示モードで視野や撮像条件を調整して、撮像できる状態が整うと、今度は第一表示モードに切り替えて、再度合成画像の生成及び得られた合成画像の表示といった作業を行うこととなる。このように、従来は表示部における表示モードを静止画表示から動画表示に手動で切り替える作業が一々必要であり、作業が煩雑という問題があった。

そこで本実施の形態では、静止画像を表示させた状態で、視野の移動や撮影条件の変更といった、画像を変更するための何らかの操作（画像変更操作）を検出すると、これを契機として自動的に表示部５２に表示される画面を、ライブ映像に切り換えて表示する表示モード自動切替機能を備えている。これにより、視野が移動している間や、撮影条件が安定するまでの間は、ライブ映像を表示部５２で表示させ続けることができる。そして視野の静止や撮影条件の安定を契機として、再度自動的に合成処理を実行し、合成画像を表示する。すなわち、視野の静止や撮影条件の決定を検出すると、表示モードを第一表示モードに自動的に切り替える。このような構成によって、ユーザは一々表示部の表示モードを静止画から動画に切り替える手間を省くことができ、使い勝手のよい操作環境が実現される。

例えば図２２Ａのような観察画像に対して、深度合成を実行した図２２Ｂのような深度合成画像が得られている状態を考える。このとき、表示部５２には第一表示モードの静止画が表示されている。この状態から、次の視野で深度合成画像を得るために、ユーザが視野移動手段（例えばＸＹ軸移動機構やＺ軸移動機構等）を操作して視野を移動させると、図２２Ｃに示すように表示部５２の表示は自動的に第二表示モードのライブ映像に切り替わる。そしてユーザが所望の視野を決定すると、自動的に第一表示モードに切り替わり、深度合成処理が実行されて図２２Ｄに示すような新たな深度合成画像が得られる。
（表示モード切替手段８９ｅ）

ここで、表示部５２における第二表示モードと第一表示モードとの自動切り替えは、表示モード切替手段８９ｅが行う。例えば第一表示モードから第二表示モードへの切り替えは、画像変更手段で画像変更操作が行われたことを契機として行われる。ここで画像変更手段は、表示部５２において第一表示モードで画像処理された第一表示モード画像を表示させた状態で、撮像手段で取得される画像に変更が加えられる画像変更操作を受け付けるための手段である。例えば、視野や表示倍率、相対高さ等を移動させる視野移動手段の操作を検出した段階で、あるいは画像の明るさやシャッタースピード等、画像調整手段の操作を検出した段階で、表示モード切替手段８９ｅが第一表示モードから第二表示モードへの切り替えを行う。

逆に、第二表示モードから第一表示モードへの切り替えは、画像変更手段による画像変更操作が終了した時点で行う。終了の判定は、例えば、視野移動手段による視野の移動が終了した後、直ちに、又は所定の時間経過後（例えば数秒程度）に行うことができる。

このように、撮像手段で取得される画像に対し、これら視野移動手段や画像調整手段を含めた画像変更手段で何らかの変更が加えられる画像変更操作を検出することで、表示モード切替手段８９ｅが第一表示モードから第二表示モードへの切り替えを自動的に実行する。

さらに、第二表示モードへの切り替えを、視野を移動させる間のみならず、撮影条件を変化させている間にも、第二表示モード画像を表示させてもよい。例えば、表示部５２に表示される画像の明るさを、ユーザが手動で適切な明るさに調整している間は、第二表示モード、すなわちライブ映像として、フレームレートを上げて画像を更新することにより、リアルタイムで調整された値に応じた画像に切り替わるため、調整が行い易くなる。そして調整作業の終了後には合成処理等の画像処理が自動的に実行されることによって、ストレスなく使用できる。

ここで撮影条件には、例えば露光時間（明るさ）、ゲイン（明るさ）、照明（光量と光の当て方）等の調整、あるいはエッジ強調やガンマ補正、画像フィルタ処理の適用といった各種画像処理が挙げられる。これらの設定項目の調整作業中や画像処理の実行中は、第二表示モードとしておき、ユーザの調整が終了した段階、すなわち入力が停止したとき、あるいは画像処理コマンドの実行が完了した段階で、これらの設定や画像処理を適用させた合成処理を画像処理部で実行する。
（表示モード切り替え動作）

表示モード切替手段８９ｅによる表示モードの切り替え動作の手順を、図２３のフローチャートに基づいて説明する。まずステップＳ２３０１において、カメラ部１０に装着されている顕微鏡レンズ部２０の情報を取得する。レンズの情報は、レンズ種類、倍率等が挙げられる。この情報の取得は、自動認識またはユーザからの入力のいずれかで行える。自動認識の場合は、顕微鏡レンズ部２０側で保持しているレンズ識別情報を、本体部がカメラ部１０を通じて読み取ることで取得できる。ユーザ入力の場合は、ユーザが装着しているカメラ部１０の種別、あるいは属性などをコンソールあるいは拡大画像観察プログラム等から入力する。

次にステップＳ２３０２において、合成処理を実行すると共に、表示部５２の表示モードを第一表示モードとする。ここでは、合成処理として合成画像の生成と表示を実行している。具体的には、ステップＳ２３０１で得た顕微鏡レンズ部２０の情報に基づいて、制御手段がレンズの移動量や移動速度を決定し、レンズを動作させてピント位置を変更しながら画像を複数枚取得して、画像合成手段８５ｂが合成処理を実行する。また表示部５２の表示モードは表示モード切替手段８９ｅによって自動的に第一表示モードとなり、静止画である合成画像を第一表示モード画像として表示させる。

さらにステップＳ２３０３に進み、画像を変更させる何らかの画像変更操作があったかどうかを判定する。ここでは、画像変更手段、例えば、ＸＹ軸移動機構やＺ軸移動機構等の視野移動手段による視野の移動操作があるか否かを判定する。画像変更操作が無い場合は、ステップＳ２３０３に戻って処理を繰り返す。一方、画像変更操作があった場合は、ステップＳ２３０４に進み、入力された画像変更操作を実行すると共に、表示モード切替手段８９ｅが表示モードを第一表示モードから第二表示モードに切り替える。例えば、載置部の移動である場合は、静止画表示からライブ映像に切り替えられ、移動する視野をユーザは動画像で確認でき、画像の変化をリアルタイムで追うことができる。さらにステップＳ２３０５において、画像変更操作の実行が完了したか否かを判定する。ここでは、載置部の移動が完了したかどうかを判定し、未だの場合はステップＳ２３０５に戻って完了待ち状態となる。そして画像変更操作の実行が完了すると、ステップＳ２３０１に戻って上記のループを繰り返す。なお、顕微鏡レンズ部の変更が無い場合は、ステップＳ２３０１を飛ばしてステップＳ２３０２に進んでもよい。このようにして、表示モードは画像変更操作を検出すると第二表示モードに、画像変更操作が終了すると第一表示モードに、自動的に切り替わることで、ユーザは表示部５２の表示内容を切り替えることなく、適切な表示内容にて操作や観察を行うことが可能となり、使い勝手が向上する。

なお、ステップＳ２３０２の合成処理に際しては、Ｚ方向への移動は上ステージ昇降器１６で顕微鏡レンズ部２０を移動させることに限られず、下ステージ昇降器３５でもって載置部を移動させてもよい。また、顕微鏡レンズ部２０が備えるピント調整用のピントリングを変化させて焦点位置を変更することで、複数枚の画像を取得してもよい。また顕微鏡レンズ部２０の移動量や移動速度に関しては、例えばレンズの倍率が低い場合は移動量を大きく（合成範囲を広く）とり、移動速度を速くすることが行われる。また被写界深度が浅い場合は、移動量を小さくし、移動速度を遅くすることで、各画像において焦点の合う部位がＺ方向にうまく連なるよう、載置部を移動させることが可能となる。
（画像変更操作の検出）

第一表示モードから、ライブ映像等の第二表示モードに切り替えるための画像変更操作の検出には、例えばＺ軸移動機構やＸＹ軸移動機構等の視野移動手段が電動式の場合は、これらの移動命令を制御部が発行するタイミングで、表示部５２の表示モードを切り替える。また、第二表示モードから第一表示モードへの切り替えは、例えば上述した視野移動手段の停止命令の発行や、移動完了通知を表示モード切替手段８９ｅで検出することで、自動的に深度合成等の画像処理を実行すると共に、表示モードの切り替えを行う。あるいは、載置部の移動を検出するセンサを載置部に設け、センサが移動を検知している間のみ、第二表示モードとすることもできる。センサは、ＸＹＺ方向やθ方向の移動を検出することで、載置部がどの方向に移動しても表示モードの切り替えを実行できる。

さらに、このような画像変更操作の開始、終了の判定に、画像の変化を用いることもできる。例えば、画像処理部が画像処理でもって画像の変化度合いを調べ、画像の変化度合いが一定値を超えた場合には移動されたとみなす。逆に、変化度合いが一定値より小さくなったら停止と判定する。画像の変化度合いを判定するパラメータとしては、例えばフレーム間での輝度変化量や特徴点の移動量を用いる。この方法であれば、画像変更手段に関する部材が電動である必要は無く、手動でも対応できる。例えばＸＹ軸移動機構であるＸＹステージにモータやセンサを組み込む必要がないため、製造コストを削減して構成を簡素化できる利点が得られる。

また視野移動操作も、上述したＸＹ軸移動機構によるＸＹ方向への視野の移動のみならず、回転移動機構によるθ方向への回転移動、Ｚ軸移動機構によるＺ方向への移動やフォーカス位置の調整、視野の拡大縮小や倍率の調整、例えば対物レンズの切り替え等も含む。また、ヘッド傾斜機構４４によるヘッド部４の傾斜も、このような視野移動操作に含まれる。例えば図１０に示す拡大観察装置において、角度センサを設けてヘッド傾斜機構４４による傾斜操作を検出すると、傾斜動作中は第二表示モード（ライブ画像）、傾斜完了後は第一表示モード（静止画）の表示に切り替えると共に、合成画像の生成処理を実行できる。
（オートフォーカス処理）

画像のオートフォーカス処理では、Ｚ位置を移動しながら焦点のあった位置の静止画を撮影する。この場合は、高さ方向に探索する範囲分の撮影処理が必要となる。通常は均等なピッチで数十枚の画像を撮影して合成する。オートフォーカス処理は、専用の実行ボタンを設けてユーザが手動で実行させる構成の他、自動で実行させてもよい。例えば、視野の移動が停止した状態で自動的にオートフォーカスを実行させる。視野の移動が停止したかどうかは、視野移動手段からの操作信号の入力がなくなったとき、あるいは画像の変化を検出して、変化量が所定値以下となったとき等とできる。例えばライブ映像で画像が一定時間（例えば数秒）変化しない場合に、視野の移動が停止したと判定して、オートフォーカスを実行し、表示モード切替手段が表示モードを第二表示モードから第一表示モードに切り替えて、ピントの合った静止画（オートフォーカス画像）を表示できる。さらにこの状態で視野移動手段が操作されると、第一表示モードから第二表示モードに切り替えられて、表示部の表示がライブ映像となり、視野探しが容易なように画像がほぼリアルタイムで更新される。そして再度停止されると、自動でオートフォーカスを実行してオートフォーカス画像が表示される。これにより、ユーザが視野移動を停止させた状態では常にピントの合った静止画が表示されるので、詳細を確認し易くなり、また視野の移動時にはユーザが視野移動操作を実行するのみで、自動的に表示部の表示モードが静止画から動画に切り替えられ、視野の変化する様子を確認でき、極めて使い勝手のよい観察環境が実現される。

また、合成画像生成手段８５で合成する合成画像は、上述の通り深度合成画像の他、ＨＤＲ画像や高さ情報を有する三次元画像、画素ずらし機能による高解像度画像、超解像画像等とできる。このような合成画像を生成する画像合成処理に際しては、複数枚の画像を撮像して、これらを処理する必要がある。このため合成画像の生成には一定時間を要するため、リアルタイムでの表示が困難となり、一般的には合成画像は静止画で表示するか、あるいはフレームレートを極端に遅くして表示することとなる。しかしながら、このようなフレームレートの遅い第一表示モードで、観察の目的となる部位を探すのは効率が悪い。そこで、視野探し時には、すなわち画像変更操作が行われている際には、軽負荷で表示が可能であり、よってフレームレートも向上できる第二表示モードでもって表示させ、視野の決定後に上述の通り第一表示モードに切り替えるよう構成する。

ただ、本発明は第二表示モードを必ずしもライブ映像に限定するものでなく、例えば合成処理を簡素化して、通常の合成処理よりも短時間で生成可能な簡易合成画像を作成し、ある程度のフレームレートでもって更新可能とした簡易合成画像の更新表示としてもよい。例えば視野の移動中、または撮影条件変更中に、第二表示モードに切り替えるものの、ここではライブ映像とせずに、第二表示モードで画像合成処理を行いつつ、ただしこの合成処理自体を簡易化して簡易合成画像を合成することでフレームレートを通常の合成画像よりも高速化でき、目的部位への移動を容易にすることができる。このような簡易合成画像を表示させる第一表示モードで実行される簡易画像処理としては、撮影枚数を減らした画像処理が利用できる。例えば簡易深度合成画像の場合は、元となる各画像間の撮影ピッチを広く設定して、一枚の簡易深度合成画像の合成に必要な撮影枚数を低減する。またＨＤＲ画像の場合は、元画像間の露光時間の差を大きくとることで、同じく撮影枚数を減らすことができる。このように画像合成に必要な画像の撮影枚数を減らすことにより、フレームレートの低下を抑制して、目的部位を探し易くすることができる。この方法によって撮影枚数を減らすことで、簡易合成画像の品質は若干劣化するものの、目的部位を探す用途には十分利用でき、寧ろ簡易合成画像の画質よりも、フレームレートの向上を優先した方が効率的な作業が行える。

同様に、第一表示モードは必ずしも静止画に限定するものでなく、遅いフレームレートとした合成画像とすることも可能である。特に、頻繁に視野を変更しないような観察用途や残像の影響が大きくとも問題にならないような用途においては、このような観察も利用できる。このように、本発明は第一表示モードを画像処理した静止画に、第二表示モードをライブ映像に限定するものでなく、第二表示モードのフレームレートを第一表示モードのフレームレートよりも速くすれば足り、画像の変更操作と画像処理とのバランスに応じて各表示モードにおけるフレームレートや処理の内容を、観察用途などに応じて適宜調整することができる。

また以上の例では、画像合成手段で合成画像を生成する画像処理を第一表示モードとして説明したが、第一表示モードは合成画像の生成に限らず、他の画像処理としてもよい。例えばオートフォーカスやエッジ強調、得られた画像データの保存処理や画像に対する全自動計測処理等が挙げられる。
（全自動計測処理）

全自動計測処理は、例えば予め撮影画像に対して計測位置を指定し、計測位置を含む部分画像と、計測位置の部分画像に対する相対位置を保存したティーチングデータを作成し、新規撮像画像からティーチングデータと一致する部位の姿勢／位置を特定し、ティーチングデータに記録されている計測を実施する。例えば図２４Ａに示すような計測位置を含む部分画像をティーチングデータで予め取得する際は、第一表示モードとする。そして視野移動中は第二表示モード（図２４Ｂのライブ映像）に切り替え、移動後にパターンマッチングを行い、計測処理を自動的に行う際は図２４Ｃに示すように第二表示モードに切り替える。このように、視野の移動中は自動計測処理を止め、視野の決定後に自動計測を行うことで、ユーザは毎回自動計測のＯＮ／ＯＦＦ操作をすることなく、視野移動の操作のみで計測が行えるため、操作性に優れた環境が実現される。なおこのような計測処理は、入力された画像に対して自動で行う他、ユーザが指定した位置やタイミングで実行させることもできることは、上述した通りである。

このように本実施の形態に係る拡大観察装置によれば、一度焦点深度の深い合成画像を生成して表示した後、視野の移動が検出されたことを契機として、表示部５２の表示内容を自動的にライブ映像に切り換えて表示する。これにより、ライブ映像を見ながらユーザは目的の部位を探し、視野を確定する。その後、視野の移動完了を検知したことを契機に自動的に深度合成処理を実行し、深度合成画像を表示する。これにより、ユーザはフレームレートの速いライブ映像を見て目的の部位を探すことができ、目的の部位を確定した後は、自動的に深度の深い画像を観察することができるため、合成モードをＯＮ／ＯＦＦしたりする手間が省け効率的に観察できる。
（画像変更操作検出機能）

また、視野移動操作等の画像変更操作の検出は、表示モード切替手段で行っているが、他の部材で行わせることも可能である。例えば専用の画像変更操作検出手段を設けてもよい。あるいは汎用のＩＣ等で構成された制御手段に画像変更操作の検出を行わせることもできる。また、画像変更操作の検出機能をＯＮ／ＯＦＦさせる構成としてもよい。例えば画像変更操作検出機能をＯＮさせている間は、表示モード切替手段による表示モードの自動切り替えが有効となり、画像変更操作検出機能をＯＦＦさせると、従来のようにユーザが手動で表示部の表示内容を切り替える手動切替モードとなる。

なお、表示モード切替手段８９ｅは上述の通り自動で表示部の表示内容を第一表示モード画像と第二表示モード画像とで切り替える手段であるが、これとは別に、ユーザが手動で表示部の表示内容を切り替える手段を設けることも可能であることは、いうまでもない。

ここで、第二表示モードから第一表示モードへの切り替えと、第一表示モード画像を得るための画像処理は、必ずしも同時に行う必要はない。特に、視野移動操作等の画像変更操作が行われたことを検出して、第一表示モード画像を生成するための画像処理が開始されてから、実際に第一表示モード画像を実際に生成して、表示部の表示内容をこの画像に置き換えるまでには、一定の時間がかかることがある。例えば、合成画像を得るには元となる画像を複数枚を撮像した上で画像を合成する処理が必要となるため、数秒〜数十秒の時間を要する。よって、実際に表示部の表示内容を更新するのは、第二表示モード画像が生成されたタイミングとなる。いいかえると、視野移動操作等の画像変更操作が検出されたタイミングではなく、これよりも遅いタイミングとなる。

なお、本明細書において表示モードの切り替えとは、基本的には表示部の表示内容が第一表示モード画像、第二表示モード画像に切り替わるタイミングを指しているが、上述の通り、実際には表示部の表示内容は未だ切り替わっていなくとも、拡大観察装置の内部においては必要な画像処理が行われている。よって、画像処理部の処理が第一表示モード画像の生成を開始した時点で、表示モードが切り替わっていると捉えることもできる。例えば、画像処理の内容によっては、画像処理の開始とほぼ同時に第二表示モード画像を生成できるものもあるので、この場合は画像処理部の画像処理開始と表示部の表示内容の切り替えとを事実上同視しても差し支えない。
（処理の中断）

一方で、ユーザが視野移動操作等の画像変更操作を行ってから、第一表示モード画像が表示されるまでの待ち時間が発生することから、この待ち時間の間に、ユーザが再度視野の移動や、倍率の変更、傾斜観察への切り替えといった操作を行うことが考えられる。しかしながらこの場合に、一旦指定された画像処理が終了するまでは表示部の表示が第二表示モードに切り替わらないとすると、その間は表示の更新が行われないため、ユーザは観察画像を確認することができず、不便を強いられる。

一方、視野を移動させる毎に合成画像を連続的に撮影して、合成画像のままで表示させながら視野探しを行うことも考えられる。しかしながら合成画像の生成には、一般的には複数枚の静止画像の撮影が必要であるため、合成に時間がかかり、表示に遅延が生じる。また撮影中の画像が静止していない状態で強引に合成画像を生成すると、得られる画像が破綻した表示になることがある。例えば、１０枚以上の画像から合成画像を作成する、画素ずらしによる３ＣＣＤ撮像とハイダイナミックレンジ処理を組み合わせた合成画像の撮影を、連続的に行うライブ映像を表示させた例において、観察対象物を静止させて撮像した合成画像ＣＩ１を図２５に、ＸＹステージを移動させながら撮像した合成画像ＣＩ２を図２６に、それぞれ示す。このように、移動させながらの合成画像表示では、正確な画像の構築が困難である。また、上述の通り表示の遅延も無視できず、位置決め作業を行うには著しく不便である。

そこで本実施の形態においては、第一表示モードで画像処理が行われている最中であっても、新たに視野移動操作等の画像変更操作が入力されると、表示モード切替手段は、画像処理を中断して、第二表示モード画像の表示を行うこともできる。これにより、ユーザは余計な待ち時間を生じること無く、速やかに所望の画像を確認することが可能となって、使い勝手のよい観察環境が実現される。
（中断の処理の手順）

このような中断の処理を含めた表示モードの切り替え手順を、図２７のフローチャートに基づいて説明する。まず観察を開始した状態において、ステップＳ２７０１において、第二表示モード画像を表示させているものとする。この状態でステップＳ２７０２において、視野移動操作等の画像変更操作が検出されたかどうかを判定する。検出されない場合はステップＳ２７０２に戻って処理を繰り返す。一方、視野の移動等の画像変更操作が検出されると、ステップＳ２７０３に進み、画像処理手段で画像処理を開始する。例えば画像処理が画像合成処理の場合は、合成画像の生成に必要な画像の撮像を行う。その一方でステップＳ２７０４において、新たな画像変更操作が検出されたかどうかを判定する。

画像変更操作が検出されると、ステップＳ２７０４−１にジャンプして現在の画像処理を中止すると共に、ステップＳ２７０９に進み、第二表示モード画像を表示させる。例えば、合成画像の生成中にユーザがＸＹステージを動かすと、直ちに表示部がライブ映像に切り替わって、移動中の画像を確認することが可能となる。

一方で画像変更操作が検出されない場合は、ステップＳ２７０５に進み、画像処理を継続する。例えば画像合成の場合は、元となる画像の撮影を継続する。そしてステップＳ２７０６において、所期の画像処理が終了したか否かを判定する。画像合成の場合は、画像合成に必要なすべての画像の撮影が終了したか否かを判定し、未だの場合はステップＳ２７０４に戻って上述の処理を繰り返す。すなわち、新たな画像変更操作が検出されるかどうかを確認しつつ、画像の撮像を継続する。このようにして必要な画像がすべて取得され、さらに合成画像の生成も終了するなど、所期の画像処理が終了すると、ステップＳ２７０７に進み、表示モードを第一表示モードに切り替えて、第一表示モード画像を表示させる。次にステップＳ２７０８において、新たな画像変更操作が検出されたかどうかを判定し、検出されない場合はステップＳ２７０８に戻って第一表示モード画像の表示を継続する。検出された場合は、ステップＳ２７０９に進み、第二表示モードに切り替えて、第二表示モード画像を表示させる。さらにステップＳ２７１０において、画像変更操作が終了したか否かを検出し、終了していない場合はステップＳ２７０９に戻って処理を繰り返し、一方終了が検出された場合は、ステップＳ２７０３に戻って画像処理を開始する。このようにして同様の操作を繰り返し、表示モードを適宜切り替えつつ、画像処理の途中で新たな画像変更操作があった場合は画像処理を中断して、第二表示モード画像に切り替えることができるので、ユーザに画像が切り替わるまでの待ち時間を強いること無く応答性が高められる。

これにより、例えば載置部を静止しているときは合成画像を表示させ、載置部の動きを検知すると、この動きに適したライブ映像表示に切り替え、再度静止したら再び合成画像の生成を開始し、必要な画像を撮影して合成画像の表示に切り替えることができる。このように表示部の表示方法がユーザの操作に応じて適宜切り替わることで、ユーザは載置部を動かせる際には動きを把握し易くなり、観察したい合成画像を撮影する位置決め作業を容易に行える。上述の通り、合成画像を撮影して静止画を表示させたり、あるいは視野や位置決めのため動画像を表示させるには、従来はユーザが入力手段等で表示部の表示を切り替える操作を手動で行う必要があった。例えば高倍率での観察では視野の狭い状態となるため、位置決めを行うためには載置部を移動させては画像合成を実行するという操作を繰り返すこととなる。例えば第二表示モードにおけるライブ映像ＬＩを図２８に、第一表示モードにおける合成画像ＣＩを図２９に、それぞれ示す。図２８に示すように、ライブ映像ＬＩにおいては、画面全体にピントを合わせることが困難で、詳細を確認することができず、広い範囲でピントの合った画像を確認するには、図２９に示すような合成画像ＣＩに頼ることとなる。しかしながら合成画像は静止画像であるため、このような位置決めや視野探しにおいては、視野を移動させる度に表示部の表示を動画像（図２８）と静止画像（図２９）との間で切り替える操作を繰り返すことが必要となり、多大な手間が掛かっていた。これに対して本実施の形態では、画像を変更させる動作をトリガとして、表示部の表示モードを静止画像から動画像に変更し、さらに画像変更操作の終了を認識することをトリガとして静止画に戻すことで、このような切り替えの手間を省力化してシームレスな表示モードの切り替えが実現される。この結果、表示モードが適切に切り替わることでユーザは観察対象物が動いている時には動きを把握しやすくなり、観察方法として用いたい合成画像を撮影する位置決めが容易になり、極めて使い勝手のよい観察環境が実現される。
（非同期合成機能）

本実施の形態では、上ステージ昇降器１６を電動式として、制御部で上下動を制御可能としている。例えば深度合成画像を生成する際は、制御部からヘッド側制御部１３を介して上ステージ昇降器１６を動作させて、Ｚ軸方向に顕微鏡レンズ部２０の位置を変化させて画像を撮像する。これを受けて異なる高さ毎に撮像された画像を画像合成手段８５ｂで深度合成画像に合成する。従来、合成画像の生成に際しては、一旦Ｚ軸方向への移動を行い、画像を撮影する作業を繰り返し、すべての画像が得られた後、画像合成手段８５ｂで深度合成画像に合成するという直列的な制御が行われていた。しかしながらこの方式では、撮像に要する時間と処理に要する時間が加算的にかかるため、深度合成画像を得るまでの時間が長くなる。

そこで本実施の形態では、撮像処理と画像合成処理とを非同期で行うようにして、両者を同時並行で行うことでトータルの処理時間の短縮化を図っている。特に近年のハードウェア性能の向上により、上ステージ昇降器１６を高速なＺ軸移動が可能な電動Ｚ上ステージとし、さらに大量の画像データを保持可能な大容量バッファを備えることで、撮像時間の短縮化が図られ、画像の取得処理が終わるまで画像処理を待つ必要がなくなり、各処理の高速化と相まって全体の処理時間を大きく短縮することが可能となる。

また、合成画像の生成に要する時間が短くなると、今度はユーザによる画像合成処理を行うための撮像条件の設定に要する時間が問題となってくる。すなわち、合成画像の生成には図３６、図３７に示すように、画像を撮像する高さ範囲を指定する必要があった。このような方法では、高さ範囲の上限と下限をユーザが適切に条件設定した上で合成処理を実行することとなり、処理完了までに掛かる時間の内、ユーザがこのような撮像条件設定を行っている時間が大半となる。実際の合成撮影処理は設定に要する時間に比べて極めて短時間（数秒）で済むことから、結果として高速な合成処理能力が生かせないという事態を招く。

そこで本実施の形態では、予めユーザが高さ範囲の上下限を設定するのではなく、現在装着されている顕微鏡レンズ部２０のレンズ識別情報に基づいて高さ範囲の既定値を設定し、このデフォルトの規定値でもって一旦画像合成処理を行い、合成画像を表示させた上で、得られた合成画像が観察目的に十分でない場合は、高さ範囲の微調整を行う方法を採用している。この方法であれば、多くの場合でユーザが何ら設定しなくても画像合成を高速に完了して所望の合成画像を取得することができるようになる。また、ピントの合っていない画素が見られるなど、高さ範囲の設定に過不足がある場合であっても、既に取得した合成画像の結果を確認しながら高さ範囲の調整を行うことができるため、何も手掛かりがない状態で設定する場合と比べて容易に調整を行うことが可能となり、初心者ユーザでも簡単に扱えるという利点が得られる（図２９）。

なお、ユーザが高さ範囲の設定に習熟している場合などは、高さ範囲の既定値を利用することなく従来通りユーザが直接高さ範囲の上下限を設定することも可能であることはいうまでもない（図２８）。
（高速合成撮影処理）

画像合成手段８５ｂによる画像合成処理と非同期で、高さの異なる画像の撮像をカメラ部１０で行うため、電動式の上ステージ昇降器１６で顕微鏡レンズ部２０を移動させながら、カメラ部１０で撮像を行う。カメラ部１０はシャッタースピードを高速にして、ぼけやぶれの少ない画像を撮像する。また上ステージ昇降器１６は、Ｚ軸方向に一定の速度で移動可能とすることが望ましい。従来の撮影方法では、図３８に示すように、高さ範囲を等間隔に分割した撮影位置毎に画像を撮像するために、顕微鏡レンズ部を停止させて撮像していた。上ステージ昇降器で顕微鏡レンズ部を移動させるには、停止状態から速度を一定速度に増すまでの加速期間と、一定速度から停止させるまでの減速期間が必要となるため、顕微鏡レンズ部を停止状態から移動させる度、及び移動状態から停止させる度に余分な時間がかかる上、上ステージ昇降器１６の制御も複雑となる。

このような動作に比べ、本実施の形態では図３０に示すように、顕微鏡レンズ部２０を一定速度で移動させながら各撮影位置で撮像できるため、顕微鏡レンズ部２０の加速期間と減速期間は最初と最後のみで足りることから、全体の移動に要する時間が短くなり、また移動のための制御も簡素化できる。

なお図３０の例では、高さ範囲を下限位置から上限位置に向かって顕微鏡レンズ部２０を移動させている。顕微鏡レンズ部２０を観察対象物から遠ざける方向に移動させることで、顕微鏡レンズ部２０の先端が観察対象物に接触する虞を低減できるからである。ただ、逆に上から下に向かってレンズを移動させる方法とすることも可能である。

このように、撮影の度毎に顕微鏡レンズ部２０を停止させず、Ｚ軸方向に移動させながら撮影を行うように、上ステージ昇降器１６は顕微鏡レンズ部２０をＺ軸方向に等速で移動させながら一定間隔で撮影する。すべての撮影を等速度で行うと固定フレームレートカメラで等間隔に撮影を実行することができるが、高さ範囲の上限と下限ではそれぞれ加速と減速を行う必要があることから、この部分ではフレーレートを調整する（下げる）必要がある。
（上限位置）

そこで、図３１の変形例に示すように、顕微鏡レンズ部２０を減速させる側の限界位置、この例では高さ範囲の上限においては、顕微鏡レンズ部２０を敢えて停止させずに、上限を超えて等速のまま移動させることで、上限においても他の撮影位置と同じ条件すなわちフレームレートで画像を撮像することが可能となる。特に、撮像自体は上限の撮影位置で終了するため、顕微鏡レンズ部２０の移動自体は処理の遅延に支障とならない。顕微鏡レンズ部２０は上限位置よりも上に移動した後、減速して停止させる。
（追加画像）

さらに、高さ範囲の上限を超えた範囲においても、未だ撮像を継続することもできる。例えば図３２の変形例に示すように、高さ範囲の上限を超えた範囲にも追加の撮影位置を設定して、各追加撮影位置で追加画像を撮像する。そしてこれら得られた追加画像も、合成画像の生成に利用することができる。このとき、追加画像は無条件に合成画像に組み入れるのでなく、所定の基準値を超える品質を達成している画像についてだけ、画像合成に組み入れるように判別する。このようにすることで、画像合成に有意な追加画像が得られている場合にのみ、この追加画像を利用してより高精細な画像合成が可能となる。追加画像の採用可否を判定する基準は、例えば追加画像に含まれる画素の内、焦点の合った画素の数が所定の閾値を超えているか否かとする。例えば高さ範囲の上限の設定が低い場合には、追加画像でもって合焦位置を増やした合成画像が得られる。一方で追加画像が有意なデータを有していない場合、例えばピントの合った領域が含まれていないような場合は、これを画像合成に利用しないこととして、合成画像の処理に悪影響を与えないようにする。このようにして、顕微鏡レンズ部２０を設定された高さ範囲を超えて移動させることを利用して、画像も余分に撮像して合成画像の一層の品質向上に寄与できる。特に、一般的には画像処理の方が撮像処理よりも時間がかかるため、その差を利用して追加画像を取得し、さらに追加画像の利用可否の判定を行わせることにより、効率よく合成画像の品質向上を図ることができる。このような追加画像取得機能の詳細については、後述する。

なお図３２の例では、高さ範囲において設定した等間隔の撮影位置と同じピッチで追加画像の撮影位置も設定しているが、追加画像については、これと異なるピッチ（例えば狭いピッチ）に設定することもできる。これにより、顕微鏡レンズ部２０の余分な移動範囲を抑制しつつも、より多くの追加画像を取得して合成画像の品質向上に寄与できる。
（下限位置での撮影）

一方、下限位置での撮影においては、他の撮影位置と同じ条件で撮影するには、図３１において破線で示すように、一旦顕微鏡レンズ部２０を下限の撮影位置、すなわち移動開始位置よりも下に移動させ、助走区間を設けた上で移動を開始して、下限位置においては等速移動状態となるようにする。ただ、この方法では、一旦顕微鏡レンズ部２０を移動方向とは逆方向に振る必要があり、このための逆方向への移動、減速と停止、逆方向への移動開始のための時間が余分にかかることとなる。そこで、顕微鏡レンズ部２０の移動開始位置側（この例では下限位置）においては、このような移動を採用せずに、開始位置からの移動と撮像を同時に開始させることもできる。この方法であれば、撮像時間のロスを回避して処理速度の高速化を図ることができる。ただし、顕微鏡レンズ部２０の加速が完了するフレームまでは等間隔での撮影とはならないため、この部分を補正を適宜行うことが望ましい。

以上のように顕微鏡レンズ部２０を等速で移動させ撮影を行いつつ、一方では画像合成処理を非同期で行うには、大容量のバッファとなる高速な記憶装置が必要となる。ただ、近年のハードウェア性能の向上により、妥当なコストで実現可能となっている。バッファに先に取り貯めた画像を順番に処理していくことで、従来のようなＺ軸方向への移動完了待ちが不要となり、制御部の処理能力を合成処理にフルに割り当てることができる。また、カメラ部１０に高速な撮像センサを利用することによって、撮像フレームレートを上げた撮影とすることも高速化に寄与する。
（合成画像の高速撮影処理の手順）

以上のような合成画像の高速撮影処理の手順を、図３３のフローチャートに基づいて説明する。合成画像の撮像処理を開始すると、まずステップＳ３３０１において、Ｚ軸方向の開始位置に顕微鏡レンズ部２０を移動させるよう、移動を開始する。次にステップＳ３３０２のＺ軸方向の移動完了待ちを経て、ステップＳ３３０３において、開始位置への移動が完了したか否かを判定する。未だの場合はステップＳ３３０２に戻って処理を繰り返し、移動が完了した場合はステップＳ３３０４に進み、カメラ部１０の垂直同期待ち状態、すなわちカメラ部１０の撮像開始タイミング（垂直同期）を待っている状態となる。ここでは、顕微鏡レンズ部２０を移動させながらカメラ部１０で等間隔の撮影位置で撮像できるよう、カメラ部１０の撮像動作と顕微鏡レンズ部２０の移動動作との連携を確認する。

次に、非同期で動作させる処理として、顕微鏡レンズ部２０を移動させる処理（ステップＳ３３０５−１〜ステップＳ３３０７−１）、カメラ部１０で撮像を行う処理（ステップＳ３３０５−２〜ステップＳ３３０７−２）、及び得られた画像の合成を行う処理（ステップＳ３３０５−３〜ステップＳ３３０７−３）の３つの処理を並列に行う。
（顕微鏡レンズ部２０の移動処理）

まず顕微鏡レンズ部２０の移動処理においては、ステップＳ３３０５−１において、顕微鏡レンズ部２０をＺ軸方向の終了位置に向かって移動を開始させ、ステップＳ３３０６−１の移動動作を経て、ステップＳ３３０７−１において、Ｚ軸方向への移動が完了したかを判定する。未だの場合はステップＳ３３０６−１に戻って処理を繰り返し、完了した場合はステップＳ３３０８に進む。
（カメラ部１０の撮像処理）

一方、カメラ部１０の撮像処理においては、まずステップＳ３３０５−２において、カメラ部１０の撮像を行い、ステップＳ３３０６−２で撮像したデータをバッファに書き込む。そしてステップＳ３３０７−２において、撮像した画像が最終フレーム位置を超えたか否かを判定し、未だの場合はステップＳ３３０６−２に戻って処理を繰り返し、超えた場合はステップＳ３３０８に進む。いいかえると、撮像された画像が最後の画像の場合、又は高さ範囲の上限を超えており、かつ追加画像として採用すべき品質を達成していない場合に、処理を終了することとなる。
（画像合成手段８５ｂの画像合成処理）

最後に画像の合成を行う処理においては、ステップＳ３３０５−３において、バッファから画像を読み込む。次にステップＳ３３０６−３において、画像合成処理を実行する。最後にステップＳ３３０７−３において、画像が終了フレームに至ったか否かを判定し、未だの場合はステップＳ３３０６−３に戻って合成処理を繰り返し、終了した場合はステップＳ３３０８に進む。

以上のようにして顕微鏡レンズ部２０の移動処理、カメラ部１０の撮像処理、画像合成手段８５ｂの画像合成処理が終了すると、ステップＳ３３０８において、顕微鏡レンズ部２０のＺ軸方向における終了位置（後述）への移動を開始し、ステップＳ３３０９の終了位置への移動完了待ち状態を経て、ステップＳ３３０９において、終了位置への移動が完了したか否かを判定する。終了位置への移動が完了した場合は高速画像合成処理を終了し、未だの場合はステップＳ３３０９に戻って処理を繰り返す。このようにして、高速画像合成処理を非同期で実行することができる。

なお、以上の例では顕微鏡レンズ部２０の移動処理、カメラ部１０の撮像処理、画像合成手段による画像合成処理は非同期で行う例を説明した。ただ、本発明はこの例に限られず、顕微鏡レンズ部の移動処理とカメラ部の撮像処理とを同期させて行うこともできる。
（画像撮影後の顕微鏡レンズ部２０の終了位置）

また、顕微鏡レンズ部２０を移動させる合成画像撮像終了位置とは、例えば合成開始時のＺ軸方向の位置とする。これにより、画像合成処理の終了後に表示部に合成画像を表示させた場合で、動画表示に切り替えた際には、画像合成処理の開始前の画像とほぼ同じ画像を表示部に表示させて、画像を復帰させることで違和感なく視野探しなどの作業を継続できる。

あるいは、終了位置を画像合成処理の終了位置のままとしてもよい。この場合は合成処理の終了時における顕微鏡レンズ部２０を移動させないため、余分な移動を生じさせずにＺ軸方向への移動に要する時間を最小限に抑えることができる。

または、画像合成処理中に撮影した画像の内で最も焦点の合った画像の高さ位置に移動させてもよい。この場合は、表示部の表示モードを静止画である合成画像の表示から動画表示に戻した際に、焦点の合った画像を表示させることができる。

さらに、撮像した画像の中から、実際に合成画像の生成に採用された画像の内で、高さ位置の最も低い位置又は高い位置としてもよい。この様子を、図３４の高さヒストグラムで示す。このような位置に顕微鏡レンズ部２０を移動させることで、次回画像合成処理を行う場合には、現在のレンズの高さ位置を合成処理の最初のフレーム位置とすることができるので、顕微鏡レンズ部２０を開始位置まで移動させるまでに要するに時間を省くことができる。さらに、このような合成画像に採用された画素の最も高い位置や低い位置の情報を、合成画像を保存する際に併せて付帯情報として記録しておき、読み出し可能とすることで、ユーザが後日同様の観察を行う際には、この位置情報に基づいて、顕微鏡レンズ部２０を移動させることができる。
（高さ範囲設定手段８９ｆ）

高さ範囲設定手段８９ｆは、高さ範囲を、顕微鏡レンズ部２０に含まれる光学レンズ系の情報であるレンズ識別情報に基づいて、この光学レンズ系の焦点深度に基づいて予め設定された規定の範囲として自動で設定可能としている。これによって、ユーザが予め顕微鏡レンズ部２０を上下動させる範囲を指定するのでなく、使用する光学レンズ系によって設定された規定値でもって高さ範囲を自動的に設定できる。この結果、画像合成を行う高さ範囲をユーザが画像を確認しながら個別に調整しなくても、レンズ識別情報を基に既定の設定に従って自動的に設定を済ませ、短時間で画像合成を実行できる。特に上述した合成画像高速撮影処理では、合成処理自体を高速に行えるため、高さ範囲を無駄のない最小の範囲にまで敢えて設定せずとも、多少のマージンを含んだ広めの範囲に設定とした状態であっても、その処理時間が実用上問題とならない。このような高さ範囲設定手段８９ｆによる自動設定のユーザインターフェースの一例を、図２９に示す。この図において、「自動合成モード」ボタン１９２を押下すると、拡大観察装置側で高さ範囲を自動的に設定した上で画像合成処理が実行される。

高さ範囲の上限・下限の既定値は、装着している顕微鏡レンズ部２０のレンズ識別情報に基づいて設定される。例えばレンズ倍率や焦点深度から演算したり、あるいは予め実レンズを用いて評価した上で決定した固定値等を用いることができる。

あるいはまた、レンズ識別情報に基づき、基準位置を中心として上下に一定距離を隔てた位置に上限、下限をそれぞれ設定してもよい。基準位置は、例えば現在観察している画像のＺ方向の高さ位置を用いたり、オートフォーカス処理をして画面のある領域の焦点位置を求め、この高さを基準位置として利用することもできる。また一定距離については、撮影位置の間隔と予め定めた撮影枚数から決定することができる。撮影枚数を、例えばカメラ部１０が一定時間内に撮影できる枚数に基づいて決定すれば、合成処理全体に要する時間を用いる顕微鏡レンズ部に依らずにほぼ統一することもできる。

なお、顕微鏡レンズ部の作動距離を考慮して、下限に移動する距離に制限を設けてもよい。下方向に顕微鏡レンズ部を降下させすぎると、観察対象物や載置部の載置面と接触することがあるため、このようなリスクを低減するために上限位置よりも制限を設けることも可能である。

また、ユーザが手動で高さ範囲を指定することも可能であることは上述の通りである。高さ範囲の設定は、高さ範囲設定手段により行う。このような高さ範囲設定手段の一例として、拡大画像観察プログラムのユーザインターフェース画面の一例を図２８に示す。特に上記の実施の形態では、予め上下限の設定を行うのではなく、レンズ識別情報に基づいた既定の上下限設定に基づいて一旦合成処理を行った上で、過不足がある場合は後から微調整を行うという方法を採用できる。これにより、多くの場合は何も設定しなくても合成が高速に完了して所望の合成画像を取得することができるようになる。範囲に過不足がある場合もすでに取得した合成像の結果を確認してから調整を行うことができるため、何も情報がない状態よりも設定を行うことが容易である。
（高さ範囲設定手段）

ここで高さ範囲設定手段の一形態である高さ範囲設定画面１７０の詳細を、図２８及び図２９に基づき説明する。これらの図に示す高さ範囲設定画面１７０は、左側の画像表示領域１１１に深度合成画像ＭＩを表示し、右側の操作領域１１２に、高さ範囲設定欄を設けている。高さ範囲設定欄においては、上段に高さ範囲を手動で指定する高さ範囲手動指定欄１７２、中段に高さグラフ表示欄１７３を、それぞれ設けている。高さ範囲手動指定欄１７２では、高さ範囲の上限と下限を数値で入力できる。一方高さグラフ表示欄１７３では、右側に高さグラフ（ここでは投影図ＰＩ）が表示されると共に、その左側にＺ軸方向における高さの移動を示すスライダが表示される。スライダは、高さ範囲の全域を示す全体スライダ１７４と、全体スライダ１７４の一部を拡大した拡大スライダ１７５で構成される。拡大スライダ１７５には、高さ範囲の上限を示す上限操作ツマミ１７６と、下限を示す下限操作ツマミ１７７が設けられる。これらの上限操作ツマミ１７６、下限操作ツマミ１７７をユーザがマウスドラッグなどで操作すると、高さ範囲が連続的に変化し、これに応じて高さグラフに表示されている上限バー１７８や下限バー１７９も連動して移動する。さらに高さ範囲手動指定欄１７２における高さ範囲の上限、下限の数値も変化する。これらは、いずれかの高さ範囲設定手段を操作すると、他の高さ範囲設定手段も連動して変化するように設定されている。これによりユーザは、所望の方法で高さ範囲を設定できる。

なお、以上の例では載置部側を固定し、上ステージ昇降器１６で顕微鏡レンズ部２０を移動させることにより、相対高さを変化させる構成を説明したが、本発明はこの構成に限らず、逆に載置部側を移動させて相対高さを変化させてもよい。この場合は顕微鏡レンズ部側を固定し、下ステージ昇降器で載置部を移動させながら撮像を行う。
（追加画像取得機能）

本実施の形態に係る高速合成画像撮影処理においては、最終フレームの撮影を等速移動中に行う関係上、高さ範囲として設定した範囲を超えて顕微鏡レンズ部２０が移動する。また、電動式のＺ軸ステージが顕微鏡レンズ部２０を高速に移動でき、カメラ部１０の撮影フレームレートが高速である場合は、合成画像の画像合成処理に要する時間よりも、顕微鏡レンズ部２０の移動動作やカメラ部１０の撮像動作に要する時間の方が短くなる。この場合は、画像合成手段での画像合成処理が完了した時点で、既にＺ軸方向の動作は終了していることになる。そこで、合成処理が終わるまでの空き時間を有効活用して、Ｚ軸方向の顕微鏡レンズ部２０の移動とカメラ部１０の撮影を継続させることで、設定された高さ範囲よりも広い範囲を撮影することができる。ここで、単に撮影を行う範囲を広げたのみでは、当初から高さ範囲として広い範囲を設定したのと変わらず、画像合成処理に要する時間がさらに長くなるに過ぎない。そこで、画像合成処理に際して最終フレームの画像を合成処理したときに、最終フレームの画素が合成画像に所定の画素数以上、採用された場合に限り、最終フレームよりも後で、すなわち高さ範囲外で撮影した追加画像を合成に使用する。この処理を繰り返し、採用画素数が閾値を下回るか、又は撮影した追加画像が無くなるまで処理を継続する。このような自動追加撮影により、例えば高さ範囲の設定を誤って狭く設定した場合でも、追加画像によって合成画像の精度を維持でき、また一方で不必要に画像合成処理する画像枚数を増やすことも回避できる。

このような追加画像取得機能により、自動で追加画像の撮影を行う画像合成処理の手順を、図３５のフローチャートを示す。このフローチャートは、上述した図３３のフローチャートの破線で囲んだ枠内の処理を示している。画像合成処理が開始された状態で、ステップＳ３５０１において、画像合成手段８５ｂがバッファから画像を取得する。次にステップＳ３５０２において、画像合成手段８５ｂが画像合成処理を行う。さらにステップＳ３５０３において、顕微鏡レンズ部２０の高さ位置が高さ範囲を超えているか否かを判定し、未だの場合はステップＳ３５０１に戻って以上の処理を繰り返す。一方、高さ範囲を超えている場合はステップＳ３５０４に進み、最後の画像中で、合成処理に採用された画素数が閾値以上か否かを判定し、否の場合は処理を終了する。閾値以上の場合はステップＳ３５０５に進み、バッファが空か否かを判定し、空の場合は処理を終了する。空でない場合はステップＳ３５０１に戻って処理を繰り返す。このようにして、採用画素数が閾値を下回るか、バッファが空になると画像合成処理を終了する。この手順により、追加画像が画像合成処理に有効な場合にはこれを採用し、そうでない場合には不採用として、得られた画像の品質に応じて効率よく採否を判定でき、また画像合成処理の待ち時間を利用した追加画像の撮像に止めることで、必要以上に多くの画像を撮像して処理時間を長くすることもなく、画像合成の処理時間も無駄にしない。
（手動の追加撮影）

さらに、撮影した合成画像の上限あるいは下限が不足している場合には、不足している画像のみを追加で撮影して合成することもできる。合成処理処理のアルゴリズムによっては、画像を処理する順番（例えばＺ軸方向の高さ位置が低い順）が合成結果に影響するため、処理順を守る必要がある。例えばＺ軸を下限から上限に向かって移動して撮影している場合に、上限側で不足が生じた場合には、追加画像を撮影するにも、そのまま合成処理を継続すればよい。一方で下限側に不足があった場合に、画像処理順を保って合成処理を行うには、バッファ上に撮影した画像をすべて残している必要がある。すべての画像がバッファ内に残っておれば、追加した画像と撮影済みの画像に基づいて再度画像合成処理を行うことができる。ただ、この場合には合成処理を全画像でやり直すことになるため、Ｚ軸方向への顕微鏡レンズ部の移動及びカメラ部の撮影処理が合成処理よりも早い場合には、追加した範囲も含め、すべての画像を取り直したとしても処理時間は変わらないことになる。むしろ、すべての画像を取り直した方が、一度のカメラ部の移動での撮影となるので、試料の変化も小さいために望ましいといえる。

このような手動の追加撮影を行うための手動追加撮影設定画面１８０の例を図３９に示す。手動追加撮影設定画面１８０では、画面左側には深度合成画像ＭＩを表示させるための画像表示領域１１１を設け、画面右側の上段には高さグラフの投影図ＰＩを表示させる高さグラフ表示欄１７３を、下段には３Ｄ画像ＳＩを表示させる３Ｄ画像表示欄１８２を、それぞれ設けている。高さグラフ表示欄１７３において、高さグラフに重ねて表示されている上限バー１７８や下限バー１７９を操作すると、これに応じて高さ範囲が変化するので、追加撮像を行う高さ範囲を規定できる。また高さグラフ表示欄１７３での設定に応じて、３Ｄ画像表示欄１８２に表示される境界平面１８４の位置も変化する。この例では、境界平面１８４は高さ範囲の上限を示しており、高さグラフ表示欄１７３の上限バー１７８と連動している。すなわち高さグラフ表示欄１７３で上限バー１７８を上下に移動させると、３Ｄ画像表示欄１８２の境界平面１８４の位置も連動して移動する。逆に３Ｄ画像表示欄１８２の境界平面１８４の位置を上下に移動させると、これに応じて高さグラフ表示欄１７３の上限バー１７８も連動して移動される。これによって、ユーザは追加撮影を行う範囲を、高さグラフＰＩや３Ｄ画像ＳＩを参照しながら視覚的に指定できる。特に３Ｄ画像表示欄１８２では、３Ｄ画像ＳＩと境界平面１８４の組み合わせによって、高さ範囲を超えている部分を立体的、視覚的に確認し易くなる。

本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体は、顕微鏡や反射、透過型等のデジタルマイクロスコープ、デジタルカメラ等に好適に利用できる。また、本技術を蛍光顕微鏡に適用する場合、照明光に対する観察対象物からの反射光若しくは透過光は、励起光として読み替えることができる。

１００、２００、４００、５００…拡大観察装置
１…撮像系
２…制御系
３…ケーブル部；３ｂ…光学的ケーブル
４…ヘッド部
１０…カメラ部
１１…撮像光学系
１２…撮像素子；１３…ヘッド側制御部；１４…光路シフト手段
１６…上ステージ昇降器
２０…顕微鏡レンズ部；２１…レンズ本体
２２…マウント部；２４…レンズ側ケーブル
２５…対物レンズ部；２５Ａ…第一対物レンズ；２５Ｂ…第二対物レンズ
２６…対物レンズ切替手段
２８…偏光ビームスプリッタ
２９…照明接続部；２９ｂ…接続コネクタ
３０…載置部
３２…スライダ
３４…中間連結部
３５…下ステージ昇降器
３６…モータ制御回路
３７…ステッピングモータ
４０…支持台
４１…ベース；４１ａ…ブロック；４１ｂ…軸受部；４１ｃ…ガイド部
４２…ステージ固定機構
４３…カメラ取り付け部
４４…ヘッド傾斜機構
４５…揺動軸
４６…揺動部
４７…揺動支柱
４８…ヘッド固定部
４９…ヘッド用アーム
５０…本体部；５１…制御部；５２…表示部
５３…記憶部；５４…インターフェイス；５５…操作部
６０…照明部
６１…照明切替部
６２…同軸落射照明部
６３…リング照明部
６４…透過照明部
６５…照明光源；６５ｒ、６５ｇ、６５ｂ…ＬＥＤ
６５Ｂ…透過照明光源；６５Ｃ…リング照明用照明光源
６６…照明光制御部
８１…光路シフト制御手段
８２…画像選択手段
８３…撮像条件設定部
８４…自動合成手段
８５…画像処理手段；８５ｂ…画像合成手段
８６…波長選択手段
８７…照明光選択手段
８８…撮像素子選択手段
８９ａ…倍率調整手段；８９ｂ…表示位置変更手段；８９ｃ…簡易撮像条件生成部
８９ｄ…連動調整手段；８９ｅ…表示モード切替手段；８９ｆ…高さ範囲設定手段
９０…位相遅延素子
１１０…照明切替画面
１１１…表示領域
１１２…操作領域
１１３…「明るさ・照明」リボン
１１４…「照明」タブ
１１５…「落射照明」設定欄
１１６…「透過照明」設定欄
１１７…「ＯＮ」ボタン
１１８…「リング照明」ボタン
１１９…「リング片射」ボタン
１２０…「ＯＮ」ボタン
１２１…スライダ
１２２…明るさ設定画面
１２４…ホワイトバランス設定画面
１３０…一覧表示画面
１３１…「画質改善」リボン
１３２…「最適画像選択」タブ
１３３…「最適画像を実行」ボタン
１３４…一覧表示領域
１３６…一覧表示画像
１３８…「画像設定」タブ
１４０…画像設定画面
１６０…計測処理設定画面
１６２…計測テンプレート設定欄
１６４…ワンクリック自動計測設定欄
１６５…「自動計測」ボタン
１６６…計測結果表示
１７０…高さ範囲設定画面
１７２…高さ範囲手動指定欄
１７３…高さグラフ表示欄
１７４…全体スライダ
１７５…拡大スライダ
１７６…上限操作ツマミ
１７７…下限操作ツマミ
１７８…上限バー
１７９…下限バー
１８０…手動追加撮影設定画面
１８２…３Ｄ画像表示欄
１８４…境界平面
１９２…「自動合成モード」ボタン
Ｓ…観察対象物
ＡＸ…光軸
ＭＩ…計測処理対象画像
ＴＩ…計測テンプレート画像
ＰＩ…投影図
ＳＩ…３Ｄ画像
ＬＩ…ライブ映像
ＣＩ、ＣＩ１、ＣＩ２…合成画像

Claims (17)

1. 観察の対象物を載置するための載置部と、
   前記載置部に載置された観察対象物の画像を撮像するためのカメラ部と、
   前記カメラ部と光軸を一致させて光学的に結合された顕微鏡レンズ部と、
   前記カメラ部で画像を撮像する際の撮像条件を設定するための撮像条件設定部と、
   前記撮像条件設定部により設定された撮像条件で観察対象物を撮像した画像を表示させるための表示部と、
   前記載置部に載置された観察対象物の観察面と前記顕微鏡レンズ部との相対高さを自動で調整可能なＺ軸移動手段と、
   前記載置部と顕微鏡レンズ部との相対位置を変化可能なＸＹ軸移動機構と、
   前記Ｚ軸移動手段によって異なる相対距離で撮像された複数枚の画像を合成した合成画像を生成するための画像合成手段と
   を備える拡大観察装置であって、
   前記画像合成手段による画像合成処理と、前記Ｚ軸移動手段で前記顕微鏡レンズ部を移動させ前記カメラ部で画像を撮像する処理とを非同期で実行可能としてなることを特徴とする拡大観察装置。
2. 請求項１に記載の拡大観察装置であって、さらに、
   前記載置部に載置された観察対象物と前記顕微鏡レンズ部との相対高さを前記Ｚ軸移動手段で変化させる高さ範囲を設定する高さ範囲設定手段を備えており、
   前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超える範囲で前記顕微鏡レンズ部を移動させて、該Ｚ軸移動手段で移動させながら前記撮像手段でもって画像を撮像可能としてなることを特徴とする拡大観察装置。
3. 請求項２に記載の拡大観察装置であって、
   前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超えて前記顕微鏡レンズ部を移動させて、該超えた範囲で追加画像を撮像可能であり、
   前記画像合成手段は、該追加画像を用いて画像合成を行うことが可能に構成してなることを特徴とする拡大観察装置。
4. 請求項３に記載の拡大観察装置であって、
   前記画像合成手段は、前記追加画像が所定の基準値を超える品質を達成している場合に、該追加画像を用いて画像合成を行うよう構成してなることを特徴とする拡大観察装置。
5. 請求項４に記載の拡大観察装置であって、
   前記画像合成手段は、前記追加画像に含まれる画素の内、焦点の合った画素の数が所定の閾値を超えている場合に、該追加画像を用いて画像合成を行うよう構成してなることを特徴とする拡大観察装置。
6. 請求項２〜５のいずれか一に記載の拡大観察装置であって、
   前記Ｚ軸移動手段が、高さ範囲を前記載置部と顕微鏡レンズ部との相対距離の短い側から高い側に移動させてなることを特徴とする拡大観察装置。
7. 請求項２〜６のいずれか一に記載の拡大観察装置であって、
   前記Ｚ軸移動手段が、前記顕微鏡レンズ部側を移動させて前記載置部と顕微鏡レンズ部との相対距離を調整可能としてなることを特徴とする拡大観察装置。
8. 請求項７に記載の拡大観察装置であって、
   前記顕微鏡レンズ部とカメラ部は一体となってヘッド部を構成しており、
   前記Ｚ軸移動手段が、前記ヘッド部を移動させて前記載置部と顕微鏡レンズ部との相対距離を調整可能としてなることを特徴とする拡大観察装置。
9. 請求項２〜９のいずれか一に記載の拡大観察装置であって、
   前記高さ範囲設定手段が、高さ範囲を、前記顕微鏡レンズ部に含まれる光学レンズ系の情報に基づいて、該光学レンズ系の焦点深度に基づいて予め設定された規定の範囲として自動で設定可能としてなることを特徴とする拡大観察装置。
10. 請求項２〜１０のいずれか一に記載の拡大観察装置であって、
    前記高さ範囲設定手段が、高さ範囲を任意に調整可能としてなることを特徴とする拡大観察装置。
11. 請求項２〜１０のいずれか一に記載の拡大観察装置であって、
    前記Ｚ軸移動手段は、前記高さ範囲設定手段で指定された高さ範囲を超えた位置から、該高さ範囲内に向かって前記カメラ部の移動を開始するよう構成してなることを特徴とする拡大観察装置。
12. 請求項１〜１１のいずれか一に記載の拡大観察装置であって、さらに、
    観察対象に照明光を照射するための照明手段を備えることを特徴とする拡大観察装置。
13. 観察対象物を撮像した画像を表示させる拡大画像観察方法であって、
    載置部に載置された観察対象物の画像を撮像するためのカメラ部と光軸を一致させた顕微鏡レンズ部を、該観察対象物の観察面との距離を調整して高さ方向に移動させる高さ範囲を設定する工程と、
    前記高さ範囲内で前記顕微鏡レンズ部を、一方の限界位置から他方の限界位置に向かって移動させながら、異なる高さの画像を前記撮像手段で複数枚撮像する工程と、
    前記顕微鏡レンズ部が高さ範囲の他方の限界位置に達しても移動を継続し、さらに高さ範囲外の位置で追加画像を撮像する工程と、
    高さ範囲外で撮像された追加画像が、所定の基準値を超える品質か否かを判定し、超える場合は該追加画像と、高さ範囲内で撮像された画像を用いて、画像合成を行う工程と、
    画像合成により得られた合成画像を表示手段に表示する工程と
    を含むことを特徴とする拡大画像観察方法。
14. 請求項１３に記載の拡大画像観察方法であって、
    前記高さ範囲の設定工程が、前記顕微鏡レンズ部に含まれる光学レンズ系の焦点深度に基づいて予め設定された規定の範囲であることを特徴とする拡大画像観察方法。
15. 請求項１４に記載の拡大画像観察方法であって、さらに、
    前記表示手段に表示された合成画像を参照して、高さ範囲の再設定を促す工程を含むことを特徴とする拡大画像観察方法。
16. 観察対象物を撮像した画像を表示させるための拡大画像観察プログラムであって、
    載置部に載置された観察対象物の画像を撮像するための撮像手段と光軸を一致させた顕微鏡レンズ部を、該観察対象物の観察面との距離を調整して高さ方向に移動させる高さ範囲を設定する機能と、
    前記高さ範囲内で前記顕微鏡レンズ部を、一方の限界位置から他方の限界位置に向かって移動させながら、異なる高さの画像を前記撮像手段で撮像する機能と、
    前記顕微鏡レンズ部が高さ範囲の他方の限界位置に達しても移動を継続し、さらに高さ範囲外の位置で追加画像を複数枚撮像する機能と、
    高さ範囲外で撮像された追加画像が、所定の基準値を超える品質か否かを判定し、超える場合は該追加画像と、高さ範囲内で撮像された画像を用いて、画像合成を行う機能と、
    画像合成により得られた合成画像を表示手段に表示する機能と
    をコンピュータに実現させることを特徴とする拡大画像観察プログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。