JP2022127535A - 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器 - Google Patents

Abstract

【課題】リアルタイムで照明方向を変化させて観察対象物の凹凸状態や傷などを観察し易くする。【解決手段】拡大観察装置１００は、第一照明パターンを構成する複数の照明方向のいずれかで照明する第二照明パターンで照明する照明部６０と、第一照明パターンの各照明方向でそれぞれ照明された観察対象物の画像データに対して、画像データの特徴量をそれぞれ算出する特徴量算出部８８と、照明部６０を、第一照明パターンで動作させ、表示制御部５２によりディスプレイ部７０に第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスと、特徴量算出部８８で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により第二照明パターンで動作させ、表示制御部５２によりディスプレイ部７０に第二照明パターンで照明された観察対象物の画像を表示させる第二シーケンスを、切り替え可能な照明制御部６６とを備える。【選択図】図２

Description

本発明は、拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器に関する。

微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、対物レンズ部等の光学系を介して入射され、ＸＹステージ上に載置された観察対象物からの反射光又は透過光を、二次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、当該位置における観察視野の、電気的に読み取られた画像をディスプレイ部に表示する。

また拡大観察装置には、ステージ部上の被写体に照明光を照射する照明部を備えるものがある（例えば特許文献１）。この照明部は、リング照明を構成するブロック毎に点灯を切り替えることで、被写体に入射する光の方向、すなわち照明方向を切り替えることができる。これにより、それぞれの照明方向に対応した被写体の静止画像データを取得する。ユーザは、照明方向の異なる複数の静止画像データをディスプレイ部上に表示された状態で、これら比較し、選択することで、容易に照明方向を設定することができる。

ところで、拡大観察装置を用いた観察の目的として、被写体の表面に存在する微小な傷や欠陥に注目して観察したい場合がある。傷や欠陥の見え方は照明方向だけではなく、観察視野における傷や欠陥などの位置によっても大きく左右される。また傷や欠陥の、観察視野における位置によっては、静止画像中で発見することが困難となる。特許文献１においては、照明方向等の照明設定が不慣れな使用者であっても照明方向等の照明設定を意識することなく観察画像として被写体の静止画像データを取得でき、観察画像を取得後にディスプレイ上のユーザインターフェースを通じて照明方向を変更した観察画像を容易に表示することができる。たとえば、特定の照明方向でのみ鮮明に見える傷や欠陥についても、観察画像を取得後に適切な照明方向を容易に選択できるため、不慣れな使用者であっても最適な照明方向の観察画像を表示し、傷や欠陥を観察することが容易となる。。

しかしながら、この方法では観察視野における傷や欠陥などの位置が適切でなかった場合、異なる位置に移動させて再度照明方向の異なる複数の静止画像データを取得してからディスプレイ上のユーザインターフェースを通じて照明方向を変更するという作業を繰り返す必要があり、たとえば、特定の照明方向や観察視野における特定の位置でのみ鮮明に見える傷や欠陥の場合、煩雑な作業となることがあった。

特開２０１８－０１３７３２号公報

本発明の目的の一は、リアルタイムで照明方向を変化させて観察対象物を観察し、表面の凹凸状態や傷、打痕などを観察し易くした拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の態様に係る拡大観察装置は、観察対象物を載置するためのステージ部と、前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、観察対象物に向けて照明光を照射する照明方向を切り替え可能で、かつ複数の異なる照明方向に順次切り替える第一照明パターンと、前記第一照明パターンを構成する複数の照明方向のいずれかで照明する第二照明パターンとのいずれかで照明する照明部と、前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、前記カメラ部が生成する画像データに基づいて観察対象物の画像をディスプレイ部に表示させるための表示制御部と、前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量をそれぞれ算出する特徴量算出部と、前記照明部を、前記第一照明パターンで動作させ、前記表示制御部によりディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスと、前記特徴量算出部で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により前記第二照明パターンで動作させ、前記表示制御部によりディスプレイ部に前記第二照明パターンで照明された観察対象物の画像を表示させる第二シーケンスを、切り替え可能な照明制御部とを備える。上記構成により、観察対象物の表面の状態が確認し易くなる照明方向を自動で選択して表示させることが可能となり、例えば傷の有無や凹凸などの見落としを回避し易い観察が実現される。

また、本発明の他の態様に係る拡大画像観察方法によれば、ステージ部に載置され、照射方向を切り替え可能な照明部で照明された観察対象物を、対物レンズ部を介してカメラ部で撮像してディスプレイ部に表示させる観察視野を移動させて観察する拡大画像観察方法であって、前記照明部を、異なる照明方向に順次切り替えて照射する第一照明パターンで動作させ、前記ディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスを実行する工程と、前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量を算出し、当該画像データの特徴量に基づいて照明方向を選択し、前記照明部を該選択された照明方向とした前記第二照明パターンで動作させ、前記ディスプレイ部に前記第二照明パターンで照明された観察対象物を表示させる第二シーケンスを実行する工程と、
を含む。これにより、リアルタイムで照明方向を変化させて観察対象物の表面の凹凸状態や傷、打痕などを観察し易くできる。

さらにまた、本発明の他の態様に係る拡大画像観察プログラムによれば、観察対象物を載置するためのステージ部と、前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、観察対象物に向けて照明光を照射する照明部と、前記照明部で照明された観察対象物を、前記対物レンズ部を通じて撮像し、画像データを生成するカメラ部と、前記カメラ部が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させるディスプレイ部とを備える拡大観察装置を操作する拡大画像観察プログラムであって、前記照明部を、異なる照明方向に順次切り替えて照射する第一照明パターンで動作させ、前記ディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスを実行する機能と、前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量を算出し、当該画像データの特徴量に基づいて照明方向を選択し、前記照明部を該選択された照明方向とした前記第二照明パターンで動作させ、前記ディスプレイ部に前記第二照明パターンで照明された観察対象物を表示させる第二シーケンスを実行する機能とをコンピュータに実現させる。上記構成により、リアルタイムで照明方向を変化させて観察対象物の表面の凹凸状態や傷、打痕などを観察し易くできる。

さらにまた、本発明の他の態様に係るコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＨＤ ＤＶＤ（ＡＯＤ）、Ｂｌｕ－ｒａｙ（商品名）、ＵＨＤ ＢＤ（商品名）、ＵＳＢメモリ、ＳＳＤメモリ等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。また本明細書においてコンピュータで読み取り可能な記録媒体は、非一過性で有形の媒体、又は一過性の伝搬信号を含む。

実施形態１に係る拡大観察装置の外観斜視図である。 図１の拡大観察装置のブロック図である。 照明部の構成を示す概略図である。 リング照明の模式図である。 ナビゲーション領域を含む拡大画像観察プログラムのユーザインターフェース画面を示す模式図である。 ステージ部と観察対象物、ナビ画像、観察視野の関係を示す模式図である。 図７Ａは、移動中のヘッド部のシーケンスを、図７Ｂは停止シーケンスを、それぞれ示す模式側面図である。 ３Ｄナビ画像がある場合の移動中シーケンスを示す模式側面図である。 オフセット機能付きフォーカス追従を示す模式側面図である。 図１０Ａは平面追従モードにおけるヘッド部の動作を示す模式斜視図、図１０Ｂは推定された平面の傾きを示すグラフである。 平面フィット機能を示すユーザインターフェース画面である。 図１２Ａ～図１２Ｄはサーチライティング機能で照明方向が変化する様子を示す模式図である。 図１３Ａ～図１３Ｄは照明ブロックの点灯位置を切り替える様子を示す模式図である。 サーチライティング画面を示す模式図である。 サーチライティング画面を示す模式図である。 サーチライティング画面を示す模式図である。 サーチライティングの手順を示すフローチャートである。 図１７のステップＳ１７０４の表示処理を示すフローチャートである。 フォーカス追従モードの表示処理を示すフローチャートである。 サーチライティングの逓減制御を示すタイミングチャートである。 視野移動中のサーチライティングを示すタイミングチャートである。 マルチライティング画面を示す模式図である。 照明光源表示画面を示す模式図である。 実施形態２に係る拡大観察装置のブロック図である。 円筒状のワークの端縁に沿って観察視野を移動させる場合の、ジョイスティックの移動方向を示す模式図である。 ジョイスティックでステージの移動方向を指示する様子を示す模式図である。 ルートトレースモードにおけるジョイスティックの傾斜方向と観察視野の移動方向を示す模式図である。 移動方向指示部をボタン操作で実現する例を示す模式図である。 移動方向指示部をマウス操作で実現する例を示す模式図である。 図３０Ａ及び図３０Ｂは視野移動軌跡と移動方向指示との関係を示す模式図である。 ルートガイド機能を実現する拡大画像観察方法を示すフローチャートである。 図３２Ａ～図３２Ｆは、ルートを規定する幾何形状の例を示す斜視図である。 基板上に離間して実装されたチップに対して視野移動軌跡を設定する様子を示す模式図である。 図３３の観察対象物に設定された視野移動軌跡に沿って移動させる様子を示す模式図である。 図３５Ａは観察対象物の広域画像、図３５Ｂは図３５Ａに対して輪郭を抽出した状態を示す模式図である。 図３６ＡはＸＹステージを移動中の観察視野、図３６ＢはさらにＸＹステージを移動させた最中の観察視野を示す模式図である。 図３７Ａは対物レンズ部切替前の観察視野、図３７Ｂは対物レンズ部切り替え後の観察視野、図３７Ｃは図３７Ｂの状態から視野中心のずれを補正した観察視野を、それぞれ示すイメージ図である。 視野ずれ補正オフセット機能により視野移動軌跡をオフセットさせる様子を示す模式図である。 図３９は観察視野に該当する位置に応じて視野移動軌跡をオフセットさせる様子を示す模式図である。 図４０Ａは三次元空間で指定された視野移動軌跡及び基準点、図４０Ｂは基準点をＸＹ平面に投影した状態、図４０Ｃは投影された基準点で規定された視野移動軌跡を、それぞれ示す模式図である。 図４１Ａは三次元空間で規定された平面、図４１Ｂはこの平面内の視野移動軌跡をＸＹ平面に投影した状態を示す模式図である。 図４２Ａは三次元空間で規定された多角形状の視野移動軌跡、図４２Ｂはこの多角形状視野移動軌跡をＸＹ平面に投影した状態を示す模式図である。 視野移動軌跡が交差する場合に視野移動方向を決定する様子を示す模式図である。 捻れの位置で交差する視野移動軌跡に対してルートガイド機能を実行する様子を示す模式図である。 近接する登録点が設定された視野移動軌跡に対してルートガイド機能を実行する様子を示す模式図である。 ルートガイド機能実行中にＺ方向に移動させた場合の動作の一例を示す模式図である。 ルートガイド機能実行中にＺ方向に移動させた場合の動作の他の例を示す模式図である。 実施形態３に係る拡大観察装置を示す正面図である。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものではない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ－２３２ｘやＲＳ－４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－ＴＸ、１０００ＢＡＳＥ－Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置及び拡大画像観察方法とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。

また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末その他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
［実施形態１］

以下、図１～図２を用いて、本発明の実施形態１に係る拡大観察装置１００を説明する。拡大観察装置１００は、図１に示すように撮像系１と制御系２に大別される。撮像系１は、観察対象物ＷＫである試料やサンプル、ワークその他の被写体を照明するための照明部６０と、照明部６０により照明された観察対象物ＷＫを撮像するヘッド部４を備える。ヘッド部４は、図２に示すように撮像素子１２を含むカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。顕微鏡レンズ部２０は複数枚の光学レンズで構成された撮像光学系（レンズ光学系）１１を構成する。ここでは、図３に示すように顕微鏡レンズ部２０は対物レンズ部２５を含んでいる。またヘッド部４は、照明光の反射光又は透過光を受光する撮像手段として機能する。

また拡大観察装置は、フォーカス調整機構を備える。フォーカス調整機構は、対物レンズ部２５等の光学撮像系の焦点位置と観察対象物との相対距離を、この光学撮像系の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて、画像データのフォーカスを調整する。フォーカス調整機構は、例えば上Ｚステージ等の上Ｚ昇降器１６や下Ｚステージ等の下ステージ昇降器３５で構成される。フォーカス調整機構は、ヘッド部４を光学撮像系の光軸に沿って移動させるものであってもよく、対物レンズ部２５をヘッド部４に対して光学撮像系の光軸に沿って移動させるものであってもよい。また、対物レンズ部２５内のレンズを光学撮像系の光軸に沿って移動させるものであってもよい。さらに、対物レンズ部２５のレンズとして液体レンズ等の可変焦点レンズを備える場合、制御回路により液体レンズ等の焦点を制御することで、対物レンズ部２５等の光学撮像系の焦点位置と観察対象物との相対距離を、この光学撮像系の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させてもよい。フォーカス調整機構は、フォーカス調整機構や制御回路により焦点制御される液体レンズ等を含む。
（カメラ部１０）

カメラ部１０は、図３に示すように、照明部６０により照明された観察対象物ＷＫから、撮像光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。対物レンズ部２５は、ステージ部３０上の観察対象物に向けて配置されている。またカメラ部１０は、対物レンズ部２５を介して結像された観察対象物の像を撮像して、この像を示す画像データを生成する。

また撮像系１は、観察対象物ＷＫを載置するステージ部３０と、このステージ部３０とヘッド部４との光軸方向における相対距離を変化させ焦点を調整する第一焦点調整部としてＺ上ステージ及びこのＺ上ステージを駆動するための上Ｚ昇降器１６とを備える。このステージ部３０上に載置された観察対象物ＷＫに対して、撮像光学系１１を介して入射され、観察対象物ＷＫで反射された反射光又は観察対象物ＷＫの底面側から照射された透過光を、カメラ部１０の撮像素子１２で電気的に読み取る。

さらに制御系２は、カメラ部１０で撮像された拡大画像を表示するディスプレイ部７０を有する本体部５０を備える。カメラ部１０は、ケーブル部３を介して本体部５０と接続される。ディスプレイ部７０は、カメラ部１０が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させる。なお図１の例では、ディスプレイ部７０を本体部５０と一体に設けているが、ディスプレイ部を本体部と別部材とすることもできる。例えば本体部５０は、ディスプレイ部７０に表示させる表示内容を生成する表示制御部５２に加えて、本体部５０にディスプレイ部７０を接続するディスプレイ接続インターフェースを備えることができる。

また本体部５０は、プロセッサ部８０を備えている。プロセッサ部８０は、図２のブロック図に示すように、複数の機能を実現する（詳細は後述）。本体部５０は、汎用のコンピュータに専用のプログラムをインストールしたものや、専用に設計された機器が利用できる。この例では、汎用のコンピュータに拡大観察装置を操作する拡大画像観察プログラムをインストールしたものを本体部として利用している。この本体部５０は、プロセッサ部８０と、表示制御部５２と、ストレージ部５３と、インターフェース５４と、操作部５５と、メモリ部５６を備える。

またケーブル部３は、カメラ部１０の撮像素子１２で得られた画像情報を保体部５０側に伝達するための電気的ケーブルである。また電気的ケーブルに加えて、照明光を本体部５０からヘッド部４側に伝達するための光学的ケーブルを含めてもよい。この場合ケーブル部３は、電気的ケーブルと光学的ケーブルと統合することもできるし、これらを個別に設けることもできる。
（ディスプレイ部７０）

ディスプレイ部７０は液晶ディスプレイや有機ＥＬ、ＣＲＴ等のモニタが利用できる。また本体部５０は、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においてもディスプレイ部７０や操作部５５は、本体部５０と一体的に組み込むことも、外付けの部材とすることもできる。さらにディスプレイ部７０をタッチパネルで構成すれば、ディスプレイ部７０と操作部５５を一体に構成することもできる。

操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウスとキーボード、ジョイスティック５５ｂで構成される。
（照明部６０）

照明部６０は、撮像素子１２に結像される観察対象物ＷＫを照明する照明光を生成する。照明部６０の概略構成を図３に示す。照明部６０は、照明制御部６６を備えている。照明制御部６６は、設定された照明条件に従って照明光を制御する。照明条件は、照明部６０から照射される照明光の明るさを調整する。例えば、照明部６０の照射時間や照射強度を調整することで、照明光の明るさを調整できる。照明部６０は光源としてＬＥＤを含んでもよい。照明制御部６６により光源の発光を制御してもよく、シャッターのような遮光部材により照射光の明るさを制御してもよい。

照明には、落射照明であるリング照明（暗視野照明）や同軸照明（明視野照明）等が利用できる。また照明部６０の照明方式としては、透過照明、微分干渉照明等が適宜利用できる。落射照明とは、観察対象物の上方から観察対象物に照明光を落とす照明方法であり、リング照明や同軸照明等が含まれる。同軸照明とリング照明とでは、観察対象物への入射角度が異なり、影の生じ方が変化する。これらは観察対象に応じて使い分けることができる。また、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０や顕微鏡レンズ部２０に着脱自在に装着される対物レンズ部２５は、同軸照明とリング照明の双方に対応したもの、同軸照明のみに対応したもの、リング照明のみに対応したものであってもよい。透過照明は、観察対象物に対し下方から照明光を照射する照明方法である。図３の例では、照明部６０は、同軸落射照明部６２と、リング照明部６３を備える。同軸落射照明部６２は、ビームスプリッタ６１を介して対物レンズ部２５の光軸ＡＸと平行となるように折曲されている。なお照明部６０は、ヘッド部４に組み込み式としたり、ヘッド部４と脱着可能な別体とする構成のいずれも採用できる。また照明部６０の光源は、同軸落射照明部６２や、リング照明部６３にそれぞれＬＥＤやＬＤ等を設ける他、共通の照明光源を本体部５０に内蔵して、光学的ケーブルを介して照明光がヘッド部の照明部に伝達されるようにしてもよい。

同軸照明やリング照明は、偏射照明を備えることもできる。このような偏射照明機能を備えた同軸照明とリング照明の一例を、図４の模式図に示す。この図に示す照明部６０は、内輪側に配置された円環状の同軸落射照明部６２と、外輪側に配置された同じく円環状のリング照明部６３を備える。同軸落射照明部６２、リング照明部６３とも、円周上に沿って部分的に分割されており、分割されたブロック毎に点灯を切り替えることで、照明方向を変えた偏射照明が可能となる。

このように照明部６０は、観察対象物に向けて照明光を照射する照射方向を切り替え可能としている。また照明部６０は、照明光を照射する照明方向に順次切り替えて照射する第一照明パターンと、この第一照明パターンを構成する複数の照明方向のいずれかで照明する第二照明パターンのいずれかで照明することを可能としている。このような照明パターンの切り替えは、照明制御部６６で行われる。

図４の例では、リング照明部６３を、４つの照明ブロック６３ａ、６３ｂ、６３ｃ、６３ｄに分割して、各照明ブロック６３ａ～６３ｄを個別に点灯可能としている。これら照明ブロック６３ａ～６３ｄのいずれかを点灯させ、他を消灯することで、照明光が観察対象物に向かって照射される照明方向を変更することができる。なおリング照明部の分割数は４に限定されず、３以下や５以上としてもよい。観察用途等に応じて適宜変更できる。第一照明パターンにおける各照明ブロック６３ａ～６３ｄの点灯順序は予め定められており、たとえば時計回りに順次点灯したり、８の字を描くように順次点灯したりする。第一照明パターンにおける各照明ブロック６３ａ～６３ｄの点灯順序は、点灯順序情報としてメモリ部５６に記憶されてもよい。また第一照明パターンは顕微鏡レンズ部２０や対物レンズ部２５に応じて同軸落射照明部６２の各照明ブロックを順次点灯させるか、リング照明部６３の各照明ブロックを順次点灯させるか、同軸落射照明部６２の各照明ブロックとリング照明部６３の各照明ブロックを順次点灯させるかが選択されてもよい。たとえば、リング照明を優先して使用するようにしてもよく、この場合、同軸照明のみに対応した対物レンズ部２５を使用する際は、第一照明パターン用の照明として同軸落射照明部６２が選択され、同軸照明とリング照明の双方に対応した対物レンズ部２５を使用する際は、第一照明パターン用の照明としてリング照明部６３が選択されてもよい。
（照明制御部６６）

照明制御部６６は、照明光の制御を第一シーケンスと第二シーケンスに切り替え可能としている。第一シーケンスでは、照明部６０を第一照明パターンで動作させる。またディスプレイ部７０には、第一照明パターンで照明された観察対象物のライブ画像を表示させる。この第一シーケンスを、サーチライティングとも呼ぶ（詳細は後述）。また第二シーケンスでは、照明部６０を、特徴量算出部８８で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により第二照明パターンで動作させる（詳細は後述）。またディスプレイ部７０には、第二照明パターンで照明された観察対象物の画像を表示させる。これにより、観察対象物の表面の状態が確認し易くなる照明方向を自動で選択して表示させることが可能となる。例えば、リアルタイムで照明方向を変化させて、観察対象物の表面の凹凸状態や傷、打痕などの見落としの少ない観察環境が実現される。

照明制御部６６は、視野移動軌跡（詳細は後述）に沿って観察視野を移動させる際には、照明部６０を第一照明パターンで照射させる。これにより、観察視野の移動中に照明方向を自動で変化させることができ、観察対象物の表面状態を異なる照明で観察することが可能となり、傷や欠け等を見つけ易くできる。また照明制御部６６は、視野移動機構５による観察視野の移動を停止させた際には、バッファメモリ５７に保持された照明方向の異なる複数の画像データを解析して、傷が最も鮮明となる照明方向の画像を選択し、照明部６０を当該照明方向に固定した第二照明パターンで照射させる。これにより、観察視野の移動を停止させると、最も傷の見やすい照明方向の画像データが表示されるようになり、傷の探索に好適な観察が実現される。

図１に示す照明部６０は、観察対象物ＷＫに同軸落射光を照射するための同軸落射照明部６２（図３参照）と、リング状の光源からリング状照明光を照射するためのリング照明部６３を備えている。これらの照明は、ケーブルを介して本体部５０と接続される。本体部５０はケーブルを接続するコネクタを備える。またリング照明部６３は、全周照明と側射照明を切り替えることができる。これを実現するため、リング照明部６３として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成や、照明光の一部をカットするターレット式のマスクを配置する構成等が利用できる。これら照明光の点灯制御や切り替えは、照明制御部６６で行われる。
（視野移動機構５）

また拡大観察装置１００は、ディスプレイ部７０に表示される観察視野を移動させる視野移動機構５を備えている。視野移動機構５は、ステージ部３０の載置面上における対物レンズ部２５の光軸ＡＸの位置を異ならせるため、対物レンズ部２５とステージ部３０の相対位置を変化させる。視野移動機構５で対物レンズ部２５とステージ部３０の相対位置を移動させると、ディスプレイ部７０には、移動後の観察視野に更新された像を表示させることができる。図１の例では視野移動機構５として、ステージ部３０を移動させるＸＹステージを採用している。ただ、本発明はこれに代えて、あるいはこれに加えて、対物レンズ部側を移動させる視野移動機構を採用してもよい。視野移動機構は、光軸側から見た対物レンズ部とステージ部の相対位置、すなわちＸＹ平面内の観察視野を移動させることができれば足りる。

ＸＹステージは、ステージ部３０の載置面をＸ軸方向およびＹ軸方向に移動可能な電動ステージである。また視野移動機構５は、ステージ部３０を回転可能なθステージを備えることもできる。

さらにステージ部３０は、視野移動機構５によるＸＹ平面内でのステージ部３０の移動に加えて、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動も可能としている。

ここで下ステージ昇降器３５の動作について説明する。本体部５０は、モータ制御回路３６に対してステッピングモータ３７の制御に関する制御データを入力することによって、ステージ部３０と、撮像光学系１１および撮像素子１２を有するヘッド部４との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、下ステージ昇降器３５の制御に必要な制御データをモータ制御回路３６に入力することによってステッピングモータ３７の回転を制御し、ステージ部３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ３７は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路３６を介して入力される回転信号に基づいて、ステージ部３０と撮像光学系１１の光軸方向における相対距離に関する情報としてのステージ部３０の高さｚを記憶する。このステージ部３０は、観察対象物ＷＫに対して観察位置の位置決めを行う観察位置決め手段として機能する。

さらに本実施形態においては、ステージ部３０の高さを変化させることによってステージ部３０と撮像光学系１１の光軸方向における相対距離を変化させるのみならず、撮像光学系の高さ、すなわちヘッド部４の高さも変化可能としている。ヘッド部４は本体部５０とケーブル部３により接続される。これにより、ヘッド部４で取得したデータはケーブル部３を介して本体部５０に送出され、本体部５０側で必要な処理を行うことができる。なおステージ部は顕微鏡本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。

撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された観察対象物ＷＫの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、撮像素子制御回路１３においてさらにデジタルデータに変換される。本体部５０は、撮像素子制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における観察対象物ＷＫの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にストレージ部５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その撮像光学系および撮像素子１２における解像度において観察対象物ＷＫの形状を認識できる程度の傾きの範囲内にある観察面であればよい。

また、以上の説明ではステージ部３０の一例として、観察対象物ＷＫがステージ部３０に載置される例を示したが、例えばステージ部の代わりにアームを取り付け、その先端に観察対象物ＷＫを固定する構成とすることもできる。さらにヘッド部４は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（移動方向指示部５５ａ）

制御系２は、操作部５５を設けている。操作部５５は、本体部５０に接続された入力デバイスである。操作部５５は、ディスプレイ部７０における観察視野の移動方向を示すユーザ入力を受け付ける移動方向指示部５５ａとして機能する。この操作部５５から入力された方向に従い、視野移動機構５の移動方向が指示される。この操作部５５には、ジョイスティックやタッチパッド、マウス、キーボード（矢印キーあるいは特定のキー）などが利用できる。特に操作部５５としてジョイスティック５５ｂを利用することで、ユーザは、ジョイスティック５５ｂを倒す方向によって観察視野の移動方向を感覚的に指示し易くなる。またジョイスティック５５ｂを垂直姿勢から傾斜させる角度によって移動速度を指定することもできる。

さらにまたステージ部３０は、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動に加えて、平面内での移動も可能としている。具体的には、Ｘ軸方向およびＹ軸方向に移動可能なＸＹステージを備える。また、ステージ部３０を回転させる回転可能なステージ（θステージ）を備えることもできる。

なお、この例では上Ｚ昇降器１６、及び下ステージ昇降器３５を共に電動駆動とした例を説明した。ただ本発明では、対物レンズ部２５とステージ部３０のそれぞれの高さ情報が取得できておれば足り、上Ｚ昇降器及び下ステージ昇降器が共に電動駆動であることは必須でない。例えば上Ｚ昇降器と下ステージ昇降器のいずれか一方を手動で駆動させるように構成してもよい。

本体部５０は、図２のブロック図に示すように、プロセッサ部８０と、表示制御部５２と、ストレージ部５３と、インターフェース５４と、操作部５５と、メモリ部５６を備える。この拡大観察装置１００は、撮像光学系１１を介して入射するステージ部３０に固定された観察対象物ＷＫからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、ディスプレイ部７０に表示させる。

ストレージ部５３は、表示制御部５２によりディスプレイ部７０に表示される画像データを動画像として保存する等、記憶部として機能する。またストレージ部５３は、異なる観察対象物に対して、それぞれ画像処理部８４により生成された合成画像の画像データと、この合成画像の撮像時の条件に関する情報を一以上含む条件データとを関連付けて保存する。

インターフェース５４は、本体部５０がヘッド部４や下ステージ昇降器３５等とデータを通信するため接続部である。メモリ部５６は、ＲＡＭやＲＯＭなどで構成される。このメモリ部５６は、視野移動機構５の移動中にカメラ部１０で撮像された、照明方向の異なる画像データを逐次保持するバッファメモリ５７を含んでいる。操作部５５は、カメラ部１０で画像を撮像する際の条件を設定するための撮像条件や、その他の必要な各種の設定や操作を行うための部材でもある。

バッファメモリ５７は、第一シーケンスでディスプレイ部７０に表示される、照明方向の異なる複数の画像データをそれぞれ一時的に保持する。バッファメモリ５７にバッファリングされる画像データは、照明方向を決定する際に使用されるため、各照明方向に対応又は関連付けて保持される。なお、バッファメモリ５７のサイズは、少なくとも一サイクル分の画像データを保持できれば足り、次のサイクルの際には画像データを上書きしてもよい。ここで一サイクルとは、第一照明パターンに含まれる異なる種類の各照明を一巡する期間を指し、一サイクル内に第一照明パターンに含まれる異なる種類の各照明が少なくとも１回は点灯する。要するに、一サイクル以上の期間、画像データをバッファメモリに５７にバッファリングすることで、照明方向を決定する際に十分な画像データをバッファリングすることができる。

特徴量算出部８８は、領域指定部により領域が指定された時点で、バッファメモリ５７に、照明方向の異なる複数の画像データが保持されている場合は、この保持された各画像データに対し、指定された領域内の当該画像データの特徴量をそれぞれ算出して、いずれかの照明方向を選択し、第一シーケンスから第二シーケンスに移行する。画像データの特徴量としては輝度の分散、コントラスト値等が利用できる。これにより、照明方向を順次切り替えながら画像データをバッファメモリ５７に蓄えておき、ユーザが所望の領域を指定したタイミングで、既に蓄えられた画像データを利用して照明方向を選択できるので、新たな画像データの撮像まで待つことなく速やかに適切な照明方向への切り替えが実現される。領域指定部により領域が指定された時点で、バッファメモリ５７に、一サイクルに満たない期間の画像データが保持されている場合や画像データが保持されていない場合は、一サイクルに対応する画像データがバッファメモリ５７にバッファリングできるまで第一シーケンスを維持した後、特徴量算出部８８は、バッファメモリ５７に保持された各画像データに対し、指定された領域内の当該画像データの特徴量をそれぞれ算出して、いずれかの照明方向を選択し、第一シーケンスから第二シーケンスに移行する。
（表示制御部５２）

表示制御部５２は、カメラ部１０が生成する画像データをディスプレイ部７０に出力する。ディスプレイ部７０は、表示制御部５２から出力される観察視野の画像データを表示させる。この表示制御部５２は、ＧＰＵなどで構成できる。図２の例では、表示制御部５２をプロセッサ部と別部材で構成した例を説明している。このような表示制御部５２は、例えばＧＰＵで構成される。ただ本発明はこの構成に限られず、表示制御部５２をプロセッサ部に組み込んでもよい。例えばプロセッサを構成するＣＰＵやＭＰＵに、表示制御部５２を統合してもよい。
（プロセッサ部８０）

このプロセッサ部８０は、移動制御部８３、画像処理部８４、フォーカス制御部９０、高さ情報取得部８９、特徴量算出部８８等の機能を実現する。移動制御部８３は、移動方向指示部５５ａによる移動方向の指示に従い、視野移動機構５の移動を制御する。フォーカス制御部９０は、フォーカス調整機構を制御して画像のフォーカス調整を行う。例えば自動で焦点を合わせるオートフォーカスを実行する。フォーカス制御部９０は、合焦度合評価部９１と、フレームスキップ部９２、移動停止検知部９４、フォーカスシーケンス実行部９３等の機能を実現する。合焦度合評価部９１は、表示制御部５２によりディスプレイ部７０で表示される画像データの合焦度合いを示す合焦度合特徴量を算出する。

フレームスキップ部９２は、フォーカス調整機構でオートフォーカス制御を行うために光軸方向に沿って遠近いずれかの方向に移動させる際、合焦度合評価部９１で逐次算出される、フォーカス調整機構による移動後の画像データの合焦度合特徴量が、ディスプレイ部７０で表示されている移動前の画像データの合焦度合特徴量よりも向上している場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させる。これにより、フォーカス調整機構でフォーカスを調整する際、合焦度合特徴量がよくなった画像が得られた場合にのみディスプレイ部７０の表示内容が更新される。

またフレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、合焦度合評価部９１で逐次算出される、フォーカス調整機構による移動後の画像データの合焦度合特徴量が、ディスプレイ部７０で表示されている移動前の画像データの合焦度合特徴量よりも悪化している場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させない。これにより、従来のオートフォーカス実行時に焦点が一時的に合わなくなる表示に切り替わるストレスがなく、快適な焦点調整が実現される。

ここで、合焦度合特徴量は、画像の合焦度合いを示す指標であり、フォーカス値や位相差など、既知のパラメータが使用できる。例えば画像データに基づいて演算されたコントラスト等のフォーカス値を用いることができる。この場合、フレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、合焦度合評価部９１で逐次算出される、移動機構による移動後の画像データのフォーカス値が、ディスプレイ部７０で表示されている移動前の画像データのフォーカス値よりも向上している場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させる。これにより、専用のセンサ等を用いることなく画像データから得られるコントラスト等のフォーカス値に基づいてオートフォーカスを実行できる。

また合焦度合特徴量として、位相差を用いる場合は、オートフォーカス用センサを設けて、合焦位置と現在の位置との差を検出する。この場合、フレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、オートフォーカス用センサで逐次測定される、フォーカス調整機構による移動後の測定値が、ディスプレイ部７０で表示されている移動前の測定値よりも向上された場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させる。この方法であれば、Ｚ方向の移動を必要としないので、高速なオートフォーカスが実現される。

フォーカスシーケンス実行部９３は、視野移動機構５による観察視野の移動中に、観察視野のＸＹ位置に関する情報に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させる。

移動停止検知部９４は、観察視野の移動又は停止を検知する部材である。移動停止検知部９４により観察視野の移動を検知すると、観察視野のＸＹ位置に関する情報に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスを実行する。そしてカメラ部１０により観察視野の移動中に撮像されて生成された画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させる。一方で、移動停止検知部９４により観察視野の移動の停止を検出すると、視野移動中フォーカスシーケンスを終了し、フォーカス調整機構による対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離の調整を停止させる停止シーケンスを実行する。このようにして、従来は観察視野の移動中には行えなかったフォーカス調整を実現できる。移動停止検知部９４は、一の部材で観察視野の移動状態と停止状態を共に検知する他、観察視野の移動状態を検知する移動検知部と、観察視野の移動の停止状態を検知する停止検知部を、それぞれ用意してもよい。

照明制御部６６により第一シーケンスを実行中に、視野移動中フォーカスシーケンスを実行する際は、照明部６０を第一照明パターンで動作させ、移動停止検知部９４により観察視野の移動の停止状態を検知すると、視野移動中フォーカスシーケンスを終了し、停止シーケンスを実行する。停止シーケンスにおいて、たとえばオートフォーカスを実行するときは、照明部６０を同軸落射照明部６２やリング照明部６３等を全点灯する全射照明に一時的に切り替えて、オートフォーカス完了後に再び照明部６０を第一照明パターンで動作させる。移動停止検知部９４により観察視野の移動状態を検知すると、照明制御部６６により照明部６０を第一照明パターンで動作させたまま、フォーカスシーケンス実行部９３視野移動中フォーカスシーケンスを実行する。

画像処理部８４は、複数枚の画像から画像を合成する機能（合成画像モード）を実現する。例えば焦点深度の浅い画像に対して、焦点位置を変えながら撮影した複数枚の画像のうち、焦点情報から合焦部位のみを合成して焦点深度の深い画像（深度合成画像）を得ることができる。また、いわゆる超解像技術により解像を高めた画像やダイナミックレンジを広げた画像を取得することもできる。このように画像処理部８４で生成される合成画像には、深度合成画像、３Ｄ合成画像、画素ずらし画像、超解像画像、ＨＤＲ画像等が挙げられる。さらに画像処理部８４に、観察対象物に対して計測を行う機能を持たせてもよい。例えばいくつかの計測を実行するボタンを並べた計測ツールを画像上に表示させて、表示された画像に対してボタンを操作して所望の計測を行うことができる。

照明制御部６６により第一シーケンスを実行中に、照明部６０を第一照明パターンで動作させながらライブ画像を表示し、第二シーケンスでは、照明部６０を、特徴量算出部８８で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により第二照明パターンで動作させて、画像処理部８４は、複数枚の画像から画像を合成する機能（合成画像モード）を実現する。またディスプレイ部７０には、第二照明パターンで照明された観察対象物の深度合成画像、３Ｄ合成画像、画素ずらし画像、超解像画像、ＨＤＲ画像等等の合成画像を表示させる。

第一シーケンスから第二シーケンスへの移行は、合成画像モードの実行指示を決起としてもよいし、予め画像合成モードを設定した後、領域指定部によるＲＯＩの指定を決起としてもよい。

高さ情報取得部８９は、観察対象物ＷＫの異なるＸＹ位置における高さ情報を三次元参照情報として取得するもので、たとえば観察対象物ＷＫの高さ画像データを取得する部材である。視野移動機構５で表示制御部５２によりディスプレイ部７０に表示される観察視野を移動させる際、高さ情報取得部８９により取得した三次元参照情報のうち、移動先の視野移動位置に対応するＸＹ位置の高さ情報に基づいて、フォーカス調整機構を調整して焦点位置を調整することが可能となる。ここで高さ情報は、ステージ部３０の載置面からのｚ方向の位置を示すものである。このような構成により、予め観察対象物ＷＫの三次元情報である高さ画像データを取得しておくことで、この高さ画像データの高さ情報に基づいてフォーカス調整を行うことが可能となり、観察視野を移動させる際に、焦点の合った画像データをディスプレイ部７０に表示させることが可能となる。高さ情報取得部８９は例えば、低倍の対物レンズ部２５により撮像された三次元情報付きの広域画像データに対して、三次元参照情報としてＸＹ位置に対応する高さ情報を取得する。高さ情報取得部８９は例えば、後述するナビ画像等の予め撮像された三次元情報付きの広域画像データに対して、三次元参照情報としてＸＹ位置に対応する高さ情報を取得することができる。なおフォーカス調整機構は、高さ情報取得部８９で取得した高さ情報が含まれていない部位を表示させる際に、この部位の周囲の高さ情報に基づいて推定された高さ情報に基づいて、フォーカス調整を行うように構成してもよい。ステージ部３０の載置面が固定されている場合等、ステージ部３０の載置面の移動を考慮しない場合は、高さ情報は必ずしもステージ部３０の載置面からのｚ方向の位置である必要はなく、たとえば拡大観察装置の装置座標系のｚ方向の位置であってもよい。

またフォーカス調整機構は、三次元参照情報として予め定められた幾何形状を高さ情報の測定値から推定し、視野移動位置と推定情報に基づき高さ狙い値を決定し移動するよう構成してもよい。ここで予め定められた幾何形状には、平面、球面、円筒、円錐、パラボラ形状等が利用できる。

照明制御部６６により第一シーケンスを実行中に、予め定められた幾何形状を用いた視野移動中フォーカスシーケンスをフォーカス調整機構より実行する際は、照明部６０を第一照明パターンで動作させ、予め測定された各ＸＹ位置における観察対象物ＷＫの高さ情報と平面形状等の幾何形状とに基づいて焦点位置を調整する。移動停止検知部９４により観察視野の移動の停止状態を検知すると、視野移動中フォーカスシーケンスを終了し、停止シーケンスを実行する。停止シーケンスにおいて、観察対象物ＷＫの高さ情報の測定とオートフォーカスとを実行する際、照明部６０を同軸落射照明部６２やリング照明部６３等を全点灯する全射照明に一時的に切り替えて、高さ情報の測定とオートフォーカス完了後に再び照明部６０を第一照明パターンで動作させる。高さ情報取得部８９により測定、取得された高さ情報に基づいて三次元参照情報は更新される。移動停止検知部９４により観察視野の移動状態を検知すると、照明制御部６６により照明部６０を第一照明パターンで動作させたまま、フォーカスシーケンス実行部９３視野移動中フォーカスシーケンスを実行する。

さらにフォーカス調整機構は、視野移動機構５による観察視野の移動が停止された際に、自動でオートフォーカス制御を実行するよう構成してもよい。またフォーカス調整機構は、オートフォーカス中止の指示があった際に、オートフォーカス制御を直ちに停止するよう構成してもよい。
（特徴量算出部８８）

特徴量算出部８８は、第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量をそれぞれ算出する。特徴量としては、例えば画像データの分散が利用できる。これにより、傷や欠陥に対応する画像の特徴が最も分かる照明方向を、第二シーケンスの表示対象として選択することが可能となる。

このプロセッサ部８０は汎用のＣＰＵやＭＰＵ、ＳｏＣ、あるいは特定用途向けにカスタマイズされたＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。なおこの例では、一のＣＰＵをプロセッサ部として、後述する複数の機能を実現する構成を示しているが、本発明はこの構成に限られず、複数のＣＰＵ等でプロセッサ部を構成してもよい。複数のＣＰＵには、物理的に複数のＣＰＵとする他、複数のＣＰＵコアを一パッケージに組み込んだいわゆるマルチコアのＭＰＵとしてもよい。この場合において、複数のＣＰＵやＣＰＵコアで各機能を実現する他、ＣＰＵやＣＰＵコア毎に異なる機能を割り当てて実行してもよい。さらに、ＣＰＵとＧＰＵの組み合わせでプロセッサ部を構成してもよい。この場合において、ＧＰＵは上述した表示制御部５２の機能を果たす他、プロセッサ部に割り当てられた機能の一部又は全部を実行させるように構成してもよい。
（領域指定部）

領域指定部は、ディスプレイ部７０に表示された画像データ上で、所望の領域の指定を受け付ける。領域指定部は、上述したマウス等の操作部５５が利用できる。照明部６０の照明方向を切り替える第一シーケンスにおいて、ユーザが領域指定部を用いて画像データ上に所望の領域としてＲＯＩを指定すると、特徴量算出部８８は、第一照明パターンの各照明方向で照明された複数の画像データに対して、領域指定部により指定された領域内で画像データの特徴量をそれぞれ算出する。一方で照明制御部６６は、領域指定部により領域が指定されたタイミングで、特徴量算出部８８で算出された各画像データの特徴量に基づいていずれかの照明方向を選択し、第二シーケンスを実行する。このように、照明方向を順次切り替えるライブ画像に対して、ユーザが所望の領域を指定することにより、指定された領域に適した照明方向が自動的に選択されて、傷などが見易い照明がなされた画像を観察することが可能となる。

また領域指定部によるＲＯＩの指定は、照明部６０の照明パターンを第一照明パターンから第二照明パターンに切り替えるトリガとしても機能する。さらにＲＯＩを指定し直すことで、新たに指定されたＲＯＩの領域内で算出された画像データの特徴量に基づいて、再度照明方向の決定が行われる。バッファメモリ５７に、一サイクル以上の画像データが保持されている場合、バッファメモリ５７に保持された各画像データに対し、新たに指定されたＲＯＩの領域内の当該画像データの特徴量に基づいて、再度照明方向の決定が行われる。一方、バッファメモリ５７に、一サイクルに満たない期間の画像データが保持されている場合や画像データが保持されていない場合は、一サイクルに対応する画像データがバッファメモリ５７にバッファリングできるまで一時的に第一シーケンスに移行した後、特徴量算出部８８は、バッファメモリ５７に保持された各画像データに対し、新たに指定されたＲＯＩの領域内の当該画像データの特徴量に基づいて、再度照明方向の決定が行われ、第一シーケンスから第二シーケンスに戻る。

なおＲＯＩの指定は、ディスプレイ部７０に表示された画像データ上で、矩形形状等の境界形状をマウスのクリック等で指定を受け付けることで境界形状に囲まれる領域の指定を行う。マウスのクリック等で境界形状の頂点を指定して行う他、頂点を指定した多角形状の境界により囲まれる領域としたり、円形や楕円形等の幾何学図形の境界により囲まれる領域としてもよい。また、境界形状はディスプレイ部７０に表示された画像データ上で自由曲線により指定されてもよい。ＲＯＩの指定は、ディスプレイ部７０に表示された画像データ上で所定の太さを有する線分であるフリーラインをマウスのクリック等で指定を受け付けることで当該線分に相当する領域を指定してもよい。なお、ＲＯＩの指定は、領域を囲う境界形状を受け付ける指定と領域に相当する線分を受け付ける指定とを選択的に受け付けるようにしてもよい。
（ナビ画像登録機能）

また本実施形態に係る拡大観察装置では、観察対象物を観察する範囲を探し易いよう、広域画像を登録するナビ画像登録機能を備えている。ナビ画像登録機能は、事前に観察対象物を低倍率の対物レンズ部２５で撮像した広域画像を取得しておき、この広域画像を現在の観察視野とは別の画面、例えばナビゲーションウィンドウで表示させる機能である。ナビゲーションウィンドウ上で、所望の位置をクリックすると、その位置にＸＹステージを移動させることができる。ナビ画像登録機能の詳細を、図５に示す拡大画像観察プログラムのユーザインターフェース画面に基づいて説明する。この図に示すナビ画像登録画面２３０は、画像表示領域２３１と、操作領域２３２と、ナビゲーション領域２３３を備える。画像表示領域２３１は、画像を表示させる領域である。操作領域２３２は、各種の操作ボタンや説明などを表示させる領域である。ナビゲーション領域２３３は、広域画像であるナビ画像ＮＩを表示させる領域である。

画像表示領域２３１に表示されている観察視野と対応する位置が、ナビゲーション領域２３３で表示されるナビ画像ＮＩ上に矩形状ＦＲに表示される。画像表示領域２３１に表示されている観察視野と対応する位置の表示は矩形状ＦＲに限られず、ナビゲーション領域２３３で表示されるナビ画像ＮＩ上に十字状に交差するクロス線により表示してもよい。この場合、クロス線の交差するナビ画像ＮＩ上の位置が、画像表示領域２３１に表示されている観察視野の中央に対応するようにクロス線が表示される。これにより、現在観察している位置が観察対象物のどのあたりの部位であるか、その位置関係を相対的に把握できる。図５においては、ナビ画像ＮＩ上に、基板上にはんだ付けされたチップ抵抗ＣＲ１～ＣＲ３が表示されており、はんだＳＤに実装されたチップ抵抗ＣＲ１の中心が観察視野の中央に位置している。またＸＹステージを移動させて画像表示領域２３１に表示される観察視野を変更させると、これに応じてナビゲーション領域２３３上の矩形状ＦＲの位置も移動後の位置に更新される。またナビゲーション領域２３３で所望の位置をマウスカーソル等で指示すると、これに応じた位置にＸＹステージが移動される。なおこのようなナビ画像ＮＩは、観察対象物の広い範囲を撮像することが好ましいが、観察対象物の全景である必要はない。ここで、ステージ部３０と観察対象物ＷＫ、ナビ画像ＮＩ、観察視野の関係を、図６に示す。
（３Ｄナビ画像登録機能）

さらに本実施形態に係る拡大観察装置は、高さ情報を有する広域画像を登録する３Ｄナビ画像登録機能を持たせることもできる。３Ｄナビ画像登録機能は、ナビ画像登録機能と統合してもよい。すなわち、広域画像としてナビ画像を登録する際に、このナビ画像に高さ情報を持たせた３Ｄナビ画像として登録することもできる。
（オートフォーカス調整機構）

この拡大観察装置１００は、オートフォーカス機能を備えている。具体的には、カメラ部１０と対物レンズ部２５との相対距離を、対物レンズ部２５の光軸に沿って変化させて画像のフォーカスを調整するフォーカス調整機構でもって、オートフォーカスを実行する。オートフォーカスを実現する方法としては、コントラスト方式や位相差方式など、既知の方法を適宜利用できる。上述した実施形態１に係る拡大観察装置は、画像データを構成する画素の輝度値を利用したコントラスト方式を利用している。

オートフォーカスには、通常の高さ範囲内で焦点の合う位置を探索する通常オートフォーカスと、通常オートフォーカスの高さ範囲よりも狭い範囲内で合焦位置を探索する短距離オートフォーカスがある。

一般には、オートフォーカスはＸＹステージを停止させている状態で行う。すなわちヘッド部４や対物レンズ部２５を移動させている間は、オートフォーカスを行わず、ＸＹステージを停止させた状態で、オートフォーカスを実行する。いいかえると、観察視野の移動シーケンス中はオートフォーカスを実行せず、停止シーケンスの際に実行する。また、このようなオートフォーカスは、ユーザがオートフォーカス実行を指示する明示的な命令、例えばオートフォーカス実行ボタンを押下する等の処理によって実行される他、ＸＹステージの移動が停止されたことを拡大観察装置側で検出し、観察視野の移動が停止されると自動で実行されるようにしてもよい。これにより、一々ユーザがオートフォーカス実行を指示することなく、観察視野の移動を停止させると自動で焦点の合った画像がディスプレイ部７０に表示されるようになり、使い勝手が向上する。観察視野の移動や停止は、移動停止検知部９４で行うことができる。
（フォーカス追従機能）

一方で本実施形態に係る拡大観察装置では、ＸＹステージを静止させている状態のみならず、ＸＹステージの移動中、すなわち観察視野を移動させている際にもオートフォーカスを実行することができる。本明細書では、このように観察視野をＸＹ平面内で移動させている際にフォーカス調整を行う機能をフォーカス追従と呼ぶ。フォーカス追従は、焦点の合う方向にヘッド部４を移動させるように追従する。

このような合焦制御を、図７Ａ及び図７Ｂに基づいて説明する。フォーカス追従は、観察視野の移動中に行う合焦制御である移動中シーケンスと、観察視野の移動を停止した際に停止シーケンスを含む。図７Ａは移動中シーケンスを、図７Ｂは停止シーケンスを、それぞれ示している。またこれらの図では、説明の便宜上対物レンズ部２５側を移動させて観察視野を移動させる例を示しているが、観察視野の移動はこれに限らず、ＸＹステージ側を移動させてもよいことはいうまでもない。図７Ａに示すように、観察視野の移動中には観察対象物の概形に追従して対物レンズ部２５を上下方向に移動させて対物レンズ部２５の焦点距離と観察対象物との相対距離を変化させ、焦点位置を調整する。矢印２６は移動中シーケンスにおける対物レンズ部２５の制御方向を示す。すなわち、矢印２６は視野移動機構による制御方向と、対物レンズ部２５の焦点距離と観察対象物との相対距離を変化させる制御の方向を合成したものである。また図７Ｂに示すように観察視野の移動が停止されると、停止シーケンスとして焦点位置を正確に調整するためのオートフォーカスが実行される。この場合は、移動中シーケンスよりも精度の高いオートフォーカスの結果が得られる。図７Ｂにおいて矢印２７が、停止シーケンスにおける対物レンズ部の焦点距離と観察対象物との相対距離を変化させる制御の方向を示す。なお、停止シーケンスにおけるオートフォーカスの実行は必ずしも必須でなく、観察視野の停止時にオートフォーカスを実行しない設定としてもよい。
（３Ｄ形状追従モード）

３Ｄ形状追従モードは、三次元参照情報として予め観察対象物の高さ情報を取得しておき、フォーカス制御部９０がこの高さ情報を利用してフォーカスを調整する。高さ情報は、観察対象物を低倍率で撮像する広域画像として３Ｄナビ画像を撮像する際に、合わせて高さ画像を取得することで行う。このように３Ｄ形状追従モードでは、事前に撮像した高さ情報を有する３Ｄナビ画像を利用してオートフォーカスを行う。

３Ｄ形状追従モードを、図８に示す。この図において、チップ抵抗ＣＲ４、ＣＲ５を実装した観察対象物について、太線の破線で示す３Ｄデータ３２が存在する領域３１を破線で示している。高さ情報すなわち３Ｄデータがある範囲３１では、この高さ情報に従って焦点位置を調整する。図８において矢印２８は３Ｄデータが存在する区間における、対物レンズ部の制御方向を示す。一方、３Ｄデータのない範囲に観察視野が移動された際には、フォーカス値を利用した制御に切り替わる。この範囲では、通常オートフォーカスの汎用モードと同様の制御であってもよい。また３Ｄ形状追従モードにおいても、観察視野の移動が停止した際に停止シーケンスに移行する。さらに３Ｄデータの有無に応じて、ＲＯＩの色を変化させてもよい。

プロセッサ部８０は、視野移動機構によりカメラ部の観察視野を移動させる際に、三次元参照情報に基づいて焦点が合うように、対物レンズ部の焦点位置と観察対象物との相対距離を制御する。視野移動機構によってカメラ部の観察視野が移動される際、フォーカス制御部９０は、高さ情報取得部８９によって取得された三次元参照情報に基づいてフォーカス調整機構を制御し、対物レンズ部の焦点位置と観察対象物との相対距離を制御する。また、高さ情報取得部８９はオートフォーカスが実行される際に測定された測定対象物の高さ情報に基づいて三次元参照情報を更新する。
（オフセット機能）

さらに３Ｄ形状追従モードは、３Ｄデータの高さをオフセットする機能を加えることもできる。このようなオフセット機能を、図９に基づいて説明する。ここでは３Ｄデータが図８と同様、太線の破線で示すように得られているものとする。３Ｄデータが存在する位置で、観察視野の移動を停止させると、移動停止検知部９４によって観察視野の移動停止が検知されて、この位置で停止シーケンスにおけるオートフォーカス動作が実行され、高さ情報取得部８９により高さ情報が取得される。高さ情報取得部８９は、この位置における３Ｄデータの高さを、演算した高さ情報と一致させるように、３Ｄデータのオフセット量を算出する。そして、高さ情報取得部８９は、３Ｄデータをオフセット量に基づいてオフセットさせる。
このようにして３Ｄデータの高さ情報を構成することで、より正確な観察対象物の表面高さを更新された三次元参照情報として取得して合焦制御を正確に行うことが可能となる。

照明制御部６６により第一シーケンスを実行中に、オフセット機能を実行する際は、停止シーケンスにおいて、照明部６０を全点灯する全射照明に一時的に切り替えて、オートフォーカス動作を実行し、測定対象物ＷＫの高さ情報を取得する。オートフォーカス動作が完了後に再び照明部６０を第一照明パターンで動作させる。
（平面追従モード）

さらに本実施形態に係る拡大観察装置では、合焦制御として平面追従モードを備えている。平面追従モードにおいては、図１０Ａに示すように複数箇所のフォーカス位置から、三次元参照情報として平面を推定し、ＸＹステージの移動中に推定した平面に沿ってＺ座標を移動する。またＸＹステージの移動停止後は通常のオートフォーカスを行う。図１０Ａの例では、ＳＱ１は多点高さ取得（オートフォーカス動作）を、ＳＱ３は高さ取得（オートフォーカス動作）を、ＳＱ５は高さ取得（オートフォーカス動作）を、それぞれ示している。またＳＱ２とＳＱ４は移動中シーケンスを、ＳＱ３とＳＱ５は停止シーケンスを示している。このような平面追従モードを実行するには、例えば図１１に示すユーザインターフェース画面において、操作領域２４２に設けられた「平面フィット」ボタン２５２を押下する。これによって平面追従モードが実行される。具体的には、図１０ＡにおいてＳＱ１で点線で示す観察視野内で複数点の高さを取得し、図１０Ｂに示すように平面Ａを推定する。次にＳＱ１で推定した平面Ａに追従してＳＱ２の区間を移動する。図１０Ａにおいて、ＩはＳＱ２の区間における、対物レンズ部２５の制御方向を示す。すなわち、ＳＱ２の区間における視野移動機構による制御の方向と対物レンズ部２５の焦点距離と観察対象物との相対距離を変化させる制御の方向を合成したものを示している。そしてＳＱ２の区間を移動後、ＳＱ３で対物レンズ部２５を停止させる。さらに停止させた位置においてオートフォーカスを行い、高さ情報を取得する。図１０ＡにおいてＩＩＩが対物レンズ部２５の焦点距離と観察対象物との相対距離を変化させる制御の方向を示す。加えて、ＳＱ１で取得した複数点の高さと合わせて図１０Ｂに示すように更新された三次元参照情報として平面Ｂを推定する。次にＳＱ３で推定した平面Ｂに追従してＳＱ４の区間を移動する。最後にＳＱ４の区間を移動後、ＳＱ５で対物レンズ部２５を停止させる。停止した位置においてオートフォーカスを行い高さ情報を取得する。そしてＳＱ１、ＳＱ３で取得した複数点の高さと合わせて、図１０Ｂに示すように更新された三次元参照情報として平面Ｃを推定する。このようにして平面追従モードにおいては、観察視野の移動停止時にオートフォーカスを実行して高さを取得し、その都度、平面を再推定する。また観察視野の移動中は推定された平面に沿うように、上下方向に制御させる。このようにして、従来観察視野の移動中には行えなかったフォーカス調整を実現できる。なお、ＳＱ３およびＳＱ５においてＳＱ１と同様に複数点の高さを取得するようにしても良い。

照明制御部６６により第一シーケンスを実行中に、平面追従モードを実行する際は、停止シーケンスにおいて、照明部６０を全点灯する全射照明に一時的に切り替えて、オートフォーカスを実行し、測定対象物ＷＫの高さを取得する。オートフォーカスが完了後に再び照明部６０を第一照明パターンで動作させる。図１１において「ＸＹステージ停止時に深度合成を実行する」チェックボックス２５５を選択している場合、観察視野の移動中は、照明部６０は第一照明パターンで動作するように制御され、観察視野の移動停止が検知されると、第一シーケンスにおいて選択された照明方向に従って、第二照明パターンで動作するように制御される。照明部６０が第二照明パターンで動作するよう制御された後、深度合成が実行される。
（フレームスキップ機能）

また本実施形態に係る拡大観察装置では、オートフォーカスを実行する際に、現在表示されている画像よりも焦点の合った画像が得られた場合にのみ画像表示を更新し、焦点が現在表示されている画像よりも焦点が合わなくなった画像が得られた場合には画像表示を更新しないフレームスキップ機能を備えている。これによって、ディスプレイ部７０で表示される画像に対してオートフォーカスを実行する際、ユーザは焦点の合った画像を観察したいのに焦点の合わない画像が表示されるストレスに晒されることなく、より焦点の合った画像に切り替えることが可能となる。
（サーチライティング）

本実施形態に係る拡大観察装置では、照明方向を自動的に変化させるサーチライティング機能を実行することができる。サーチライティングでは、照明光の照射方向を異なる方向に切り替えながら観察視野を移動させることができる。これにより、観察対象物の微小な傷や欠陥の観察漏れを抑制できる。このようなサーチライティングは、照明方向を切り替えながら観察対象物を観察視野内で移動させる第一シーケンスと、発見した傷や欠陥が見易い照明方向を決定する第二シーケンスを含む。第一シーケンスにおいては、照明方向を随時切り替えながら観察対象物のライブ画像がディスプレイ部７０に表示される。ユーザは、このライブ画像を見ながら、観察視野内で観察対象物の位置を探す。この探索の際に、照明方向と観察視野における観察対象物の観察位置の両方を同時に変化させることで、観察対象物の微小な傷や欠陥を漏れなく探すことが可能となる。また第二シーケンスにおいて、発見した傷や欠陥の観察に適した照明方向を決定する。照明方向が決定された後は、照明方向の切り替えを停止し、決定された照明方向での照明を継続したライブ画像を表示させる。

例えば図４に示す照明部６０を、８の字状に、または、反時計回りに照明ブロックの点灯を切り替える。これによって観察視野の画像は、図１２Ａ～図１２Ｄに示すように、照明方向が切り替えられる結果、観察対象物表面の状態、ここでは傷が見え易くなる。このような傷や凹凸などの表面状態は、照明方向によって陰影の生じ方や見え方が異なる。また表面状態に応じて、どの方向からの照明で見易くなるかも変動する。例えば図１２Ａ～図１２Ｄの例では、図１２Ａでは見難い傷が、図１２Ｄでは明確となる。したがって、照明方向を様々な方向に周期的に変化させることで、傷や凹凸などの表面の様子を観察し易くなる。

なお照明方向を順次切り替える第一照明パターンにおいて、図４に示す照明ブロック６３ａ～６３ｄは、必ずしもいずれか一つのみを点灯させる態様に限定されない。一例として、複数の照明ブロックを同時に点灯させるパターンを含めてもよい。例えば、照明ブロックを２つ単位で同時に点灯させてもよい。図４の例において、照明ブロック６３ａと照明ブロック６３ｂを同時に点灯させ、また照明ブロック６３ｃと照明ブロック６３ｄを同時に照明させることを繰り返す第一照明パターンを構成してもよい。また、照明ブロックの点灯切り替えを行った後、すべての照明ブロックを点灯する全点灯を含めて、第一照明パターンを構成してもよい。

照明方向の変化は、リング照明の場合、円環に沿って一定方向、例えば反時計回りや時計回りに変化させることが好ましい。これによって、観察対象物の見え方の変化が連続的になり、傷などが浮かび上がり易くなる。

さらに、照明方向を切り替える際には、各照明ブロックの全灯と消灯を瞬時に切り替える、換言すると照度を矩形波状に変化させるのでなく、照度を徐々に変化させることが好ましい。このような点灯制御を逓減制御と呼ぶ。例えば消灯の際は、照度を漸近的に低下させ、点灯の際は徐々に照度を増すように変化させる。これによって、カメラ部１０のイメージセンサに、グローバルシャッター方式でなく、ローリングシャッター方式のＣＭＯＳを用いて撮像する場合に、画像データに縞模様が生じる、いわゆるフラッシュバンドの発生を回避した撮像が可能となる。特に照明部６０の光源に、高出力タイプのＬＥＤを用いる場合は、フラッシュバンドの影響が顕著となるため、その対策として輝度変化を緩やかに抑えることは有効となる。あるいは、表示のタイミングを、照明ＯＮ／ＯＦＦの過渡的なタイミングからずらして、安定的な照度が得られている時期とすることでも対応できる。

さらに照明ＯＮ／ＯＦＦの切り替えタイミングにおいて、隣接する照明ブロックを排他的にＯＮ／ＯＦＦするのでなく、時間的に部分的に重複するように切り替えることが好ましい。これによって、照明のＯＮ／ＯＦＦの変化によりちかちかしてユーザに煩わしくなる事態を緩和できる。また、時間的に重複する際は、上述の通り矩形波状に照度を変化させるのでなく、照度を徐々に照度を低下させることが好ましい。例えば図１３Ａ～図１３Ｄに示すように、照明ブロックの点灯箇所を反時計回りに切り替える際、図１３Ａのように照明ブロック６３ａのみを点灯させた状態から、図１３Ｄに示すように照明ブロック６３ｂのみを点灯させた状態に切り替えるのでなく、まず図１３Ａの状態から図１３Ｂのように照明ブロック６３ａの照度を低下させると共に、照明ブロック６３ｂを点灯を徐々に開始する。さらに図１３Ｃのように照明ブロック６３ｂの照度を増す一方、照明ブロック６３ａの照度をさらに低下させ、図１３Ｄのように照明ブロックの点灯位置を切り替えることで、スムーズな照明方向の切り替えが実現され、ユーザの目の負荷が少なく、またローリングシャッター型ＣＭＯＳを用いたカメラ部１０でもフラッシュバンドの発生を回避した画像データの取得が可能となる。
（視野移動中サーチライティング）

またこのようなサーチライティングは、観察視野の停止時に行うのみならず、移動中に実行することもできる。これにより、視野探しの際にサーチライティングを実行し、傷や凹凸など観察部位を探し易くなる。
（サーチライティング画面２６０）

サーチライティングの設定を行うサーチライティング画面２６０の一例を、図１４～図１６のユーザインターフェース画面に示す。これらのサーチライティング画面２６０は、左側に画像表示領域２６１、右側に操作領域２６２を設けている。操作領域２６２の左には、項目タブ２６３が配置される。項目タブ２６３には、操作領域２６２の表示内容を切り替えるタブが複数設けられており、図１４～図１６のサーチライティング画面２６０は、「照度・明るさ」タブ２６３ａが選択された状態を示している。

操作領域２６２には、「戻る」ボタン２６４、「サーチライティング」ボタン２６５、詳細指定欄２６６、光量調整スライダ２６７、「マルチライティング」ボタン２６８、ステータス表示欄２６９などが設けられている。操作領域２６２の右上に設けられた「戻る」ボタン２６４は、トップ画面に戻るための部材である。

「サーチライティング」ボタン２６５は、第一照明パターンである照明切替モードへの移行を実行するためのボタンである。「サーチライティング」ボタン２６５を押下すると、照明状態の順次切替が開始される。また「サーチライティング」ボタン２６５を再度押すと、通常の照明モードに戻る。またサーチライティング機能がＯＮの場合は、「サーチライティング」ボタン２６５が図１４等のようにアクティブ表示となる。

詳細指定欄２６６には、ＲＯＩ指定部２７０、色選択ボタン２７１、照明状態表示ボタン２７２、「再プレビュー」ボタン２７３等が設けられる。

ＲＯＩ指定部２７０は、領域指定部の一態様であり、ＲＯＩの指定方法を選択するボタンであり、ここでは「矩形」ボタン２７０ａと「フリーライン」ボタン２７０ｂのいずれかを選択できる。「矩形」ボタン２７０ａを選択すると、「矩形」ボタン２７０ａがアクティブ表示される。このとき、画像表示領域２６１上で２点を選択すると、２点を対角とする矩形状を境界とするＲＯＩが指定される。また「フリーライン」ボタン２７０ｂを選択すると、「フリーライン」ボタン２７０ｂがアクティブ表示され、画像表示領域２６１上で任意の領域を所定の太さを有する線分で指定できる。また「フリーライン」ボタン２７０ｂの隣に設けられたスライダ２７０ｃを操作することで、フリーラインの太さを選択できる。

色選択ボタン２７１は、指定するＲＯＩの色を選択するためのボタンである。また照明状態表示ボタン２７２は、照明状態を表示する。この例では、４方向の照明の内、どの方向の照明がアクティブかを表示する。図１４の例では、下側の照明状態表示ボタン２７２がアクティブとなっており、下側の照明ブロックが点灯された照明パターンの画像が画像表示領域２６１に表示されていることを示している。特に第二照明パターンである照明状態モードに切り替わったとき、ユーザに対し、どの照明方向が選択されているかを視覚的に告知できる。

さらに「再プレビュー」ボタン２７３は、ＲＯＩ指定により照明状態決定後に、再度照明状態の順次切替を実行するためのボタンである。光量調整スライダ２６７は、照明部６０の照明光の光量を調整するための部材である。「マルチライティング」ボタン２６８は、マルチライティング撮影を実行するためのボタンである。マルチライティング撮影は、各照明状態に基づく画像を取得し、合成画像を作成する。またユーザの指示した照明方向の再合成画像を表示させる。操作領域２６２の下部に設けられたステータス表示欄２６９では、スタンドの傾斜角度や、θステージの回転角度、対物レンズ部２５の倍率等を表示している。
（サーチライティングの手順）

ここで、サーチライティングの具体的な手順を、図１７のフローチャート及び図１４～図１６のサーチライティング画面２６０に基づいて説明する。ステップＳ１７０１において、照明切替モードへの移行指示を受け付ける。例えば図１４のサーチライティング画面２６０で「サーチライティング」ボタン２６５を押下する。これを受けてステップＳ１７０２において、第一照明パターンである照明切替モードに移行される。そしてステップＳ１７０３において、照明状態の順次切替が行われる。具体的には、照明ブロックの点灯位置が順次切り替えられる。そしてステップＳ１７０４において、ライブ画像を表示させる表示処理が実行される（詳細は図１８で後述）。

次にステップＳ１７０５において、ＲＯＩの指定を受け付けたか否かを判定する。ＲＯＩの指定は、図１４等のサーチライティング画面２６０で、ＲＯＩ指定部２７０から行う。ＲＯＩの指定がされていない間はステップＳ１７０３に戻って上記の処理を繰り返す。一方、ＲＯＩが指定されるとステップＳ１７０６に進み、照明状態毎の画像について指定されたＲＯＩに対応する画像データの特徴量を算出する。ここでは、特徴量算出部８８が、各照明ブロックによる照明方向で照明された画像データ中の、ＲＯＩで指定された領域内の画像データの特徴量をそれぞれ算出する。例えば図１４のサーチライティング画面２６０で、「矩形」ボタン２７０ａを選択してＲＯＩを指定すると、図１５に示すように、画像表示領域２６１に矩形状のＲＯＩが、色選択ボタン２７１で選択された色に表示される。このＲＯＩの領域内の分散を、各照明方向の画像データに対して演算し、照明方向を決定する。

さらにステップＳ１７０７において、画像データの特徴量に基づいて照明状態を決定し、決定された照明状態モードすなわち第二照明パターンへ移行する。すなわち、特徴量の最も多い画像データに対応する照明方向を決定すると共に、第一シーケンスから第二シーケンスに切り替える。そしてステップＳ１７０８において、決定された照明状態に制御される。すなわち第二シーケンスを実行し、決定された照明方向での照明を行い、ステップＳ１７０９において画像を表示させる。図１６のサーチライティング画面２６０の例では、画像データの特徴量に基づいて右側の照明状態表示ボタン２７２がアクティブとなっており、右側の照明ブロックが点灯された照明パターンの画像が画像表示領域２６１に表示されている。すなわち、右側からの照明方向が選択され、この結果、図１６では傷が図１４や図１５よりも見易くなった画像が、画像表示領域２６１に表示されている。

さらにステップＳ１７１０において、ＲＯＩの再指定を受け付けたか否かを判定する。ユーザがＲＯＩの再指定を行ったことを検出した場合は、ステップＳ１７０６に戻り、再指定されたＲＯＩで画像データの特徴量の算出を行って上記の処理を繰り返す。ＲＯＩの再指定は、例えば図１６のサーチライティング画面２６０において、画像表示領域２６１で新たなＲＯＩを指定し直すことで行える。一方、ＲＯＩの再指定がない場合は、ステップＳ１７１１に進み、観察視野の移動指示に基づき観察視野を移動させて、ライブ画像を表示させる。以上のようにして、サーチライティングで照明方向を変化させながら、ＲＯＩが指定されると照明方向を自動決定して適切な画像を表示させることができる。
（表示処理）

ここで、サーチライティングの際におけるライブ画像の表示処理（図１７のステップＳ１７０４）の一例を、図１８のフローチャートに基づいて説明する。まずステップＳ１８０１において、ライブ画像を表示させる。次にステップＳ１８０２において、照明状態毎に画像をバッファリングする。ここではバッファメモリ５７に、画像データを一時的に保持する。そしてステップＳ１８０３において、観察視野の移動指示があったか否かを判定する。観察視野の移動指示が検出されない場合は、表示処理を終了する。一方、観察視野の移動指示、例えばステージ部の移動を検出した場合は、ステップＳ１８０４に進み、バッファリングされた画像をクリアする。そしてステップＳ１８０５において、移動指示に基づき観察視野を移動させ、ステップＳ１８０６において、照明状態毎に画像データをバッファリングする。以上のようにしてライブ画像の表示処理が実行される。
（フォーカス追従モード表示処理）

また表示処理でライブ画像を表示させる際に、フォーカスを自動調整させることもできる。一例として、上述したフォーカス追従モードをＯＮとして表示処理を行う手順を、図１９のフローチャートに基づいて説明する。まずステップＳ１９０１において、ライブ画像を表示させる。次にステップＳ１９０２において、観察視野の移動指示を受け付けたか否かを判定する。観察視野の移動指示が検出されない場合は、ステップＳ１９１１にジャンプする。一方、観察視野の移動指示を検出した場合は、ステップＳ１９０３に進み、この移動指示に基づいて観察視野を移動させる。そしてステップＳ１９０４において、フォーカス追従を行う。ここでは、フォーカス追従モードの種別（汎用モード、３Ｄ形状追従モード、平面追従モード等）に応じた合焦制御を行う。さらにステップＳ１９０５において、観察視野の移動が停止されたか否かを判定する。視野移動の停止が検出されない場合は、ステップＳ１９０４に戻り、フォーカス追従を続行する。一方、観察視野の移動が停止されたことを検出すると、ステップＳ１９０６に進んで照明状態の順次切替を一時的に停止し、ステップＳ１９０７において、短距離オートフォーカスを実行する。ここでは、測定対象物の高さ（Ｚ座標）を測定する。さらにステップＳ１９０８において、測定した座標に基づき３Ｄデータを補正する。次いでステップＳ１９０９において、照明状態の順次切替を再開する。そしてステップＳ１９１０において、観察視野の移動の指示があったか否かを判定する。視野移動の指示を検出した場合は、ステップＳ１９０３に戻って観察視野の移動を行い、上記の処理を繰り返す。一方、移動指示がない場合は、ステップＳ１９１１に進み、照明状態毎に画像データをバッファリングする。このようにして、フォーカス追従モード表示処理を実行する。
（逓減制御）

ここで、照明ブロックの切り替えを時間的にオーバーラップし、かつ徐々に光量を変化させる逓減制御を実現する具体的な手順を、図２０のタイミングチャートに基づいて説明する。ここでは、すべての照明ブロックを点灯させる同軸照明から、逓減制御のサーチライティングに切り替える様子を説明している。この図に示すように、第一シーケンスでは、照明順次点灯と、ライブ画像の表示と、画像データのバッファリングが行われる。また第二シーケンスでは、バッファリングされた画像を基に照明方向が決定され、観察が可能となる。第二シーケンスの後は、ＲＯＩの再指定を行うことで、バッファリングされた画像データを基に照明方向が決定される。また再度、照明方向の切り替わりが指示された場合には、第一シーケンスに戻る。

またここでは、ユーザの目に負担がかからないようにするため、照明強度が徐々に変化する逓減制御と、２つの照明方向が時間的に重複するオーバーラップ制御を行い、照明ブロックの照明パターンが徐々に切り替わるようにしている

なお、照明方向の切り替えは、照明ブロックを時計回りに点灯させ、最後にすべての照明ブロックを点灯させる第一照明パターンを採用している。すなわち、照明ブロック６３ｄ→照明ブロック６３ｃ→照明ブロック６３ｂ→照明ブロック６３ａ→照明ブロック６３ａ～６３ｄで１サイクルを構成する。このように各照明パターンが一巡する区間を１サイクルと定義する。なお、全点灯の区間は、設けなくてもよい。また、全消灯の区間を設けてもよい。

具体的に、図１４のユーザインターフェースで「サーチライティング」ボタン２６５を押下してサーチライティングが開始されると、同軸照明から順次点灯に切り替えられ、照明方向の切り替えが周期的に行われ、停止が指示されるまでサイクルを繰り返す。

逓減制御では、各照明ブロックの照明光の立ち上がりと立ち下がりにおいて、照明強度を徐々に変化させている。さらに、照明光の切り替わり部分が互いにオーバーラップするように構成している。ここでは、消灯させる照明ブロックの光量の減少率と、点灯させる照明ブロックの光量の増加率を対応させることで、トータルの光量の変化を抑制している。

なお、逓減制御を行わない場合は、光量の変化を矩形波状としてもよい。また、照明ブロックの点灯が重複する区間を設けないようなタイミングでの点灯制御としてもよい。

傷を探すために順次点灯中はディスプレイ部７０においてライブ画像が表示されている。一方で画像データのバッファメモリ５７へのバッファリングは、各照明ブロックの点灯期間の内で、照明光が一定の輝度となる定常区間において行われる。いいかえると、輝度を低下させる区間や増加させる区間では、バッファリングは行われない。これらの区間では、２つの照明ブロックの照明光が重なるため、適切な照明方向を一義的に決定するには不適となるからである。バッファメモリ５７に保持される画像データは、適切な照明方向を決定するために用いられるため、照明方向と完全に対応付けされた画像データとすることが肝要となる。

ＲＯＩの指定が行われると、第二シーケンスに移行する。ここでは、既にバッファリングされた画像データに基づいて照明方向が決定されるため、順次点灯は停止される。また画像データのバッファリングも行われない。なお照明方向が決定された後のディスプレイ部７０の表示は、ライブ画像でも静止画でもよい。また第二シーケンスでは、画像のバッファリングは行われない。

さらに、ＲＯＩが再指定された際にも、すでにバッファリングされた画像に基づいて照明パターンを決定するため順次点灯は行われない。一方で、再プレビューが指定された場合には、再度第一シーケンスと同様の処理が行われる。再プレビューは、図１４等のサーチライティング画面２６０で、「再プレビュー」ボタン２７３を押下することで実行される。

なお図２０の例では、各照明ブロックの光量の変化を矩形波とせず、台形波としている。台形波とすることで、照明強度が一定となる定常区間が設けられ、この区間に画像データのバッファリングを行い易くなる。ただ、逓減制御が不要な場合は、光量の変化を矩形波状としてもよい。例えば照明部６０の照明光源として低輝度の発光ダイオードを使用する場合や、グローバルシャッター方式のＣＭＯＳをイメージセンサに使用する場合等は、矩形波状としてもフラッシュバンドが発生しない。また、シャッタースピードが高速な場合は、光量の変化を三角波状としてもよい。

また図２０の例では、照明ブロックの点灯切り替えの際に重複区間が設けられており、２つの照明方向が重なる区間が存在している。ただ本発明は、重複区間は必ずしも必須でなく、観察の目的や用途等に応じて重複区間の生じないような照明パターンも適宜採用可能である。
（視野移動中のサーチライティング）

以上の例では、観察視野を固定した状態でサーチライティングを行う例を説明した。本実施形態に係る拡大観察装置では、観察視野の移動中にサーチライティングを行うこともできる。この間の画像データのバッファリングや、ＲＯＩ指定とバッファリングされた画像データとの関係等を、図２１のタイミングチャートに基づいて説明する。ここでも、１サイクルは図２０で定義した１サイクルと同一である。

観察視野の移動停止が検知され、オートフォーカスが実行されて焦点があった状態で照明が順次点灯される。ここでは、照明方向が切り替わると焦点を合わせることができないため、観察視野の移動停止後に一度全ての照明ブロックを点灯させた状態でオートフォーカスを実行する。オートフォーカスによって焦点があった状態で画像データのバッファリングを開始する。

またＲＯＩ指定された際には、バッファリングされた画像データを基に照明パターンが決定される。さらにＲＯＩが再指定された場合には、バッファリングされた画像データをそのまま保持しているために再度照明を順次点灯させることなく、照明パターンを決定できる。一方で照明パターンが決定された後に観察視野が移動された場合は、観察視野の停止時後にオートフォーカスが行われるが、照明方向は順次切り替わらない。以下、各部の動作の相互関係を詳述する。

観察視野の移動と停止は、移動停止検知部９４で判定する。なお、ここではＸＹステージの移動により観察視野を移動させる例を示している。図２１において、ステージ移動命令が検出されない区間が、ステージ停止判定区間よりも短い場合は、観察視野（ＸＹステージ）の移動中と判定され、停止時のオートフォーカス等は実行されない。

観察視野の移動が開始されると、その時点でバッファメモリ５７にバッファリングされた画像データを破棄する。観察視野の移動により、画像データは逐次更新されるため、過去に撮像された画像データは使用できないからである。なお、画像データを破棄するには、例えば移動開始直後に全てのバッファリングされた画像データを破棄して、以降の画像データのバッファリングを行わない。あるいは、画像データのバッファリングと破棄を繰り返してもよい。

一方で、観察視野の移動が停止されたと判定すると、まずオートフォーカスを実行し、焦点を合わせる。この間は、照明パターンが切り替わっているとオートフォーカスできないため、照明方向の切り替えを停止する。ここでは、すべての照明ブロックを点灯させる全射照明とすることが好ましい。これによって画像の輝度を稼ぎオートフォーカスが高精度に行い易くなる。オートフォーカスによって焦点が合うと、順次点灯と画像のバッファリングが開始される。このように画像データのバッファリングは、観察視野が停止している間に実行される。

一方で、ＲＯＩが指定されると、これがトリガとなって第一シーケンスから第二シーケンスに切り替えられる。すなわち照明方向が固定され、以降はバッファメモリ５７の更新は行われず、過去に保持された画像データが維持される。

さらにＲＯＩが再指定された後は、バッファリングされた画像データに基づいて照明パターンを決定するため、順次点灯しない。

また第二シーケンスにおいて観察視野が移動された場合は、停止後にオートフォーカスが実行されるものの、照明パターンは固定されたままとなる。また画像データはバッファリングしない。このため、第二シーケンスにおいて観察視野が動されると、バッファリングされた画像データが存在しない状態となる。この間にＲＯＩの再指定が行われた場合は、照明パターンを切り替えて各照明方向の画像データを取得してから照明パターンを決定する。あるいは、ＲＯＩの再指定を受け付けずに、再プレビューを指定するように促してもよい。

なお定常区間とは、照明光の照射強度が一定になる区間を指す。この区間で取得された画像データがバッファリングされる。この定常区間の時間は限定されず、定常区間がなくてもよい。この場合は、照明光の光量の波形は、三角波や矩形波（重複区間を設けない場合）となる。また重複区間とは、ユーザの目に負担をかけないように設けた区間である。この区間の長さも限定されず、また図２０と同様、重複区間が存在しなくても良い。さらに停止判定区間とは、観察視野の移動が停止してから、停止したと判定されるまでの区間である。さらにまたトリガとなるものは、ＲＯＩの指定、観察視野の移動、観察対象物の他によらない照明方向の決定指示等も考えられる。照明方向の決定指示が出た場合は、各画像データで特徴量を算出して、照明方向を決定する。
（第一照明パターンの排他制御）

また、照明方向を第一照明パターンで周期的に変化させる第一シーケンスでは、オートフォーカスの実行が困難となる。オートフォーカスは上述の通り、画像の輝度情報に基づいて実行されるため、オートフォーカス実行中に照明方向を変更させる等して光量が変わると、正確な輝度情報を取得できなくなる。そこで、オートフォーカス実行時には照明方向の変化を停止するように構成してもよい。例えば、観察視野の移動が停止されると自動でオートフォーカスが実行される場合は、観察視野の移動中には照明方向を切り替える一方、観察視野の移動が停止されると、照明方向の切り替えを停止して第二シーケンスに切り替えると共に、オートフォーカスを実行する。観察視野の移動や停止は、移動停止検知部９４で検出することができる。また第一シーケンスから第二シーケンスへの切り替えは、照明制御部６６で行うことができる。

また照明方向の切り替えを停止する排他制御は、停止中のオートフォーカスの実行中に限らず、他の処理に際しても適用できる。例えば、観察視野の移動中にオートフォーカスを行うフォーカス追従モードの実行中に、サーチライティングをＯＦＦしてもよい。また画像処理部８４による、観察視野の異なる複数枚の画像を連結する画像連結や、高さの異なる複数枚の画像を合成する深度合成、ＨＤＲ合成等の画像処理中にも、第一照明パターンの照明方向切り替えを停止する。これらの画像合成処理においては、照明の光量を一定させることが望ましいからである。
（傷検出アルゴリズム）

以上は、ユーザが傷などを含むＲＯＩを指定することで、このＲＯＩに従って自動で照明方向を決定する手順について説明した。ただ本発明はこの構成に限られず、他の方法で照明方向を決定することもできる。例えば画像データの特徴量を計算する対象となる空間周波数成分を指定する。これにより、高い空間周波数である観察対象物の表面のヘアラインと低い空間周波数の打痕の区別が可能となる。指定された空間周波数成分により、ヘアラインが抽出された場合、抽出されたヘアラインが最も分かる照明方向を決定する。同様に指定された空間周波数成分により、打痕が抽出された場合、抽出された打痕が最も分かる照明ほうっ光を決定する。空間周波数成分の指定の他、特徴サイズ、傷サイズ等を指定するようにしてもよい。指定された特徴サイズや傷サイズに応じた画像データ中の特徴が抽出され、抽出された特徴が最も分かる照明方向が決定される。
（傷検出アルゴリズム）

上述の通り、複数の照明方向の内、いずれの照明方向が観察に最も適しているかを判断するには、照明光に対応した画像データの特徴量を利用している。画像データの特徴量に基づいて照明方向を決定する手順をここでは傷検出アルゴリズムと呼ぶ。特徴量としては、画像データの輝度の分散値が上げられる。輝度の分散が大きい画像は、観察対象物の傷等が最も目立つ画像であると仮定することができるからである。

また、他の特徴量としては、輝度差の合計が挙げられる。例えば画像データを構成する各画素の輝度値と平均値との差を合計した輝度差の合計が大きい画像は、観察対象物の傷等が最も目立つ画像であると想定できる。

さらに他の特徴量として、画像の空間周波数成分が挙げられる。例えば領域指定部で指定されたＲＯＩ内に、細かい傷と大きな傷が混在している場合には、お互いの影響を受けてしまう。これを回避する方法として、以下が考えられる。まず元画像データに対してＲＯＩを設定し、この領域内で輝度差の合計を計算する。これにより、細かい傷を検出できる（高周波成分を検出することに該当）。一方、元画像データを１段階縮小して、同じく輝度差の合計を計算する。これにより、中間の大きさの傷を検出できる。また一方で、元画像データを２段階縮小して、同じく輝度差の合計を計算する。これにより、大きな傷を検出できる（低周波成分の検出に相当）。この手順は、平滑化フィルタの強度を変えて傷を検出することと同等の処理となる。このようにして、傷の含まれた画像データを特定できる。

また、観察対象物に含まれる検出対象を指定することで、指定された検出対象に適した照明方向を決定するように構成してもよい。検出対象としては、例えば傷、ゴミ等の凹凸が挙げられ、ユーザはこれらの種別を指定する。たとえば、第一シーケンスにおいて各照明方向から照明された観察対象物ＷＫの画像データに基づいて各画像データ間の差分等から凹凸情報を算出することで傷、ゴミ等の凹凸を画像データから自動的に認識するようにしてもよい。

また、ＲＯＩなどの領域指定した場合は、指定された領域の範囲内において傷、ゴミ等の凹凸を画像データから自動的に認識するようにしてもよい。ＲＯＩなどの領域指定しない場合は、画像データ全体から自動で照明方向を決定するように構成してもよいし、画像データ中央付近の所定の領域が予めＲＯＩとして設定されていてもよい。
（マルチライティング機能）

マルチライティング機能は、例えば図１４等のサーチライティング画面２６０において、操作領域２６２の下段に設けられた「マルチライティング」ボタン２６８を押下することで実行できる。マルチライティング画面の一例を、図２２に示す。この図に示すマルチライティング画面４３０は、画面の上段に設けられた機能表示領域４３１と、画面の左側に設けられた主表示領域４３２と、右側に設けられた副表示領域４３３を備える。副表示領域４３３は、上段に出射方向指定欄４３３ａを、下段に出射方向表示欄４３３ｂを、それぞれ設けている。

マルチライティング画面４３０では、各照明方向で照明した静止画像を取得して、その中から最適な照明方向の画像をユーザに選択させる。これによって、ユーザはどの照明方向が適切かなどパラメータ調整作業を意識することなく、望む見易さを実現した画像を視覚的、感覚的に選択することが可能となる。

マルチライティング画面４３０の上部には、機能表示領域４３１が設定される。機能表示領域４３１には、深度合成ボタンｂ１、ＤＲ調整ボタンｂ２および保存ボタンｂ７が表示される。

機能表示領域４３１の下方に主表示領域４３２および副表示領域４３３が左右に並ぶように設定される。主表示領域４３２は、機能表示領域４３１および副表示領域４３３に比べて大きい面積を有する。初期状態では、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが主表示領域４３２のほぼ全体に渡って表示される。本例では、第１の方向性照明が照射されたときの観察対象物の画像ＳＩが主表示領域４３２に表示される。

副表示領域４３３には、出射方向指定欄４３３ａおよび出射方向表示欄４３３ｂが表示される。出射方向指定欄４３３ａには、載置面上の観察対象物の位置を示す対象物位置画像ｓｓ０が表示される。また、照明部６０よりも上方の位置から観察対象物を見たときの観察対象物に対する光の出射位置を示す光アイコンｓｓ１が対象物位置画像ｓｓ０上に重畳表示される。この場合、対象物位置画像ｓｓ０上の観察対象物の対象部分画像ｓｐと光アイコンｓｓ１との相対的な位置関係は、主表示領域４３２に表示される画像ＳＩを得るために観察対象物に照射されるべき光の出射方向（以下、光の仮想的な出射方向と呼ぶ。）に対応する。

ユーザは、図１等の操作部５５を用いて図２２の光アイコンｓｓ１を対象物位置画像ｓｓ０上の観察対象物の対象部分画像ｓｐに対して相対的に移動させることにより、光の仮想的な出射位置を把握しつつ光の仮想的な出射方向を容易に指定することができる。ユーザにより光の仮想的な出射方向が指定されることにより、主表示領域４３２に表示される観察対象物の画像ＳＩは、指定された出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像ＳＩに更新される。

出射方向表示欄４３３ｂには、載置面上の基準点を示す画像が基準点画像ｓｓ２として表示されるとともに、ステージ部３０上で基準点を覆う仮想的な半球の画像が半球画像ｓｓ３として立体的に表示される。半球画像ｓｓ３上には、光アイコンｓｓ１により指定される光の仮想的な出射方向に対応する光の出射位置を示す画像が出射位置画像ｓｓ４として表示される。さらに、半球画像ｓｓ３上の出射位置画像ｓｓ４と基準点画像ｓｓ２とを結ぶように直線が表示される。この場合、直線上で出射位置画像ｓｓ４から基準点画像ｓｓ２に向かう方向が、光アイコンｓｓ１により指定される光の出射方向を示す。ユーザは、出射方向表示欄４３３ｂに表示される基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を視認することにより、光アイコンｓｓ１により指定される光の仮想的な出射方向を容易かつ正確に認識することができる。拡大観察装置１においては、図２２の副表示領域４３３に表示される対象物位置画像ｓｓ０について予め定められた平面座標系が定義されている。

上記のように、主表示領域４３２に表示される画像ＳＩの画像データは、複数照明撮像の完了後、生成された複数の原画像データとユーザにより指定された光の仮想的な出射方向とに基づいて生成される。そのため、ユーザにより指定される光の仮想的な出射方向が連続的に変化する場合であっても、指定された出射方向に対応する複数の画像データが、制御部の処理能力に応じた速度でほぼ連続的に生成される。また、生成された複数の画像データに基づく画像ＳＩが連続的に表示される。したがって、照明の位置を変化させつつ継続して撮像を行った場合に得られる映像（動画）とほぼ同じ映像が主表示領域４３２上で擬似的に再現される。それにより、ユーザは、光の仮想的な出射方向を指定しつつ主表示領域４３２上の画像ＳＩを視認することにより、指定された出射方向の光が観察対象物にリアルタイムに照射されているように感じる。図２２のマルチライティング画面４３０においては、副表示領域４３３に表示される対象物位置画像ｓｓ０上に光アイコンｓｓ１が重畳表示される。本実施の形態においては、対象物位置画像ｓｓ０上の光アイコンｓｓ１に加えて、主表示領域４３２に表示される画像ＳＩ上にも光アイコンｓｓ１が重畳表示されてもよい。

また図２３に示すような照明光源表示画面２８０を別途用意してもよい。この例では、観察対象物の上方に配置した照明光の光源の位置を光アイコンｓｓ１として立体的に表示させている。ユーザは、光アイコンｓｓ１の位置をマウスクリックやドラッグなどの方法で任意の位置に移動させることができ、移動された位置に応じて実際の照明方向も調整される。このような制御は照明制御部６６により、照明光源表示画面２８０で指定された位置と対応する照明方向となるように、照明ブロックの選択や光量の調整を行う。また照明方向の指定には、マウスによるドラッグの他、図１４～図１６に示すようにユーザインターフェース画面に設けられた照明状態表示ボタン２７２で行うように構成してもよい。
［実施形態２］

また本実施形態に係る拡大観察装置では、サーチライティング機能に加えて、ルートガイド機能を備えることもできる。特にサーチライティング機能にルートガイド機能を併用することで、視野移動時の操作を簡略化してユーザの操作の負担をさらに軽減できる。このような拡大観察装置を実施形態２として、図２４のブロック図に基づいて説明する。この図に示す拡大観察装置２００において、上述した実施例１に係る拡大観察装置と同じ部材については、同じ符号を付して詳細説明を省略する。

プロセッサ部８０は、軌跡指示部８１、軌跡演算部８２、移動制御部８３、画像処理部８４、特徴量算出部８８等の機能を実現する。軌跡指示部８１は、ディスプレイ部７０に表示された画像データに対して、観察視野の移動方向の規定に関する軌跡情報を指示する。軌跡演算部８２は、軌跡指示部８１で指示された軌跡情報に基づいて、観察視野を移動させる視野移動軌跡を演算する。移動制御部８３は、軌跡演算部８２で演算された視野移動軌跡に沿って、移動方向指示部５５ａによる移動方向の指示に従い、視野移動機構５の移動を制御する。画像処理部８４は、設定された領域に対応する観察対象物ＷＫの一部又は全部に関するストレージ部５３に記憶された焦点距離情報に基づいて、設定された領域に対応する観察対象物ＷＫの光軸方向における高さを演算する。この拡大観察装置１００は、撮像素子１２を用いて指定された領域に対応する観察対象物ＷＫの光軸方向における平均高さ（深さ）を演算できる。
（ルートガイド機能）

この拡大観察装置１００は、観察視野を予め設定したルートに沿って移動させ易くしたルートガイド機能を備えている。例えば観察対象物が図２５に示すような円筒状のワークＷＫ２であり、その端面の円周上のバリや傷などを拡大観察装置で観察する用途を考える。この場合、ディスプレイ部７０に表示させる観察視野が観察対象物の端縁の円弧状に沿って移動するように、ステージ部３０を移動させる必要がある。

デジタルマイクロスコープにおける観察時には倍率が高くなるため、意図した位置に観察視野を移動させるのに一定の難易度がある。手動でステージ部を動かす際には、ＸＹ軸を個別に移動させることが一般的である。例えばステージ移動用のつまみをＸ方向移動用、Ｙ方向移動用にそれぞれ準備し、ユーザが各つまみを操作することで所望の方向へ移動させる。この方法では、Ｘ方向への移動、Ｙ方向への移動のそれぞれについて、個別に操作する必要があり、目的の位置へ移動させるのに苦労を要する。例えば、図２５に示す円筒状のワークＷＫ２の円弧に沿うように、Ｘ軸、Ｙ軸の２軸を交互に動かしながら観察する必要があった。

これに対し、デジタルマイクロスコープが進化したことで、近年では電動ＸＹステージを利用するケースも増えてきている。これにより画面上のマウス操作や、図２６に示すようなジョイスティックを操作するなどしてＸＹ平面の自由な移動が可能になった。

しかしながら、ドラッグやダブルクリックといったマウス操作の場合は、長い距離を移動させる場合に操作を連続させる必要がある。

またジョイスティック等で指定の方向に連続移動させる場合も、厳密に観察対象物に沿って移動できるわけではなく、図２５に示すように、希望のルートに対して蛇行しながら進むことになる。観察視野が蛇行して移動している間、ユーザは希望のルートから外れないよう集中して操作し続ける必要があり、大きなストレスを感じることになる。

一方で、画像連結機能を利用して事前に撮影しておき、あとから確認するという方法を採ることもできる。ただしこの場合は、撮影範囲を設定して撮影が完了するまでの間に多大な時間がかかることになり、バリの有無だけを確認したいようなユーザにとって毎回撮影から保存までの手間をかけることは大きな負担になってしまう。

そこで本実施形態に係る拡大観察装置１００では、予め観察視野を移動させるルートを設定しておき、移動方向指示部５５ａで観察視野を実際に指示する際には、設定されたルートに沿って観察視野が変化するように視野移動機構５を制御するルートトレースモードを備えている。ルートトレースモードを実行することで、ユーザはおおよその方向を移動方向指示部５５ａで指示するだけで、観察視野を複雑な経路であっても所望のルートで移動させることが可能となり、ステージ部３０の移動などに煩わされることなく観察に集中できる。上述した図２６の例では、予め円筒状の端面に沿うように円弧状のルートＲＴを図２７に示すように設定しておく。そして移動方向指示部５５ａであるジョイスティック５５ｂを概ね右方向に倒すだけで、観察視野を円弧に沿って移動させることができる。図２７において、矢印ＤＪ１はジョイスティック５５ｂを倒した方向を示している。本来であれば円弧状のルートの接線方向ＤＳ１に沿うようにジョイスティック５５ｂの傾斜方向を右方向から上方向に徐々に変更しなければ、観察視野を円弧状に移動させることはできないところ、ルートトレースモードを実行することで、図２７に示すように一定方向ＤＪ１にジョイスティック５５ｂを倒したままでも、ステージ部３０をルートＲＴに沿って円弧状、すなわちＤＳ１の方向に移動させることが可能となる。すなわち、ジョイスティック５５ｂの傾斜方向ＤＪ１を円弧の位置に応じて徐々に変化させずとも、対物レンズ部２５の光軸ＡＸをステージ部３０の載置面上で、図２７に示すように円周に沿って、ＤＳ１のように曲がって移動させることが可能となる。このように、ルートトレースモードにおいてはジョイスティック５５ｂの傾斜方向ＤＪ１と、ステージ部３０の実際の移動方向ＤＳ１を乖離させた移動制御を許容している。

このような操作はジョイスティック５５ｂに制限されるものでない。例えば図２８に示すような移動ボタン５５ｃを仮想的に又は物理的に準備し、順方向や逆方向、あるいは右方向や下方向、上下方向や左右方向といったボタン操作による指示も可能である。またホイールボタンを備えるマウスを移動方向指示部５５ａとして用いる場合、図２９に示すようにマウスホイールをクリックすることで表示されるアイコンＩＣの周囲に、視野の移動方向を指示するマウスカーソルＭＣを移動させることで、ジョイスティックのように観察視野の移動方向を指示することもできる。

上述のように軌跡演算部８２で演算される視野移動軌跡には、曲線を含むことができる。これにより、従来は面倒であった観察視野の曲線状の移動を簡便に行える利点が得られる。また軌跡演算部８２で演算される視野移動軌跡が、折曲部を含むこともできる。これにより、従来は面倒であった観察視野の、直線状でない折曲させた移動を簡便に行える利点が得られる。
（移動制御部８３）

移動制御部８３は、視野移動機構５の制御方法として、ルートトレースモードと、フリーモードを切替可能としている。ルートトレースモードでは、軌跡演算部８２で演算された視野移動軌跡に沿うように、移動方向指示部５５ａで視野移動機構５を制御する。またフリーモードでは、視野移動軌跡と無関係に、移動方向指示部５５ａで指示された移動方向に視野移動機構５を制御する。これにより、ルートトレースモードでは視野移動軌跡に沿った観察視野の移動を簡便に実現しつつ、フリーモードにおいてユーザの自由な観察視野の移動にも対応できる。

移動制御部８３は、ジョイスティック５５ｂなどの移動方向指示部５５ａで指示された移動方向に従って、観察視野が視野移動軌跡に沿ってスムーズに移動するように、視野移動軌跡の変化を予め想定しながらステージ部３０等の視野移動機能のスムーズな移動を実現している。具体的には、移動制御部８３は図３０Ａに示すように、ステージ部３０等の移動方向ＤＳ１と移動速度に加えて、ジョイスティック５５ｂ等で指示された移動方向ＤＪ１、すなわち移動コマンドを監視するサンプリング間隔から、到達する予測地点を算出する。そして図３０Ｂに示すように、算出した予測地点から視野移動軌跡に最も近い点を探索し、最も近い点に向けてステージ部３０等の移動方向ＤＳ１と移動速度を補正して、移動させる。これによって、視野移動軌跡が曲線上であってもスムーズな移動が実現される。

ここで、ルートガイド機能を実現する拡大画像観察方法を、図３１のフローチャートに基づいて説明する。まず、ステップＳ３１０１において、観察視野の移動方向の規定に関する軌跡情報をユーザに指示させる。例えば軌跡指示部８１でもって、ユーザによる基準点指定を軌跡情報として受け付ける。

次にステップＳ３１０２において、軌跡情報に従い軌跡演算部８２が視野移動軌跡を演算する。例えば軌跡指示部８１でユーザにより指定された基準点に基づき、補完したルートを設定する。そしてステップＳ３１０３において、ユーザによるステージ部３０の移動方向の指示を受け付ける。さらにステップＳ３１０４において、指定された移動方向及び補完したルートに基づいて、ステージ部３０の移動方向を決定する。最後にステップＳ３１０５において、決定した移動方向に基づいてステージ部３０を制御する。
（軌跡指示部８１、軌跡演算部８２）

軌跡指示部８１は、観察視野の移動方向の規定に関する軌跡情報を指示する。軌跡指示部８１で指定された軌跡情報に基づいて、軌跡演算部８２が観察視野を移動させる軌跡、すなわちルートを設定する。ここで軌跡情報としては、例えば複数の基準点が挙げられる。軌跡指示部８１で指示された複数の基準点を通るルートを、軌跡演算部８２が演算する。例えば、ルートが円形の場合は、基準点として円周上の３点を指定する。またルートが直線状の線分を組み合わせたものである場合は、線分の始点と終点、あるいは折曲点を基準点として指示する。なお軌跡指示部８１及び軌跡演算部８２は、別部材とする他、これらを統合してもよい。

また軌跡指示部８１及び軌跡演算部８２は、ルートを予め用意された幾何形状で近似することができる。すなわち、軌跡指示部８１から予め幾何形状を選択させた上で、この幾何形状を通る点を基準点として指定することにより、軌跡演算部８２でもってルートを演算できる。幾何形状は、円形、楕円形、矩形、多角形、星形、直線や線分、円弧などの曲線などが挙げられる。幾何形状は、二次元平面で表現できるものであれば特に制限されない。円形や楕円形、ベジエ曲線などの指定は、３点以上を指定することで可能となる。また矩形などの多角形は、頂点を指定することで可能となる。

幾何形状の選択は幾何形状選択部、基準点の指定は基準点指定部から行うことができる。例えば、幾何形状ＧＳ１として直線又は線分を選択した場合は、図３２Ａに示すように、基準点としてディスプレイ部７０上で２点を指定することで、この２点を通る直線又は線分をルートとして演算できる。なおこの例では説明の便宜上、ヘッド部４側をステージ部３０に対して相対移動させた状態を示している。

また図３２Ｂに示すように、幾何形状ＧＳ２として円形を選択した場合は、基準点として３点を指定することでこれらの点を通る円をルートとして演算できる。同様に図３２Ｃに示すように、幾何形状ＧＳ３として矩形を選択した場合は、基準点として四隅の頂点を指定することでこれらの点を通る円をルートとして演算できる。また、幾何形状は円形や矩形といった単純なものに限られず、複雑な形状を指定してもよい。例えば複数の図形の和集合や積集合、折曲部分を含む連続した線分、ポインティングデバイスで指示した軌跡をトレースした図形など、任意の形状が利用できる。例えば図３２Ｄでは、幾何形状ＧＳ４として部分的に欠けた円形を、図３２Ｅでは幾何形状ＧＳ５として星形を、また図３２Ｆでは幾何形状ＧＳ６として連続する複数の線分で構成された図形の例を示している。

また幾何形状は、円形や矩形のような閉じた図形である必要はなく、直線や曲線等とすることもできる。例えば図３３のような、基板ＣＢ上に複数のチップ抵抗ＣＲを離散的に実装した観察対象物の、各チップＣＰを観察する例を考える。この場合は、チップＣＰの配置に従い、各チップＣＰの位置に基準点を設定することで、図３４のような折れ線状のルートＲＴが視野移動軌跡として設定される。なお図３３において、各基準点を×で示すと共に、各基準点における観察視野を波線状の枠で示している。
（ルートの補完）

視野移動軌跡の演算は、軌跡指示部８１から入力された軌跡情報に基づいて、軌跡演算部８２が行う。軌跡演算部８２は、複数の基準点から、その間の座標を補完し、補完したルートとして視野移動軌跡を完成させる。また、選択された幾何形状に基づいて、軌跡演算部８２は補完のアルゴリズムを変更する。なお軌跡情報は、複数の基準点に限らず、他の指定方法も適宜利用できる。例えば円形の軌跡を指定する軌跡情報として、円形の中心座標と半径で指定することができる。折れ線上のルートＲＴを指定する場合、図３３のＩ～ＩＶの順番で基準点を指定したとすると、指定された順番に基準点の座標間が補完される。すなわち、図３４に示すルートＲＴが補完される。この図において、ユーザによる移動方向の指示を、例えばＩＩの位置からＩＩＩの位置に向かって移動する際、ＩＩの位置におけるユーザによる指示が、破線で示した境界領域の上側に含まれる場合は、ＩＩＩの方向に移動される。またＩＩからＩＩＩに向かう途中の○で示す位置では、ユーザの指示が破線で示す境界領域の左側に含まれる場合は、ＩＩＩの位置に向かって移動される。

さらに、観察視野の移動方向の規定に関する軌跡情報は、上述したディスプレイ部７０の画面上で基準点を指定する方法のみに限られず、例えば座標位置を数値で直接入力したり、視野移動軌跡を数式で指定する等の方法も利用できる。

なお、観察対象物をステージ部３０上の定位置に配置する用途、例えば位置決め用の冶具などを使って同じ観察対象物を毎回ステージ部３０の同じ位置に配置する場合は、一度冶具の設計値に合わせて視野移動軌跡を設定すれば、後は同じ条件でルートガイドを実施できる。いいかえると、毎回ステージ部３０を移動させて基準位置を登録し視野移動軌跡を設定する必要はない。

また視野移動軌跡は、幾何形状で指定する以外にも、画像から自動で抽出することもできる。例えば図３５Ａのような観察対象物ＷＫ３の広域画像を撮像し、エッジ抽出により図３５Ｂのように輪郭ＰＬを抽出する。この輪郭ＰＬの全部又は一部に沿って移動するように設定すれば、軌跡指示部８１又は軌跡演算部８２が自動で軌跡情報を取得して視野移動軌跡を取得することが可能となり、ユーザが一々手動で軌跡情報を指定する作業を省力化できる。エッジ抽出は、例えば抽出点同士を接続して輪郭を取得する他、抽出点をつないだ線を直線や曲線で近似してもよい。

また、図３５Ａのように観察対象物の全体像を一画面に表示させて、観察対象物の形状を抽出して視野移動軌跡を設定する他、観察対象物を部分的に表示させつつ、観察視野を移動させながら輪郭を逐次抽出して視野移動軌跡を設定するよう構成してもよい。例えば図３６Ａ～図３６Ｂに示すように、ＸＹステージを移動させながら観察視野を更新し、リアルタイムに観察対象物ＷＫ４の画像から輪郭を取得して、自動的に視野移動軌跡を検出することもできる。このような視野移動軌跡の自動取得は、軌跡指示部８１又は軌跡演算部８２で行わせることができる。

以上のようにして基準点が設定した上で、ルートトレースモードを実行すると、ユーザは視野移動機構５の移動方向をジョイスティック５５ｂ等の移動方向指示部５５ａで詳細に指示することなく、大まかな指示でも視野移動軌跡に沿った観察視野の移動が実現される。すなわちルートトレースモードにおいては、移動方向指示部５５ａで指示された移動方向を、視野移動軌跡の方向と比較し、視野移動軌跡に対する所定の範囲内にあれば、視野移動方向に沿った移動指示が行われたと判断して、視野移動機構５を移動させる。この結果、観察視野が移動されている間も、観察視野の中心が常に視野移動軌跡上となるように移動させるので、ユーザは観察視野を移動させながらも観察対象物を常時見易い位置で観察することが可能となる。

このように、ジョイスティック５５ｂを大まかな方向に倒すだけで、規定されたルートに沿った見易い観察視野の移動が実現されることになる。ジョイスティック５５ｂを倒す方向は、０°～３６０°未満の範囲で規定される。このジョイスティック５５ｂを用いて、上述した図３４に示すようなＩ～ＩＶの直線区間の視野移動軌跡のルートＲＴに沿って移動させる場合は、視野移動方向に対して±９０°の範囲、すなわち視野移動方向と直交する線で確定された進行方向側の領域にジョイスティック５５ｂが倒されている限りは、視野移動方向への移動を継続する。一方、この範囲内に含まれない場合、すなわちジョイスティック５５ｂが進行方向に対して概ね逆方向に倒された場合、あるいは傾斜されない場合は、観察視野の移動を停止する。また、視野移動軌跡が円弧のような曲線の場合は、視野移動軌跡上の現在の位置における接線と移動方向とが比較され、同様に所定の角度範囲内にある場合はルートガイドが継続される。

一方で図３４のＩＩの位置におけるような、視野移動軌跡が折曲された位置における移動方向指示部５５ａの移動方向の指示は、折曲位置がなす視野移動軌跡の角度を二等分する二等分線でもって、観察視野の移動可否を判定する。すなわち図３４の例において、破線で示す二等分線よりも上の範囲に属する角度で移動方向が指示された場合は、観察視野を２→３の方行に移動させる。一方、二等分線よりも下の範囲に属する角度で移動方向が指示された場合は、観察視野の移動を停止させる。

また、ジョイスティック５５ｂの傾斜方向で観察視野の移動速度を変化させるように構成してもよい。例えばジョイスティック５５ｂの傾斜方向が、視野移動軌跡に沿っているほど、すなわち両者の角度差が小さいほど、観察視野の移動速度、例えばステージ部３０の移動速度を速くし、角度差が大きいほど、移動速度を遅くするように構成してもよい。また、上述した通りジョイスティック５５ｂの垂直方向の傾斜角度に応じて観察視野の移動速度、例えばステージ部３０の移動速度を変化させる場合は、このようなジョイスティック５５ｂの平面視における傾斜方向と、垂直方向における傾斜角度との組み合わせで、ステージの移動速度を変化させるように構成してもよい。
（視野ずれ補正オフセット機能）

また、観察の途中で画像表示領域における表示倍率を変更することも可能である。倍率を変更した後も、設定されたルート通りに動作させることができるよう、拡大観察装置１００は倍率変更時の視野ずれを自動で補正する視野ずれ補正オフセット機能を備えている。以下、詳述する。

倍率変更時に対物レンズ部２５などを切り換えた際には、観察視野の中心の位置がずれることがある。例えば図３７Ａに示す観察視野において、回転式のレボルバに複数備えられた対物レンズ部２５を、レボルバを回転させることで機械的に切り替えて表示倍率を拡大すると、図３７Ｂに示すように、十字状に交差させたグリッド線の交点で示す視野中心ＣＳがずれて表示される。このため、事前に視野中心ＣＳのずれ量を算出して記憶しておき、倍率切り換え時にはＸＹＺステージをずれ量の分だけ移動させて視野ずれを補正する技術が知られている。例えば図３７Ｂの状態から、従前の図３７Ａで示していた視野中心ＣＳと対応する位置が視野中心ＣＳとなるよう、図３７Ｃに示すように視野移動機構５を自動で移動させる。

しかしながら、ルートトレースモードにおいて設定されたルートをステージ座標で管理している場合、このような補正によりＸＹステージを動かしてしまうと、切り換え後の視野はルート上にいるのに、ステージ座標上ではルートから外れた扱いになってしまう。そこで本実施形態に係る拡大観察装置１００では、ずれ補正した場合などに、図３８に示すようにルート自体をずれの補正量でオフセットすることで、ずれ補正後のルートを一致させている。この視野ずれ補正オフセット機能は、ＸＹ平面のみならず、高さ方向であるＺ方向に対しても行うことができる。このような視野ずれ補正オフセット機能は、軌跡演算部８２で行うことができる。

なお、倍率切り換え時の視野中心ずれは、レボルバ等を用いた対物レンズ部２５の切り換えや物理的な対物レンズ部２５の交換時に限られず、ズーム光学系を用いた拡大縮小においても発生することがある。本実施形態に係る拡大観察装置１００は、視野ずれ補正オフセット機能の使用場面を対物レンズ部２５切り換え時に限定するものではなく、視野ずれの発生する任意の場面で利用できる。

またルートのオフセット機能は他の用途にも利用できる。例えば、過去に設定したルートに対して同じ位置に毎回観察対象物を配置するのが難しい場合に、ルートの任意の点が現在の視野にあたることを指定することで、ルート全体をオフセットさせることもできる。例えば図３９において破線のような観察視野に該当する視野移動軌跡上の位置を指定することで、実線に示すように視野移動軌跡の全体が当該指定に応じてオフセットされる。

以上のように拡大観察装置１００は、ルートガイド機能を実行するルートトレースモードと、ルートトレースモードを解除したフリーモードを備えている。ルートトレースモードにおいては、上述の通り、軌跡演算部８２で演算された視野移動軌跡に沿うように、移動方向指示部５５ａで視野移動機構５を動作させるように移動制御部８３が制御する。一方、フリーモードでは、視野移動軌跡と無関係に、移動方向指示部５５ａで指示された移動方向に視野移動機構５を動作させるよう移動制御部８３が制御する。このような構成により、ルートトレースモードでは視野移動軌跡に沿った観察視野の移動を簡便に実現しつつ、ユーザの自由な観察視野の移動にも対応できる。

またルートを設定する際は、ＸＹ座標だけでなくＺ座標、すなわち高さ方向にも登録できるように構成してもよい。これにより、傾斜面を有する観察対象物のような場合でも、観察したい位置に沿って移動が可能となる。例えば上述した円形の視野移動軌跡を設定する場合、基準点として３点を指定する際に、高さ方向の情報も取得することで、３点の高さ情報から平面の傾きを演算できる。したがって、演算された平面内に視野移動軌跡を設定することで、傾斜した平面に沿ってルートガイド機能を焦点の合った状態で実現することが可能となる。

また三次元空間上のルートを点群として管理することもできる。さらにＸＹ平面上に投影した図形として管理することもできる。例えば真上から見た場合に円形の視野移動軌跡を設定する場合、図４０Ａに示すように三次元空間で指定された３点を、図４０Ｂに示すようにＸＹ平面に投影し、投影された３点を元に図４０Ｃに示すようにＸＹ平面に円を定義する。これにより、三次元データをＸＹ平面に写像したデータとして視野移動軌跡を扱うことが可能となり、演算処理を簡素化できる。

またＸＹステージは、上述のようにして算出されたＸＹ平面上の円に沿ってステージ部３０を移動させればよい。Ｚステージは図４１Ａに示すように三次元空間で算出された平面を元に、移動するＸＹ座標に相当するＺ座標を随時算出することで、図４１Ｂに示すように三次元空間上で指定されたルートに沿った移動が可能となる。図４１Ａ、図４１Ｂに示すような三次元空間で算出された傾斜平面を規定する式を把握しておくことで、ＸＹ平面からこの傾斜平面に射影すればＺ座標が決定できる。

多角形の場合も同様にしてＸＹ平面に投影してＸＹステージを動作させることができる。この場合は、図４２Ａ及び図４２Ｂに示すように点間の傾きを元にＺ座標を算出することで、点と点の間を移動してる間もユーザが意図したルートに沿って移動することができるようになる。

さらにＸＹ平面上でルートが交差する場合も、どちらの方向に進むかはジョイスティック５５ｂなどの方向を元に決定できる。例えば図４３に示すような例では、進行方向に対して±９０°の範囲内にジョイスティック５５ｂが傾斜されている場合は直進させ、＋９０°～＋１８０°の範囲であれば左（図において上方）に折曲させ、－９０°～－１８０°の範囲であれば右（図において下方）に折曲させる。

また、線分や円といった登録されたときの形状単位で、どちらに進むかを自動的に判定してもよい。特にＺ座標も追従している場合には、形状単位で移動方向を決めることが好ましい。例えば図４４のような捻れの位置で交差している場合等には意図せぬＺ上昇などが発生してユーザにストレスになることが考えられるからである。Ｚ座標が追従しているときにユーザがＺステージを操作した場合は、操作が完了した位置にルートをオフセットする。ユーザがステージ部３０を移動させるということは、観察対象物に焦点が合っていない可能性が高く、例えば図４５に示すように登録点が近すぎる場合などは、移動したことで焦点がボケることが起こりうる。ユーザの操作したＺ座標にルートをオフセットする処理は、ＸＹステージ停止中にＺステージを移動されたときも同様とすることが好ましい。例えば図４６において左下に示すように、ルートに沿って自動でＸＹＺ方向に追従させている状態から、ＸＹ移動を一時的に停止させ、手動でＺ方向に移動させた場合は、再度ＸＹ方向への移動を再開する際は、オフセット後のルートに沿って移動させるようにする。

またＸＹステージ移動中のＺステージ操作を管理すると煩雑になる場合は、Ｚステージ操作を排他するか、もしくは操作されたタイミングでＺ追従を停止することもできる。例えば図４７において左下に示すように、ルートに沿って自動でＸＹＺ方向に追従させている状態から、ＸＹ移動中に手動でＺ方向に移動させた場合は、Ｚ追従を停止させて、ＸＹ方向への移動に関してのみルートガイド機能を働かせる。

なお、ＸＹ方向への移動中にはＺ方向に移動させてもオフセットは行わず、ＸＹ方向への移動を停止している際にだけオフセットを実行するようにしてもよい。

ＸＹステージ移動を開始されたタイミングのＺ座標でオフセットするようにしておけば、Ｚ追従が動作しなくなりボケが目立つようになっても、ユーザはＸＹステージを停止させ、一度焦点を合わせてからＸＹステージ移動を再開すればよい。
［実施形態３］

また拡大観察装置は、傾斜観察機能を備えることもできる。このような例を実施形態３に係る拡大観察装置として、図４８に示す。この図４８に示す拡大観察装置３００は、撮像系１を示す正面図である。なお、図に示す拡大観察装置において、上述した実施形態１等で説明した部材と同じ部材については、同じ符号を付して詳細説明を適宜省略する。

撮像系１は、観察対象物を載置するステージ部３０とヘッド部４を支持する支持台４０を備えている。支持台４０は、ステージ部３０を水平面内あるいは上下移動可能な状態に保持するステージ固定機構４２と、ステージ部３０を保持した状態でヘッド部４を傾斜させるヘッド傾斜機構４４を備えている。これらステージ固定機構４２及びヘッド傾斜機構４４は、ベース部４１に固定されている。ベース部４１は平板状として、安定的に支持台４０を自立させる。

このヘッド傾斜機構４４によってヘッド部４をステージ部３０に対して傾斜させることで、観察対象物を斜め方向から観察した傾斜観察が可能となる。特にヘッド部４を垂直姿勢から、揺動軸４５を回転軸として左右に揺動させることで、左右いずれの方向からも観察することが可能となり、異なる視点からの観察により観察の自由度を高めることが可能となる。またこのような傾斜観察においては、ヘッド部４を傾斜させても観察視野が変化しないユーセントリック観察が求められる。このため傾斜観察に際しては、予め観察対象物Ｓの観察面が、揺動軸４５の中心と合致するようにステージ部３０の高さを調整することが望ましい。

さらに拡大観察装置は、傾斜観察中にもサーチライティング機能を実行可能に構成される。一の傾斜角度においてサーチライティング機能が実行され、第一シーケンスから第二シーケンスに移行した場合、ユーザによって第二の傾斜角度に調整されると、再度第一シーケンスに移行するように構成されても良い。この場合、一の傾斜角度において照明状態毎にバッファリングされた画像は、ユーザによって第二の傾斜角度に調整された際に破棄される。

また、オートフォーカスを実現する方式は、上述したコントラスト方式に限らず、位相差方式など、他の方式を用いてもよい。例えば図２４に示した実施形態２に係る拡大観察装置２００では、位相差方式を用いた例を示している。この図に示す拡大観察装置は、オートフォーカス用センサ１５を備えている。オートフォーカス用センサ１５は、位相差オートフォーカスセンサで構成される。位相差オートフォーカスセンサで、対物レンズ部２５から入射した光を分岐して受光し、結像した２つの画像の間隔から焦点の方向と量を合焦度合特徴量として、制御部８０（合焦度合評価部）で判断する。上述したコントラスト方式と比較すると、対物レンズ部２５を動かしながら焦点を探る必要がないため高速に焦点合わせを行うことができる。なお、オートフォーカス用センサは、位相差オートフォーカスセンサに限らず、例えば対物レンズ部と観察対象物との距離を測定する測距センサとしてもよい。この場合は、測距センサで対物レンズ部と観察対象物との距離を測定し、予め測定した対物レンズ部の焦点距離との差を求めて、該当する距離だけオートフォーカス調整機構でＺステージ等を移動させることで、オートフォーカスを実現できる。

本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器は、顕微鏡や反射、透過型等のデジタルマイクロスコープ等に好適に利用できる。

１００、２００、３００…拡大観察装置
１…撮像系
２…制御系
３…ケーブル部
４…ヘッド部
５…視野移動機構
１０…カメラ部
１１…撮像光学系
１２…撮像素子；１３…撮像素子制御回路
１５…オートフォーカス用センサ
１６…上Ｚ昇降器
２０…顕微鏡レンズ部
２５…対物レンズ部；２５－１～２５－４…対物レンズ部の相対移動軌跡
２６、２７、２８…制御方向
３０…ステージ部
３１…高さ情報のある範囲
３２…３Ｄデータ
３５…下ステージ昇降器
３６…モータ制御回路
３７…ステッピングモータ
４０…支持台
４１…ベース部
４３…カメラ取り付け部
４２…ステージ固定機構
４４…ヘッド傾斜機構
４５…揺動軸
５０…本体部；５２…表示制御部
５３…ストレージ部；５４…インターフェース；
５５…操作部；５５ａ…移動方向指示部；５５ｂ…ジョイスティック
５５ｃ…移動ボタン；５５ｄ…ルートガイド解除部
５６…メモリ部；
５７…バッファメモリ
６０…照明部
６１…ビームスプリッタ
６２…同軸落射照明部
６３…リング照明部；６３ａ、６３ｂ、６３ｃ、６３ｄ…照明ブロック
６６…照明制御部
７０…ディスプレイ部
８０…プロセッサ部
８１…軌跡指示部；８２…軌跡演算部；
８３…移動制御部
８４…画像処理部
８８…特徴量算出部
８９…高さ情報取得部
９０…フォーカス制御部
９１…合焦度合評価部
９２…フレームスキップ部
９３…フォーカスシーケンス実行部
９４…移動停止検知部
２３０…ナビ画像登録画面
２３１…画像表示領域
２３２…操作領域
２３３…ナビゲーション領域
２４０…３Ｄナビ画像登録画面
２４１…画像表示領域
２４２…操作領域
２５２…「平面フィット」ボタン
２５５…「ＸＹステージ停止時に深度合成を実行する」チェックボックス
２６０…サーチライティング画面
２６１…画像表示領域
２６２…操作領域
２６３…項目タブ；２６３ａ…「照度・明るさ」タブ
２６４…「戻る」ボタン
２６５…「サーチライティング」ボタン
２６６…詳細指定欄
２６７…光量調整スライダ
２６８…「マルチライティング」ボタン
２６９…ステータス表示欄
２７０…ＲＯＩ指定部；２７０ａ…「矩形」ボタン；２７０ｂ…「フリーライン」ボタン；２７０ｃ…スライダ
２７１…色選択ボタン
２７２…照明状態表示ボタン
２７３…「再プレビュー」ボタン
２８０…照明光源表示画面
４３０…マルチライティング画面
４３１…機能表示領域
４３２…主表示領域
４３３…副表示領域
４３３ａ…出射方向指定欄
４３３ｂ…出射方向表示欄
ＳＩ…画像
ｂ１…深度合成ボタン
ｂ２…調整ボタン
ｂ７…保存ボタン
ｓｐ…対象部分画像
ｓｓ０…対象物位置画像
ｓｓ１…光アイコン
ｓｓ２…基準点画像
ｓｓ３…半球画像
ｓｓ４…出射位置画像
ＷＫ、ＷＫ２～ＷＫ４…観察対象物
ＣＲ、ＣＲ１～ＣＲ５…チップ抵抗
ＳＤ…はんだ
ＣＢ…基板
ＳＱ１…多点高さ取得（オートフォーカス動作）
ＳＱ２…移動中シーケンス
ＳＱ３…停止シーケンス（オートフォーカス動作）
ＳＱ４…移動中シーケンス
ＳＱ５…停止シーケンス（オートフォーカス動作）
ＧＳ１～ＧＳ６…幾何形状
ＡＸ…光軸
ＮＩ…ナビ画像
ＦＲ…矩形状
ＯＡ…観察視野
ＣＳ…視野中心
ＰＬ…輪郭
ＲＴ…ルート
ＤＳ１…ルートの接線方向
ＤＪ１…ジョイスティックを倒した方向
ＩＣ…アイコン
ＭＣ…マウスカーソル

Claims (19)

1. 観察対象物を載置するためのステージ部と、
   前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、
   観察対象物に向けて照明光を照射する照明方向を切り替え可能で、かつ
   複数の異なる照明方向に順次切り替える第一照明パターンと、
   前記第一照明パターンを構成する複数の照明方向のいずれかで照明する第二照明パターンと
   のいずれかで照明する照明部と、
   前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、
   前記カメラ部が生成する画像データに基づいて観察対象物の画像をディスプレイ部に表示させるための表示制御部と、
   前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量をそれぞれ算出する特徴量算出部と、
   前記照明部を、
   前記第一照明パターンで動作させ、前記表示制御部によりディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスと、
   前記特徴量算出部で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により前記第二照明パターンで動作させ、前記表示制御部によりディスプレイ部に前記第二照明パターンで照明された観察対象物の画像を表示させる第二シーケンスを、
   切り替え可能な照明制御部と、
   を備える拡大観察装置。
2. 請求項１に記載の拡大観察装置であって、さらに、
   前記表示制御部によりディスプレイ部に表示された前記画像データ上で、所望の領域の指定を受け付けるための領域指定部を備えており、
   前記特徴量算出部は、前記第一照明パターンの各照明方向で照明された各画像データに対して、前記領域指定部により指定された領域内で当該画像データの特徴量をそれぞれ算出し、
   前記照明制御部は、前記領域指定部により領域が指定されたタイミングで、前記特徴量算出部で算出された各画像データの特徴量に基づいて、いずれかの照明方向を選択すると共に、前記第一シーケンスから前記第二シーケンスに移行するよう構成されてなる拡大観察装置。
3. 請求項２に記載の拡大観察装置であって、さらに、
   前記第一シーケンスで前記表示制御部によりディスプレイ部に表示される、照明方向の異なる各画像データをそれぞれ一時的に保持するためのバッファメモリを備えており、
   前記特徴量算出部は、前記領域指定部により領域が指定された時点で、前記バッファメモリに、照明方向の異なる複数の画像データが保持されている場合は、該保持された各画像データに対し、指定された領域内の当該画像データの特徴量をそれぞれ算出して、いずれかの照明方向を選択し、前記第一シーケンスから前記第二シーケンスに移行するよう構成されてなる拡大観察装置。
4. 請求項２又は３に記載の拡大観察装置であって、
   前記領域指定部は、前記表示制御部によりディスプレイ部に表示された前記画像データ上で、所望の領域を当該領域を囲む境界と当該領域に相当する線分とにより選択的に指定を受け付ける拡大観察装置。
5. 請求項１～４のいずれか一項に記載の拡大観察装置であって、
   前記照明制御部は、前記特徴量算出部で算出された特徴量が最も大きい画像データと対応する照明方向を、前記第二シーケンスの照明方向として選択するよう構成してなる拡大観察装置。
6. 請求項１～５のいずれか一項に記載の拡大観察装置であって、
   前記画像データの特徴量が、前記画像データの各画素の輝度値の分散である拡大観察装置。
7. 請求項１～６のいずれか一項に記載の拡大観察装置であって、
   前記照明部が、円環状に配置された複数の照明ブロックを備えており、
   前記照明制御部が、前記第一シーケンスにおける照明方向の切り替えを、前記複数の照明ブロックの内、点灯する照明ブロックを予め定められた順序情報に基づいて順次切り替えて行うよう構成されてなる拡大観察装置。
8. 請求項７に記載の拡大観察装置であって、
   前記照明部が、前記複数の照明ブロックを有する同軸照明を含んでなる拡大観察装置。
9. 請求項８に記載の拡大観察装置であって、
   前記照明部が、複数の照明ブロックを有する同軸照明と、選択的に装着されるリング照明とを含み、
   リング照明を装着したときは、前記照明制御部により当該リング照明に含まれる各照明ブロックが前記複数の照明ブロックとして順次切り替えられ、
   リング照明を非装着のときは、前記照明制御部により前記同軸照明に含まれる各照明ブロックが前記複数の照明ブロックとして順次切り替えられるよう構成してなる拡大観察装置。
10. 請求項１～９のいずれか一項に記載の拡大観察装置であって、
    前記照明部は、前記第一照明パターンでの照射に際して、一の照明方向から異なる照明方向への切り替えを、これら２つの照明方向が時間的に重複する期間を設けて行うよう制御してなる拡大観察装置。
11. 請求項１～１０のいずれか一項に記載の拡大観察装置であって、
    前記照明制御部は、第二シーケンスにおいて、前記特徴量算出部で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により前記第二照明パターンで動作させ、前記表示制御部によりディスプレイ部に前記第二照明パターンで照明された観察対象物の合成画像を表示させる拡大観察装置。
12. 請求項１～１１のいずれか一項に記載の拡大観察装置であって、さらに、
    前記対物レンズ部の焦点位置と観察対象物との相対距離を、前記対物レンズ部の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて画像データのフォーカスを調整するフォーカス調整機構を備えており、
    前記フォーカス調整機構は予め定められた条件に従いオートフォーカスを実行し、
    前記照明部は、前記フォーカス調整機構によるオートフォーカス中に、照明方向の切り替えを一時的に停止するよう構成してなる拡大観察装置。
13. 請求項１～１１のいずれか一項に記載の拡大観察装置であって、さらに、
    前記ステージ部上における前記対物レンズ部の光軸の相対位置を異ならせ、前記カメラ部の観察視野を移動させる視野移動機構を備え、
    前記照明制御部は、前記視野移動機構による観察視野の移動中に、前記第一シーケンスを実行するよう構成してなる拡大観察装置。
14. 請求項１３に記載の拡大観察装置であって、さらに、
    前記対物レンズ部の焦点位置と観察対象物との相対距離を、前記対物レンズ部の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて画像データのフォーカスを調整するフォーカス調整機構と、
    前記カメラ部の観察視野の移動停止状態を検知する移動停止検知部と
    を備えており、
    前記フォーカス調整機構は、前記移動停止検知部による移動停止状態の検知に応じてオートフォーカスを実行し、
    前記照明部は、前記フォーカス調整機構によるオートフォーカス中に、照明方向の切り替えを一時的に停止するよう構成してなる拡大観察装置。
15. 請求項１４に記載の拡大観察装置であって、さらに、
    前記視野移動機構により前記カメラ部の観察視野を移動させる際に、三次元参照情報に基づいて焦点が合うように前記フォーカス調整機構を制御するフォーカス制御部と、
    前記オートフォーカスが実行される際に前記測定対象物の高さ情報を取得し、該取得した高さ情報に基づいて前記三次元参照情報を更新する高さ情報取得部とを備える拡大観察装置。
16. 請求項１５に記載の拡大観察装置であって、さらに、
    前記ディスプレイ部における観察視野の移動方向を示すユーザ入力に従い、前記視野移動機構の移動方向を指示する移動方向指示部と、
    前記表示制御部によりディスプレイ部に表示された画像データに対して、観察視野の移動方向の規定に関する軌跡情報を指示するための軌跡指示部と、
    前記軌跡指示部で指示された軌跡情報に基づいて、観察視野を移動させる視野移動軌跡を演算する軌跡演算部と、
    前記軌跡演算部で演算された視野移動軌跡に沿って、前記移動方向指示部による移動方向の指示に従い、前記視野移動機構の移動を制御する移動制御部と、
    を備える拡大観察装置。
17. ステージ部に載置され、照射方向を切り替え可能な照明部で照明された観察対象物を、対物レンズ部を介してカメラ部で撮像してディスプレイ部に表示させる観察視野を移動させて観察する拡大画像観察方法であって、
    前記照明部を、異なる照明方向に順次切り替えて照射する第一照明パターンで動作させ、前記ディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスを実行する工程と、
    前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量を算出し、当該画像データの特徴量に基づいて照明方向を選択し、前記照明部を該選択された照明方向とした前記第二照明パターンで動作させ、前記ディスプレイ部に前記第二照明パターンで照明された観察対象物を表示させる第二シーケンスを実行する工程と、
    を含む拡大画像観察方法。
18. 観察対象物を載置するためのステージ部と、
    前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、
    観察対象物に向けて照明光を照射する照明部と、
    前記照明部で照明された観察対象物を、前記対物レンズ部を通じて撮像し、画像データを生成するカメラ部と、
    前記カメラ部が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させるディスプレイ部と、
    を備える拡大観察装置を操作する拡大画像観察プログラムであって、
    前記照明部を、異なる照明方向に順次切り替えて照射する第一照明パターンで動作させ、前記ディスプレイ部に前記第一照明パターンで照明された観察対象物のライブ画像を表示させる第一シーケンスを実行する機能と、
    前記第一照明パターンの各照明方向でそれぞれ照明された観察対象物の各画像データに対して、当該画像データの特徴量を算出し、当該画像データの特徴量に基づいて照明方向を選択し、前記照明部を該選択された照明方向とした前記第二照明パターンで動作させ、前記ディスプレイ部に前記第二照明パターンで照明された観察対象物を表示させる第二シーケンスを実行する機能と、
    をコンピュータに実現させる拡大画像観察プログラム。
19. 請求項１８に記載のプログラムを格納したコンピュータで読み取り可能な記録媒体又は記憶した機器。

Images