以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体または記録した機器を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体または記録した機器を以下のものに特定しない。
また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x、OFDM方式等の無線LANやBluetooth等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた撮像システムも含む意味で使用する。
[第1の実施の形態]
以下、図1から図2を用いて、本発明の第1の実施の形態に係る拡大観察装置を説明する。拡大観察装置は、図1に示すように観察対象の試料を照明するための照明部60と、照明部60により照明された試料を撮像する撮像部10と、撮像部10で撮像された拡大画像を表示する表示部52を有する情報処理装置50を備える。さらに図1の拡大観察装置は、試料を固定する試料固定部(試料Sを載置するステージ30)と、光学系11を介して入射する試料固定部に固定された試料Sからの反射光または透過光を電気的に読み取る撮像素子(CCD12)と、試料固定部と光学系11の光軸方向における相対距離を変化させ焦点を調整する焦点調整部(ステージ昇降器20)とを備える。さらにまた情報処理装置50は、図2に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系11の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の2次元位置情報と共に記憶する焦点距離情報記憶部(メモリ53)と、撮像素子によって読み取られた画像を表示する表示部52と、表示部52によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部(操作部55、ポインティングデバイス55A)と、領域設定部によって設定された領域に対応する試料Sの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Sの光軸方向における平均高さを演算する演算部(制御部51)とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ(深さ)を演算できる。
撮像部10は、図2に示すように、試料Sを載置する試料固定部の一形態であるステージ30と、ステージ30を移動させるステージ昇降器20と、ステージ30に固定された試料に光学系を介して入射される光の反射光または透過光を、2次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてCCD12と、CCD12を駆動制御するCCD制御回路13とを備える。さらに撮像部10には、拡大観察装置本体である情報処理装置50が接続される。情報処理装置50は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ53と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部52と、表示部52上に表示される画面に基づいて入力その他の操作を行う操作部55と、操作部55によって入力された情報に基づいて画像処理その他各種の処理を行う制御部51とを備える。表示部52を構成するディスプレイは、高解像度表示が可能なモニタであり、CRTや液晶パネル等が利用される。
操作部55はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部55としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部55は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図1の例では、操作部55はマウス55a等のポインティングデバイス55Aで構成される。
図1に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ10aは、スタンド台41から鉛直方向に延びる支柱42に固定されたカメラ取り付け部43に取り付けられる。スタンド台41には、試料Sを載置するステージ30が上部に取り付けられたステージ昇降器20が配置される。カメラ10aおよびステージ昇降器20は情報処理装置50に接続されて制御される。情報処理装置50は、表示部52、およびマウス55a等の操作部55を備える。表示部52には、観察画像が表示される。
また、情報処理装置50である拡大観察装置にはコンピュータ70を接続可能であり、コンピュータ70に別途拡大観察用操作プログラムをインストールして、コンピュータ70側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置50に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェアなどの形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。
図2に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置50は、表示部52と、制御プログラム・焦点距離情報・受光データ・2次元情報等を記憶するメモリ53と、情報処理装置50がカメラ10aおよびステージ昇降器20とデータを通信するためのインターフェイス54と、操作者が拡大観察装置に関する操作を行う操作部55とから構成される。ステージ昇降器20は、例えばステッピングモータ21と、ステッピングモータ21の昇降を制御するモータ制御部22とから構成される。撮像部10は、撮像素子として例えばCCD12等の受光素子と、CCD12を駆動制御するCCD制御回路13と、照明部60からステージ30上に載置された試料Sに対して照射された光の透過光や反射光をCCD12上に結像させる光学系11とを備える。
[画素ずらし手段]
さらに撮像部10は、画素ずらしによってCCD12の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるCCD駆動方式、LPFを傾斜させるLPF傾斜方式、レンズを移動させるレンズ移動方式等がある。図2においては、ステージ30に固定された試料Sから光学系11を介してCCD12に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるCCD12の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部14を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
情報処理装置50は、モータ制御回路22に対してステッピングモータ21の制御に関する制御データを入力することによって、試料固定部であるステージ30と、光学系11および撮像素子であるCCD12を有するカメラ10aとの光軸方向における相対距離、ここではz方向における高さを変化させる。具体的には、情報処理装置50は、ステージ昇降器20の制御に必要な制御データをモータ制御回路22に入力することによってステッピングモータ21の回転を制御し、ステージ30の高さz(z方向の位置)を昇降させる。ステッピングモータ21は、回転に応じた回転信号を生成する。情報処理装置50は、モータ制御回路22を介して入力される回転信号に基づいて、試料固定部と光学系11の光軸方向における相対距離に関する情報としてのステージ30の高さzを記憶する。なお本実施の形態においては、ステージ30の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ30を固定して光学系11の高さ、例えばカメラ10aの高さを変化させてもよい。
CCD12は、x方向およびy方向に2次元状に配置された画素毎に受光量を電気的に読み取ることができる。CCD12上に結像された試料Sの像は、CCD12の各画素において受光量に応じて電気信号に変換され、CCD制御回路13においてさらにデジタルデータに変換される。情報処理装置50は、CCD制御回路13において変換されたデジタルデータを受光データDとして、光軸方向(図2中のz方向)とほぼ垂直な面内(図2中のx、y方向)における試料の2次元位置情報としての画素の配置情報(x、y)と共にメモリ53に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して90°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。
また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ10aは、カメラ取り付け部43に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
図1に示す照明部60は、試料に落射光を照射するための落射照明60Aと、透過光を照射するための透過照明60Bを備える。これらの照明は、光ファイバー61を介して情報処理装置50と接続される。情報処理装置50は光ファイバー61を接続するコネクタ62を備えると共に、コネクタ62を介して光ファイバー61に光を送出するための光源(図示せず)を内蔵する。光源にはハロゲンランプ等が用いられる。
[制御部51]
制御手段である制御部51は、撮像した観察画像を、表示部52で表示可能な解像度に変換して表示するよう制御する。図1の拡大観察装置においては、撮像部10がCCD12によって試料Sを撮像した観察画像を表示部52に表示する。一般にCCD等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部10で読み取ったときの読取解像度を第一の解像度とすると、表示部52においては第一の解像度よりも低い第二の解像度で表示されることとなる。
[第2の実施の形態]
次に、本発明の第2の実施の形態に係る拡大観察装置を、図3を用いて説明する。第2の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Sに対して照射された第一の光源(レーザ101)からの光の反射光を第一の光学系100を介して第一の受光素子(フォトダイオード112)によって受光する第一の撮像部と、試料Sに対して照射された第二の光源(白色ランプ201)からの光の反射光を第二の光学系200を介して第二の受光素子(CCD212)によって受光する第二の撮像部とを備える。
まず、第一の撮像部について説明する。第一の光学系100は、試料Sに単色光(例えばレーザ光)を照射するレーザ101、第一のコリメートレンズ102、偏光ビームスプリッタ103、1/4波長板104、水平偏向装置105、垂直偏向装置106、第一のリレーレンズ107、第二のリレーレンズ108、対物レンズ109、結像レンズ110、ピンホール板111、フォトダイオード112を有する。
第一の光源には、例えば赤色レーザ光を発する半導体レーザ101が用いられる。レーザ駆動回路115によって駆動されるレーザ101から出射されたレーザ光は、第一のコリメートレンズ102を通り、偏光ビームスプリッタ103で光路を変えられ、1/4波長板104を通過する。この後、水平偏向装置105および垂直偏向装置106によって水平(横)方向および垂直(縦)方向に偏向された後、第一のリレーレンズ107および第二のリレーレンズ108を通過し、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
水平偏向装置105および垂直偏向装置106は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Sの表面をレーザ光で走査する。ステージ30は、ステージ昇降器20によりz方向(光軸方向)に駆動される。これにより、対物レンズ109の焦点と試料Sとの光軸方向での相対距離を変化させることができる。
試料Sで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ109、第二のリレーレンズ108および第一のリレーレンズ107を通り、水平偏向装置105および垂直偏向装置106を介して1/4波長板104を再び通る。この結果、レーザ光は偏光ビームスプリッタ103を透過し、結像レンズ110によって集光される。集光されたレーザ光は、結像レンズ110の焦点位置に配置されたピンホール板111のピンホールを通過してフォトダイオード112に入射する。フォトダイオード112は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路(図示せず)を介してA/Dコンバータ113に入力され、デジタルデータに変換される。ここでは、第一の受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ101は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。
上記のような構成の第一の撮像部により、試料Sの高さ(深さ)情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ30がステージ昇降器20のステッピングモータ21およびモータ制御回路22によってz方向(光軸方向)に駆動されると、対物レンズ109の焦点と試料Sとの光軸方向における相対距離が変化する。そして、対物レンズ109の焦点が試料Sの表面(被測定面)に結ばれたときに、試料Sの表面で反射されたレーザ光は上記の光路を経て結像レンズ110で集光され、ほとんどすべてのレーザ光がピンホール板111のピンホールを通過する。したがって、このときにフォトダイオード112の受光量が最大になる。逆に、対物レンズ109の焦点が試料Sの表面(被測定面)からずれている状態では、結像レンズ109によって集光されたレーザ光はピンホール板111からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード112の受光量は著しく低下する。
したがって、試料Sの表面の任意の点について、ステージ30をz方向(光軸方向)に駆動しながらフォトダイオード112の受光量を検出すれば、その受光量が最大になるときのステージ30の高さを求めることができる。
実際には、ステージ30を1ステップ移動するたびに水平偏向装置105および垂直偏向装置106によって試料Sの表面を走査してフォトダイオード112の受光量を取得する。図4は、1つの点(画素)におけるステージ30の高さzに対する受光データDの変化を示す。ステージ30を測定範囲の下端から上端までz方向に移動させたとき、走査範囲内の複数の点(画素)について、図4に示したように高さzに応じて変化する受光データDが得られる。この受光データDに基づいて、最大受光量とそのときの焦点距離Zfが各点(画素)ごとに得られる。この受光データDの最大値に対応するステージ30の高さzが焦点距離Zfとなる。したがって、この焦点距離Zfに基づいて試料Sの表面高さのx−y平面での分布が得られる。この処理は、インターフェイス53を介して入力されると共にメモリ53に記憶されたCCD12の受光データDを画素の配置情報(x、y)および高さ情報zに基づいて、制御部51によって行われる。
得られた表面高さの分布は、いくつかの方法で表示部52に表示することができる。例えば3次元表示によって試料の高さ分布(表面形状)を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの2次元分布として表示できる。また高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。
第2の実施の形態においても、第1の実施の形態と同様に、第一の撮像部によって得られた高さデータに基づき、ポインティングデバイス55A等によって表示部52の画像上の2点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部52に表示することができる。
また、x−y走査範囲内の各点(画素)について得られた受光量を輝度データとする輝度信号から、試料wの表面画像(白黒画像)が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(z方向位置)に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
次に、第二の撮像部について説明する。第二の光学系200は、試料Sに白色光(カラー画像撮影用の照明光)を照射するための第二の光源201、第二のコリメートレンズ202、第1ハーフミラー203、第2ハーフミラー204、第2受光素子としてのCCD212を有する。また、第二の光学系200は第一の光学系100の対物レンズ109を共用し、両光学系100、200の光軸は一致している。
第二の光源201には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第二の光源201から出た白色光は、第二のコリメートレンズ202を通り、第一のハーフミラー203で光路を曲げられ、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
試料Sで反射された白色光は、対物レンズ109、第一のハーフミラー203、第二のリレーレンズ108を通過し、第二のハーフミラー204で反射されてカラーで受光可能なCCD212に入射して結像する。CCD212は、第一の光学系100のピンホール板111のピンホールと共役または共役に近い位置に設けられている。CCD212で撮像されたカラー画像は、CCD制御回路213によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Sの観察用の拡大カラー画像として表示部52に表示される。
また、第一の撮像部で得られた被写界深度の深い共焦点画像と第二の撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第二の撮像部で得られたカラー画像を構成する輝度信号を第一の光学系100で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。
ここでは、共焦点光学系である第一の光学系100を有する第一の撮像部と非共焦点光学系である第二の光学系200を有する第二の撮像部を備える拡大観察装置を示したが、第1の撮像部のみを備える構成とすることもできる。
また、第1の実施の形態に係る拡大観察装置のように、受光素子は2次元状に配置された画素毎に受光量を読み取る2次元撮像素子(例えばCCD)であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としCCDを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、2次元撮像素子としてカラーCCDを用いる場合は、RGBの受光データに基づいてその画素の受光データを算出してもよく、またRGBのうちの1または2の色調の受光データに基づいてその画素の受光データとしてもよい。
また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。
また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。また、以上の説明では、試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付けその先端に試料を固定する構成とすることもできる。
[3次元画像]
また拡大観察装置は、2次元的な画像のみならず、3次元画像を表示させることもできる。3次元データに基づいて3次元画像を拡大観察装置の表示部52に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さなど表面形状やプロファイルの測定を行うことができる。3次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を3次元データとして構築できる。なお3次元データの生成や後述する位置合わせなどの処理は、制御部51で行われる。制御部51などの部材は、所定のゲートアレイ(FPGA、ASIC)等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図2や図3に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図2や図3に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。
一般的な3次元データの撮像方法を図5に基づいて説明する。まずステップS1で撮像部10、ステージ昇降器20および情報処理装置50等を初期化する。そしてステップS2で、レンズの移動量と移動範囲を設定する。レンズの移動範囲はレンズの高さの範囲であり、例えばユーザが大まかな高さを移動開始位置として指定する。またレンズの移動量はレンズの一回当たりの移動距離であり、細かく設定するほど詳細な画像が撮像できる反面、生成に時間がかかるので、観察目的に応じて適切な値に設定する。指定方法としては、ユーザが画像の精細さを指定し、これに応じた移動距離を拡大観察装置側が自動的に設定したり、ユーザが直接移動距離を数値などで指定する、あるいはデフォルトの既定値を利用するなどの方法がある。
次にステップS3では、上記で指定された移動開始位置にレンズを設定する。そしてステップS4で撮像を開始する。撮像後、ステップS5でレンズをステップS2で設定された移動量だけ移動させ、ステップS6で移動範囲が終了位置に達したか否かを判定を行う。終了位置に達していない場合はステップS4に戻って撮像と移動ステップを繰り返す。移動の結果、ステップS2で設定された移動範囲を終えた時点でステップS7に移行し、2次元の撮像画像を合成する。そしてステップS8で、撮像された複数の2次元画像データに基づいて3次元画像データを構築し、表示部52に表示させる。
[3次元画像データの作成]
3次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の2次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された2次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。
以下、図6のフローチャートに基づいて3次元画像を合成する一手順を説明する。ここでは、複数の2次元画像を入力画像とし、これらに基づいて3次元画像データを生成すると共に、3次元画像をピントのあった状態に合成した2次元合成画像を生成する。まず、ステップS8−1で各部の初期化を、ステップS8−2で合成画像を作成する領域として用意された合成画像領域の初期化を行う。そしてステップS8−3で、入力画像である2次元画像データの周波数解析を行う。例えば2次元離散フーリエ変換や2次元離散ウェーブレット変換などによって、画像データの周波数成分を検出できる。さらにステップS8−4で、一定の領域について合成画像と入力画像を比較する。一定の領域とは、合成画像領域を所定の基準領域に分割したものであり、この基準領域を単位として合成画像と入力画像を比較しながら合成画像領域を走査していく。
そして、ステップS8−5で入力画像が合成画像よりピントが合っているかどうかを判定する。ピントの合焦点の度合いについては、上記ステップS8−3における周波数的な解析の結果から判断できる。判定の結果、入力画像の方がピントが合っている場合はステップS8−6に移行して、一定の領域について合成画像データを入力画像データと入れ替える。さらに、入れ替えた入力画像データを撮像時の高さ情報も合わせて保存される。そしてステップS8−7に進む。一方、ピントが合っていない場合はステップS8−6をスキップしてステップS8−7にジャンプする。なお、最初のループでは合成画像データの入力がない状態であるため、入力画像がそのまま合成画像として入力される。そしてステップS8−7のループを繰り返す内、ピントの合う画像と次々に入れ替えられ、最終的にピントのあった2次元合成画像が取得される。
ステップS8−7では、次の入力画像が存在するか否かを判定する。存在する場合はステップS8−3に戻ることで、すべての入力画像について上記の処理を繰り返す。存在しない場合は処理を終了する。以上のステップを経て、複数の2次元画像データからピントのあった2次元合成画像が取得され、同時に各ピントの合った位置における高さ情報が得られているため、立体的な情報を持つ3次元画像データが構築される。
以上のようにして構築された3次元画像は、自由に観察視点を変更したり画像を拡大・縮小等して表示させることができる。観察視点の変更には、任意の方向への画像の回転、反転、変形等の処理も含まれる。変更操作は、マウス55a等のポインティングデバイス55Aで行われる。画像の回転は、マウス55aを操作し、画像を選択してドラッグしたままマウスポインタ55eを移動させることで、ドラッグされた方向に回転する。また拡大・縮小は、ホイールマウスのスクロールボタン55dに画面の拡大、縮小機能を割り当てることも可能である。これらの方法に限られず、操作部として操作ボタンやツールをソフトウェア画面上に配置して操作したり、操作機能をキーボードの特定のキーに割り付けたり、操作用の専用ハードウェアを操作部とすることもできる。
このような3次元画像の取得方法や、取得された3次元データの表示を変更する手法は、既知の方法や将来開発される方法が適宜利用できる。例えば、オープンGL(Open Graphics Library)等のAPIが利用できる。
取得された3次元データについては、上述の撮像過程で取得した撮像位置に関する基準情報を併せて保持できる。位置に関する基準情報は、撮像時におけるX,Y,Z方向の基準となる情報である。上述の通り3次元データの構築には、撮像時のレンズの高さとその高さで撮像された2次元画像が用いられ、異なる高さ毎に撮像された複数枚の2次元画像データを合成して3次元画像データが構築されるため、上述したレンズの移動量や移動範囲といった画像撮像時の高さ方向の移動量が記録されている。この情報を高さ方向、すなわちZ方向の基準情報として利用する。また、X,Y方向については、例えば3次元画像データの構築に使用された2次元画像の1ピクセルが、実際にどのくらいの長さに相当するかという実寸法に関する情報が利用できる。これらの基準情報を保持することで、複数の3次元画像を比較する際の倍率の調整や位置合わせ等に利用できる。なお、ここで必要な情報は必ずしも撮像された画像の実寸法に相当する情報でなくともよく、他の3次元画像データと相対的に比較できる情報であれば足り、例えば撮像時の拡大率や解像度、ドット数等も利用できる。このように、3次元画像データに基準情報を持たせることで、後述するように比較対象となる各3次元画像が持つX,Y,Z方向の基準データを元に、基準となる3次元画像データに合わせて比較する3次元画像の表示倍率を拡大縮小する。
また、基準情報に加えて、倍率情報や撮影条件に関する情報を併せて保持することもできる。例えば、照明の強度や撮影時刻、試料名など、任意のデータを3次元画像データと共に保存することができる。データの保存形式としては、3次元画像データファイルに、これらの情報を保持する専用のデータ領域を設けて、この部分にデータを書き込む方法などが利用できる。あるいは、個別のファイルに保存したデータを関連付けて保存することもできる。
[表示領域]
このようにして撮像された3次元画像を同一画面上に複数並べて表示させることで、対比を容易に行うことができる。図7に、本発明の一実施の形態に係る拡大観察用操作プログラムのインターフェース画面を示す。この図に示すインターフェース画面は、2つの表示領域A、Bを設け、画面の左側を表示領域A、右側を表示領域Bとしている。このように、一の画面上の任意の位置に表示領域(3次元画像)を配置する構成の他、例えば画面に境界線を表示して複数の表示領域に分割してもよい。あるいは、別ウィンドウで表示領域を構成し、一画面上に複数のウィンドウを縮小して並べて表示することもできる。
それぞれの表示領域A、Bには、異なる3次元画像を表示できる。各々の領域において表示したい3次元画像をユーザは選択する。例えば、「ファイルを開く」ダイヤログボックスから、保存されたファイルを選択して開く。各々の3次元画像は、それぞれ個別に視点を変更したり、回転、拡大・縮小することができる。例えば一方の画像を固定したまま他方の画像のみを回転させたり拡大縮小できる。また、複数の3次元画像を連動して視点変更、拡大・縮小などさせることもできる。このような各画像を連動させた表示変更モードと、独立させた個別の表示変更モードとを切り替えて操作できる。図8は、図7の状態から表示領域Aの3次元画像を固定したまま、表示領域Bの3次元画像の視点を変更した状態を示す。また図9は、図7の状態から表示領域Bの3次元画像を固定したまま、表示領域Aの3次元画像の表示を変更した状態をそれぞれ示す。さらに図10は、図7の状態から、表示領域A、B両方の3次元画像を同時に変化させる例を示す。上記の例では、マウス55aの左右ボタン55b、55cにそれぞれの画像の視点変更を割り当てている。マウス55aの左ボタン55bを押下したままマウス55aを移動させると、その方向に画面左の表示領域Aの3次元画像が回転し(図9)、同様にマウス55aの右ボタン55cを操作すると、画面右に配置された表示領域Bの3次元画像が操作できる(図8)。また、マウス55aの左右ボタン55b、55cを同時に押下して操作すると、左右の3次元画像が同時に操作でき、同じように回転される(図10)。さらに、この例ではマウス55aのスクロールボタン55dを回転させると2つの表示領域が同時に拡大・縮小される(図11〜図13)。スクロールボタン55dを手前から奥に回転させると、画面が拡大表示され、図11から図12、図13のように細部が確認できる。また逆に回転させると画面が縮小されて、図13から図12、図11のように切り替えられる。この例に限られず、一方の倍率を固定して、他方の3次元画像のみを拡大・縮小表示させることもできる。なお、各表示領域で異なる観察対象を表示することはもちろん、同一の観察対象を各表示領域で異なる視点から表示することも可能であることはいうまでもない。
このように2つの画像を同一画面に表示させ、さらに表示態様を自由に変化可能とすることによって、画像の対比が容易に行える。また、任意の表示領域に表示される観察対象を固定し、他の表示領域に表示される観察対象を他の画像と入れ替えて表示することも可能である。また、入れ替える画像を自動的に切り替えて表示させてもよい。この機能は、特に良品と不良品の判別などの作業に好適に利用できる。例えば、基準となるリファレンス品と検査対象品を同時に表示させ、一方の表示領域でリファレンス品を表示させたまま、他方の表示領域で検査対象品の画像を順次入れ替えて表示することにより、同じ種類の検査対象品を順次比較検査できる。また、後述するように各画像を同じ姿勢や角度等の表示状態で表示させることにより、リファレンス品と検査品をさらに効率よく対比観察できる。さらにまた、入れ替える画像をスライドショーのように自動的に更新してもよい。これによって同じ種類の検査品から不良品を容易に発見できるようになる。
もちろん、表示部52には一の画像のみを表示させることもできる。図16に、他の実施の形態として異なるインターフェース画面に対象画像を表示する例を示す。このように、表示部に一の画像のみを表示させるモードと、複数の表示領域を表示するモードとを制御部51で切り替えて表示できる。
[画像の位置合わせ]
さらに、複数の表示領域で表示される画像群は、それぞれが同一の姿勢や位置、角度や傾きで表示されるように調整できる。この調整は、ユーザが手動で行う他、自動的に行うこともできる。例えば、図14に示すように2つの観察対象のワークW1、W2の初期表示状態が合致しないでずれることも考えられる。初期位置がずれているとその後の比較がしづらくなるので、図15に示すように2つのワークW1、W2が同一の姿勢で表示されるように画像の視点や傾きを修正する。この例では、左側の表示領域AのワークW1をリファレンスとして固定し、右側の表示領域Bに表示されるワークW2が、表示領域AのワークW1と同一の姿勢で表示されるように、画像認識やパターンマッチングの技術を利用して自動調整される。例えば各画像から特徴点を抽出して同一の箇所を特定し、この位置を基準として同一の姿勢となるようにいずれか、あるいは両方の画像を回転させる。両方の画像を回転させる際には、水平姿勢の正面図や平面図、右斜め上45°から見た斜視図など、基準となる所定の表示形態を予め設定しておき、両方の画像をこの姿勢に合致させる。あるいは、任意の時点における一方の表示領域での表示状態に視点や拡大率を合わせるように、他方の表示領域における表示状態を調整することもできる。例えば図9や図10に示すインターフェース画面において、類似のワークW3、W4が異なる視点で表示されている状態から、両者の姿勢を揃えるように一方を回転させ、また一方のワークを回転、拡大縮小させるのに同期して、他方のワークの表示状態も同様に変更することができる。
ワークW1、W2の位置合わせを行う具体的な手法を、図17のフローチャートに基づいて説明する。まず、ステップS’1で各部の初期化を行う。次いでステップS’2でワーク1の画像合成処理を、ステップS’3でワーク2の画像合成処理をそれぞれ行う。画像合成処理は、図6に基づいて上述した3次元画像データの作成と同様の処理である。ここでは、ピントのあった2次元画像同士の位置決めを行う。次にステップS’4で、ワーク1とワーク2の2次元合成画像間でパターンマッチングを行う。さらにステップS’5で、ワーク1とワーク2の画像のパターンマッチング結果に基づいて、画像間の位置ずれしている回転角度および拡大率を計算する。この計算結果を基に、ステップS’6で一方の画像について位置の補正を行う。すなわち、基準となる画像と略同一の表示となるように、回転角度と拡大率を変更して表示する。これによって、2次元画像の位置合わせが実現される。
以上の手順では、3次元画像を特定の姿勢で表示した2次元画像を対象に画像の位置あわせを行った。この例に限られず、3次元画像データ同士の位置合わせを行うこともできる。例えば、3次元のパターンマッチングや、3次元の各画像データから立体画像の重心を算出し、重心の軸を基準として3次元画像の姿勢を調整することで、3次元画像を同一姿勢に一致させることができる。重心軸の算出にはモーメントの演算等が利用できる。これによって、3次元の画像データを使って2次元データよりも正確な位置合わせが実現される。
姿勢や角度などを同じくする表示態様で複数の画像を表示させることによって、両者の共通部分の認識や相違点の把握を容易に行える。さらに、位置合わせの自動調整機能を使用することで、撮像された画像の表示状態を手動で一致させる手間を省くことができ、例えば画像撮像時の位置決め作業を簡素化して画像取り込みを容易にできる。
またこの位置合わせは、任意のタイミングで実行できる。例えば画像を画面に表示させた際の初期状態として自動的に行わせることもできる。あるいは、それぞれの画像に対して回転や拡大・縮小などの処理を行った後に、これらの操作をリセットして同一姿勢や初期状態、あるいは設定された状態に回転角度や拡大率などを戻すこともできる。設定された状態としては、任意の回転角や姿勢が設定でき、例えば平面図や斜視図の表示姿勢等が指定できる。特に自動調整された状態を初期状態に設定しておくことで、常に同じ姿勢で対比可能な状態に角度や拡大率を戻すことができ、操作のやり直しや確認作業等に便利である。なお設定された姿勢や初期状態に戻す機能は、すべての表示領域に対して一律に実行する他、任意の表示領域のみを対象とすることもできる。このような位置合わせ機能の実行には、専用の位置合わせボタンを用意しておくことで、機能の呼び出しが容易となりユーザは任意のタイミングで所定の姿勢への復帰を行える。また、画面をダブルクリックする、あるいは特定のショートカットを割り当てる等の方法で位置合わせ機能や初期状態へのリセットを実行させることも可能である。
上記の例では表示領域A、Bの2つで3次元画像を表示させる例を示したが、3以上の3次元画像を表示させることも可能であることはいうまでもない。また、3次元画像に限られず2次元画像等を表示することも可能である。さらに、同一の観察対象を複数の画面に表示させることも可能である。例えば、同一の試料につき、正面と背面を同時に確認するなど、視点を変えた画像を表示させる場合に有効である。
[キャリブレーション機能]
次に、画像の位置合わせについて具体例を詳述する。図18は、画像の位置合わせ等の操作を行う拡大観察用操作プログラムのコントローラ部300のユーザインターフェース画面を示すイメージ図である。まず画像の位置合わせ、すなわち同一の対象物を複数の画像で表示する際に、各画像で表示される対象物の大きさが一致するように補正するキャリブレーション機能について説明する。キャリブレーション機能は、例えば同一の試料を異なる倍率で撮像したため、得られた3次元画像のサイズが異なる場合に、これらの3次元画像で表示される試料の大きさを画面上で揃えるように、一方を拡大・縮小して他方に合わせるよう補正する機能である。キャリブレーション機能は、図26に基づいて後述する倍率調整部522により実現される。図18において、下段の「ファイル選択」欄302から、まず基準(リファレンス)となる3次元画像データを選択する。図の例ではプルダウンメニューで選択しているが、「ファイルを開く」ダイヤログ画面等から選択することも可能であることはいうまでもない。ファイルを選択して「3Dを表示」ボタン304を押下すると、表示部52Bとして図19のような3次元画像のビューワ画面が開き、選択された3次元画像が表示される。この状態では、一の3次元画像のみが表示され、ユーザは上記と同様に画像の拡大・縮小や回転、移動等を行うことができる。また下部の「3Dを閉じる」ボタン306を押下すると、図19のビューワ画面を閉じる。
次に、基準3次元画像と比較したい比較3次元画像データを、同じく図18の「ファイル選択」欄302から選択する。ファイルを選択後、「ファイル選択」欄302の上段に設けられた「3Dファイル比較」欄310の「比較モード」ボタン312を押下すると、表示部52Bは図20に示すような画面に切り替わり、表示領域A、表示領域Bに分割される。ここでは、既に表示されている基準3次元画像が左側の表示領域Aに表示されると共に、その右側の表示領域Bに、選択した比較対象の3次元画像が並んで表示される。これらの画像データは、同一あるいは類似の対象を撮影したものであるが、撮像時の倍率が異なっており、表示されるイメージの大きさが一致しない。この状態から、図18の「3Dファイル比較」欄310の「連動モード」ボタン314を押下すると、図21に示すように、比較3次元画像の表示倍率が変更されて、左側の基準3次元画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、上述したとおり3次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準3次元画像の倍率を基準として、右側の比較3次元画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、対比して観察する際に非常に便利となる。なお、倍率調整部522は、表示の拡大縮小倍率の調整を自動で行うこともできるが、手動で行うようにすることもできる。
[画像の視点合わせ]
次に、観察の視点を合わせる手順について説明する。上記と同様に、図18のコントローラ部300から基準3次元画像を選択して表示させ、所望の視点に調整する。視点の調整は、上述の通りマウスのドラッグなどにより行える。ここでは、図19の基準3次元画像を図22のように視点を変更したものとする。次に、上記と同様にして図18のコントローラ部300から比較対象の比較3次元画像を選択して「比較モード」ボタン312を押下すると、図23に示すように基準3次元画像が左側の表示領域Aに、比較3次元画像が右側の表示領域Bに、各々表示される。この状態から、図18の「3Dファイル比較」欄310の「同期セット」ボタン316を押下すると、図24に示すように比較3次元画像の姿勢が、左側の基準3次元画像と同じ視点となるように変更される。視点の変更処理には、上述した画像認識やパターンマッチングの技術が利用される。各画像の回転角度やオフセット位置などを演算し、比較3次元画像の表示姿勢が基準3次元画像と一致するように演算して処理される。またこの際に、上述した3次元データと共に保存された撮像位置に関する基準情報を利用してもよい。以上のようにして、同じ視点から2つの画像を対比して観察できるので、ユーザは視点合わせを手動で行う必要が無く便利に使用できる。
さらにこの状態から、図18の「3Dファイル比較」欄310の「連動モード」ボタン314を押下すると、図25に示すように、視点を同じに維持したまま比較3次元画像の表示倍率が変更されて、左側の基準3次元画像と同じ視点および倍率で表示される。このように、倍率および視点の一致を共に行うことで、様々な画像を観察しやすい優れた環境が実現される。
またユーザは、表示中の3次元画像を表示状態を、2次元画像として保存することもできる。図18のコントローラ部300画面上部の「高さ調整」スライダ320の下に設けられた「保存」ボタン322を押下すると、2次元画像として保存するダイヤログボックスが開くので、保存先やファイル名、ファイル形式などを指定して、3次元画像を現在表示中の2次元画像として保存する。また、「保存」ボタン322の下に設けられた「リセット」ボタン324は、3次元画像を回転、移動等させた後初期状態に戻したい場合に押下すると、ファイルを開いた直後の状態での初期状態の姿勢に戻る。さらに「保存」ボタン322の上方に配置された「高さ調整」スライダ320は、3次元画像の立体感を調整するものである。「高さ調整」スライダ320を中間位置から下方に移動させるほど、立体感が強調され、逆に上方に移動させるほど立体感が弱められ平面に近付く。なお、ここで説明したコントローラ部300の機能や操作方法は一例であって、プログラムのユーザインターフェース画面や操作方法などは、適宜変更可能であることはいうまでもない。また、コントローラ部に相当するハードウェアを拡大観察装置に設置することもできる。
[3次元表現パターン画像]
次に、3次元画像の高さに基づいて3次元表現パターン画像を生成する手順について説明する。撮像部で撮像された3次元画像は高さ情報を有しているが、その表面状態によっては高さが判別しづらいことがある。一般に、3次元画像はコンピュータグラフィック(CG)の技法を用いて、表面を撮像した画像データ(テクスチャ)を3次元画像に貼り付けるなど、表示画面上で擬似的に再現されたものであるため、表面の模様が複雑な場合など、高低差を判別し難くなることがある。そこで、3次元画像の表面を高低差に応じて色分けするよう着色し、色の違いで高さを表現することが行われている。例えば、高い位置から低い位置にかけて、色を赤→橙→黄→緑→水→青→黒となるように、一定幅の高さ毎に色を区切ったり、あるいはカラーグラデーションによって漸増的に色変化させるなどして、所定の範囲の色変化を有する色パレットを作成し、色パレットの各色に対して高さを割り当てる。色パレットは、表示部で表示可能な色数の範囲内で、色の区分けを決定する。例えば8色や16色、256色といった区分けを行う。色パレットに含まれる区分けされた色と高さの割り当ては、割り当て部512が自動的に行う。割り当て部512で決定された対応関係に基づいて、高さあるいは高さの範囲毎に色が1:1に対応する。なお、高さに対応する色をそのまま3次元着色画像に表示してもよいし、3次元画像上で高さ方向(Z方向)に隣接する色同士の間でグラデーションを施し、色同士の境界部分をなめらかに表示するようにしてもよい。
[制御部51のブロック図]
図26に、生成された3次元画像に対して種々の処理を行う制御部51の構成をブロック図で示す。この図に示すように、制御部51は3次元画像を保持又は記憶するための記憶部53Aと、生成、調整された3次元画像や3次元着色画像を表示するための表示部52と、ユーザが各種の操作を行うための操作部55とを接続している。記憶部53Aは、上記の手順で生成した3次元画像を一時的に保存するメモリや、データファイルとして保存するハードディスクなどの二次記憶媒体などが利用できる。3次元画像データは、上述の通り、高さに関する情報及び大きさに関するX,Y,Z方向の基準データを含んでいる。操作部55は、上述の通りユーザが拡大観察装置に対して操作を行うための入力デバイスである。また図26に示す制御部51は、割り当て部512と、着色画像生成部514と、画像調整部516と、モード切替部518と、差分抽出部526とを備える。画像調整部516はさらに、透過率調整部520と、倍率調整部522と、視点調整部524とを備えている。なお画像調整部516は、後述の通り3次元着色画像のみならず、元の3次元画像に対しても種々の調整を行うことができる。
[割り当て部512]
割り当て部512は、まず3次元画像データが有する高さ情報の分布を調べ、その最大高さと最小高さを検出する。一方で、所定の範囲の色を階調表示させて高さを表現する色パレットを予め設定し、この色パレットの範囲の終端に位置する最大色と最小色が、最大高さと最小高さになるように、高さと色の対応関係を割り当てる。割り当ては均等に行い、高さと色の範囲の終端値を一致させた状態で、色の区分け数で高さの高低差を均等に割り、区分けされた色毎の高さを算出する。3次元画像の高さは、最小値が0となるように相対的な高低差で算出することにより、分かり易くできる。また色の区分は、範囲の終端値である最大色と最小色を決定し、この間の区分けする増分が高さで5、10、100など、区切りのよい値となるように割り当てると、表示部52での表示が見やすくなり好ましい。
[着色画像生成部514]
このようにして対応関係が決まると、これに基づいて3次元画像の表面の高さ毎に色を割り当てていき、3次元着色画像を着色画像生成部514で生成する。3次元着色画像は、3次元画像の表面を走査し、各位置の高さ情報を色情報に置き換えて作成される。この例においては、3次元画像の表面位置のみについて着色を行うことで処理の簡素化を図っている。着色は、例えば、ワイヤフレームモデルをベースにして、各高さに割り当てられた色のテクスチャデータを表面に貼り付ける。ただ、より詳細な観察を行うためにサーフェスモデルやソリッドモデルを使用したり、ボクセル(3D画素)データに変換することもできる。一例として、図27の3次元画像を3次元着色画像に変換した例を図28に示す。3次元着色画像を表示するには、図18に示すコントローラ部300おいて「高さ/カラー」ボタン326を押下する。これにより3次元画像が3次元着色画像に切り替えられ、高さに応じて色分けされて表示されるので、試料の表面模様などに拘わらず形状、特に高さのイメージを容易に把握できるようになる。
[色ゲージ402]
さらに、表示部52の一部に色と高さの対応関係を示す色ゲージ402を表示する。図28の例では画面の左側に色ゲージ402を表示しているが、色ゲージ402は任意の位置に配置してよく、また表示/非表示を切り替え可能としてもよい。この図に示す色ゲージ402は、バー状の色パレットを縦置きに表示し、色に割り当てられた高さの代表値を併記している。色ゲージ402によって、どの色がどの程度の高さに相当するかの指標がユーザに理解でき、さらに高さの数値を併記することで表示部52における長さと実際の寸法の尺度の表示ともなる。この例では、最低高さを基準すなわち0とする相対高さを示しており、最高高さを色ゲージ402の上部に表示することで、試料のピーク高さが理解できる。なお、高さの代表値は5、10、100など、一定の増分とすることもできる。またこの例では、最低高さを0とした相対高さを示しているが、相対高さの基準値は任意の値が使用でき、または絶対的な高さ表記とすることもできる。色ゲージ402を表示することで、ユーザは色と高さとの対応関係を確認できるので、この具体的な関係や値を一々記憶しておく必要がなく、色で高低のイメージを把握しつつ、具体的な値は色ゲージ402を参照して観察を容易にできる。
[スケールグリッド404]
さらに、3次元画像のX,Y,Z方向の大きさを示すスケールグリッド404を表示することもできる。図29に、図28の3次元着色画像にスケールグリッド404を表示した例を示す。この図に示すように、スケールグリッド404は3次元画像のX,Y,Z方向の直交座標軸を表示し、各座標軸上には尺度を表記する。尺度の表記は、色ゲージ402の尺度表記と一致させるが、ここでも5、10、100など、一定の増分の代表値としてもよい。スケールグリッド404を表示することで、3次元画像の奥行きや幅などの実際の寸法を把握できる。またスケールグリッド404は、3次元画像に付随して表示され、3次元画像を回転させると、スケールグリッド404も一体となって回転する。このため、直交座標が3次元画像の基準線のようにも機能し、回転角度や視点の確認にも役立つ。スケールグリッド404の表示切り替えは、図18に示すコントローラ部300の「スケール」ボタン330を押下することで、トグル式にON/OFFを切り替え可能である。
[透過率調整部520]
また、着色画像生成部514で生成された3次元着色画像は、表示部52上で元の3次元画像上に重ねて表示可能である。また、元の3次元画像と独立して表示させてもよい。例えば元の3次元画像と並べて3次元着色画像を表示したり、3次元着色画像のみを表示させるよう構成できる。さらに3次元着色画像は透過性を持たせることができ、3次元画像に3次元着色画像を重ねて表示する際に、3次元画像の表面パターンが3次元着色画像の下から透けて見えるように調整できる。図30に、図29の3次元着色画像において透過率を50%に設定した状態を示す。図30は、図27の元の3次元画像と図28の3次元着色画像とを重ね合わせた状態に表示されており、これによって3次元画像で表示される観察対象の試料の高さと表面状態とを同時に確認できる。透過率は、図26の画像調整部516に含まれる透過率調整部520で調整される。図18に示すコントローラ部300の例では、「高さ/カラー」ボタン326の下に設けられた透過率調整スライダ328を操作することで、透過率を0〜100%まで連続的に調整できる。これにより、元の3次元画像と色による高さ情報とを同時に、所望の比率で表示でき、ユーザの嗜好や観察目的などに応じて調整できる。また透過率調整部520は、3次元着色画像でなく3次元画像の透過率を調整することでも同様の効果を得られる。
[倍率調整部522]
さらに、図26の画像調整部516に含まれる倍率調整部522は、上述した画像の位置合わせを行うキャリブレーション機能を実行するための部材である。倍率調整部522により、後述するように複数の3次元画像を表示する際の試料の大きさを表示部52の画面上で自動的に揃えることができる。
[視点調整部524]
さらにまた、図26の画像調整部516に含まれる視点調整部524は、上述した複数の3次元画像の視点を合わせる機能を実現する。視点調整部524は、基準となる3次元画像で表示される対象物の視点と、比較対象となる3次元画像で表示される対象物の視点とを一致させるように調整する。具体的には、上述の通り画像認識やパターンマッチングなどの手法により、基準となる3次元画像の回転角度やオフセット量を検出し、これに基づいて比較3次元画像の姿勢を変更する。この視点調整部524は、3次元画像に対しても、3次元着色画像に対しても適用可能である。また、この視点調整部524は自動で相互の3次元画像の視点が一致するよう調整するが、ユーザが手動で3次元画像や3次元着色画像の姿勢を変更して、各画像の視点が一致するよう調整することもできる。
[高さ基準位置の指定]
さらに視点調整部は、3次元着色画像に限らず、複数の3次元画像を重ね合わせる際に、重ね合わせの基準となる高さを指定可能とすることで、重ね合わせを行う3次元画像間の高さに関してずれがある場合でも重ね合わせを容易に行える。異なる3次元画像においては、同じ形状を含んでいても高さ方向に位置ずれやオフセットが存在することがあり、このような画像においてはそのままで比較や重ね合わせを行う前に、基準となる高さを揃えてやることでこれらの作業をより適切に行うことができる。基準高さの指定は、3次元画像上から所望の位置をマウス等のポインティングデバイスでクリックすること等により容易に行える。このようにして、高さ方向の基準が異なる3次元画像においても、指定された基準に基づいて各画像の基準を揃えることにより、重ね合わせを容易に行うことができる。
[モード切替部518]
以上は、一枚の3次元画像に対して3次元着色画像を生成、表示する例を説明したが、本実施の形態では図31及び図32に示すように、複数の3次元画像に対しても同様に3次元着色画像を生成、表示できる。この際、高さと色の対応関係は、各画像毎に独立して設定することもできるし、統一した対応関係をすべての画像に適用することもできる。本実施の形態に係る拡大観察装置は、各3次元画像毎に独立して対応関係を設定する通常モードと、1の3次元画像を基準3次元画像として、これに基づいて設定される対応関係をすべての3次元画像に適用する絶対値比較モードを備えている。これらのモードは、図26において制御部51に含まれるモード切替部518により切り替えられる。モード切替部518は、ユーザが操作部55によって命令を入力し、これに基づいてモードを切り替える。
図31及び図32は、類似する形状で大きさの異なる試料を撮像した3次元画像を、表示部52の表示領域A、Bにそれぞれ表示したものである。この例では、表示領域Aに示す3次元画像を基準3次元画像とし、表示領域Bに示す3次元画像を比較3次元画像とする。これらの図に示す複数の3次元着色画像の表示例において、図31は通常モードによる表示を、図32は、絶対値比較モードによる表示を、それぞれ示している。
[通常モード]
通常モードでは、上述の通り各々の3次元画像に含まれる高さの最大値および最小値に色パレットの最大色および最小色をそれぞれ割り当て、各3次元画像毎に独立した対応関係を設定して、着色画像生成部514が3次元着色画像を生成して表示部52に表示する。図31の例では、表示領域A、Bそれぞれにおいて各3次元画像に、色パレットの色をすべて割り当てて3次元着色画像を生成しているため、ダイナミックレンジを広くとり表現力の高い表示が可能で、各3次元着色画像を単独で観察するのに適している。また、通常モードにおいて、上述したスケールグリッド404の表示ON/OFFや透過率の変更が利用できる。図33に、図31の通常モードにおいて3次元着色画像の透過率を透過率調整スライダ328で0%として元の3次元画像を表示させた例を、また図34に、同じく図31の透過率を50%として元の3次元画像に3次元着色画像を重ねて表示させた例を、それぞれ示す。一方、この状態では各3次元着色画像に着色した色パターンのスケール感が統一されていないため、実際の大きさを対比するには適していない。
[絶対値比較モード]
これに対して、図32に示す絶対値比較モードでは、基準3次元画像である表示領域Aの3次元画像データに基づいて決定された色パレットの対応関係を、表示領域Bの比較大正3次元画像にも適用している。このように共通の対応関係に基づいて着色を行う結果、同じ高さが同じ色で表示されるため、高さの比較という観察には適している。図32の例では、同時にキャリブレーション機能を実行して、右側の比較3次元画像の表示倍率を変更して左側の基準3次元画像と同じスケールで表示している。これにより、高さののみならず、大きさも統一した状態でより精度の高い比較が可能となる。もちろん、各画像は独立して拡大縮小表示や回転、移動などが自在に行えるため、必要な部位を拡大して観察することも容易に行える。さらに、両者を連動して拡大縮小、回転、移動など視点変更を行えることも、上述した通りである。さらに、透過率調整スライダ328により3次元着色画像の透過率の調整も可能である。例えば、同じスケールで試料の表面状態を確認したい場合は、図35に示すように3次元着色画像の透過率を0%として元の3次元画像のみを表示させることもでき、また図36に示すように透過率を50%として元の3次元画像と3次元着色画像をそれぞれ重ねた状態に表示して、表面状態と高さを同時に観察することもできる。さらに、各表示領域に色ゲージ402を表示し、またスケールグリッド404の表示をON/OFFすることも可能であることは上述した通りである。特に、各画像は独立して視点を変更できるので、スケールグリッド404を表示させたまま画像に回転させるとスケールグリッド404も付随して回転し、スケールグリッド404の表示状態から現在の視点の位置を確認できるので、各画像における視点の位置を把握できる利点が得られる。このように、絶対値比較モードは複数の試料を対比して観察する用途に好適に利用できる。
なお、上記の例では基準3次元画像と一の比較3次元画像の2つの画像を表示する例を示したが、3以上の画像を表示可能であることはいうまでもない。複数の画像は、表示部52を複数の表示領域に分割して、並べて一覧表示する。また、別ウィンドウを開いてウィンドウ毎に個別に表示させてもよい。
[表現パターン]
以上のようにして、高さを色で表現して3次元着色画像を生成したが、色に限られず、表示部52で表現可能な他の表現パターンを用いて高さを表現することもできる。例えば表現パターンとして、色に変わって輝度や明るさ、濃淡、あるいはテクスチャやハッチングなど表面模様の変更や、所定高さ毎に色やハッチングパターンが異なる等高線を付加する手法等が利用できる。特に輝度を表現パターンとして使用すると、表示画面がモノクロで色を表現できない場合等に、明暗で高さを表現できる。また逆に色の再現性が優れた表示部52の場合は、明るさ、色相、彩度のいずれかを変更するように表現パターンを設定することもでき、さらに複数の表現パターンを組み合わせることもできる。このようにして、着色画像生成部に代わって表現パターン画像生成部が、3次元着色画像に代わって3次元表現パターン画像を生成することでも、表示部において高さを様々な表現パターンにより表現できる。
[差分抽出部526]
以上のようにして異なる3次元画像を表示部に表示した状態で、これらを対比しながら相違点を比較することが可能である。ただ、3次元画像で表示される試料の表面状態によっては、細かな差異が観察しづらいことがある。そこで本実施の形態に係る拡大観察装置では、3次元画像を比較して自動的に相違部分を検出する差分抽出機能を備えている。差分抽出機能は、図26に示す制御部51において、差分抽出部526により実現される。差分抽出部526は、比較対象となる3次元画像が重ね合わされた状態から、相違点を抽出して差分データを生成する。好ましくは、差分抽出機能を実行する前に、比較対象となる3次元画像は予め表示倍率および視点を一致させておく。これらは、上述した倍率調整部522と視点調整部524とでそれぞれ実行される。なお、これら倍率調整部522、視点調整部524、および差分抽出部526による一連の処理は、同時に実行させることもできる。すなわち、ユーザが差分抽出機能を呼び出すと、倍率調整部522、視点調整部524、および差分抽出部526が各々の機能を順次実行して、自動的に差分抽出が実行されるように構成する。もちろん、ユーザが各機能を個別に手動あるいは自動で実行することも可能であることはいうまでもない。
[差分抽出機能を実行する手順]
ここで差分抽出機能を実行する一例を、図37〜図44に基づいて説明する。まずユーザは、予め生成され保持された3次元画像の中から、比較したい3次元画像を選択する。ここでは、図37および図38に示す3次元画像の差分を調べる例を考える。これらの3次元画像は、図39に示すように表示部52Cの画面上に同時に表示して対比することができる。図39の例では左側の表示領域Aに図37の3次元画像が、表示領域Bに図38の3次元画像が、各々表示されている。このように個別の画面で同時に表示させて対比することもできるが、ここでは一の画面にこれらの3次元画像を表示させ、重ね合わせを実行する。まず、必要に応じて倍率調整部522を使用して両画像の表示倍率を一致させる。そして、図40に示すように視点調整部524を使用して3次元画像同士が重なるように視点を調整する。このとき、それぞれの3次元画像に対して、上述した透過率調整部を使用して、表示の透過率を調整する。透過率は各々の3次元画像毎に独立して個別に調整してもよく、また表示の比率を変更して両画像の透過率を相対的に調整することもできる。透過率を調整することで、2つの3次元画像が重ねられても両者を視認でき、重なり具合を確認することができる。またユーザは、一方の3次元画像を固定して他方の3次元画像を回転、移動させながら、あるいは各3次元画像を適宜選択して個別に回転や移動を行いながら、手動で2つの3次元画像データがなるべく重なるように調整する。また、ユーザが手動で一致させる方法によらず、画像認識により両画像の一致部分を検出するなどしてして、視点調整部524が自動で両画像が重なるように調整するよう構成することもできる。
[3次元差分画像]
このようにして、両3次元画像を図41に示すように一致させる。そして、この状態から差分抽出部526が両画像の差分を抽出する。抽出された差分は、図42に示すように断片的な3次元画像となるので、このような3次元差分画像のみを表示部に表示させることが可能となる。また3次元差分画像は、図42に示すように比較する3次元画像の相違点をすべて抽出した3次元差分画像とすることもできるが、図43に示すように、予め設定された閾値に基づき、この閾値を超えるもののみを3次元差分画像として扱うこともできる。閾値を設定することで、ノイズや細かな表面形状の差異、あるいは視点合わせ上のずれなどを排除して、必要な差異のみを抽出することが可能となる。閾値は、例えば体積で指定し、抽出された3次元の差分領域の断片の体積を各々演算して、体積閾値を超える断片を3次元差分画像とする。あるいは、閾値を面積で指定し、抽出された差分領域の表示視点における面積を各々演算して、面積閾値を超える断片を3次元差分画像としてもよい。このようにして得られた3次元差分画像を、図44に示すように表示部52Cの表示領域Bに表示し、一方表示領域Aに、対比する3次元画像の重ね合わせ状態を示す。以上のようにして、対比する3次元画像の相違点を抽出して表示し、観察に利用できる。さらに抽出された3次元差分画像のみを図43に示すように別画面で表示させたり、図44に示すように元の重ね合わせ画像や単独画像と対比できるように同一画面上に分けて表示することができ、あるいは重ね合わせ画像や単独の3次元差分画像上にオーバーラップするように表示させることもできる。3次元差分画像を元の画像上にオーバーラップさせて表示させる際には、元の3次元画像のみならず3次元差分画像も透過率調整部で透過率を調整するように構成してもよい。
以上の例では、2つの3次元画像に対して差分を抽出したが、3以上の3次元画像に対して差分を抽出することもできる。また、一の基準3次元画像に対して、比較3次元画像を順次入れ替えて各々差分抽出部526により3次元差分画像を生成し保存するよう構成することもできる。これにより、異常の発見や不良品の検出などにも効果的に利用できる。例えば良品を基準3次元画像として登録しておき、部分的な欠損や穿孔位置のずれなどを含む比較3次元画像を検出し、その原因も特定できる。3次元差分画像の生成を判りやすく説明するために、図45の図形を基準3次元画像G1とし、図46の図形を比較3次元画像G2として、これらに基づいて3次元差分画像G3を生成する例について考える。この例では、3次元画像をワイヤーフレーム状に表示している。また比較3次元画像G2の外形を基準3次元画像G1とほぼ等しくし、上面に直方体状の凹部を形成している。まず必要に応じて倍率調整部522でこれらの表示倍率を調整した後、図47に示すようにこれら基準3次元画像G1と比較3次元画像G2とを視点調整部524などにより重ね合わせる。すると、これらの図形の主要な相違点である直方体状の凹部が、図48のような3次元差分画像G3として差分抽出部526により抽出される。また、両画像の外形部分の差は、差異が少ないため差分として検出されない。抽出された3次元差分画像G3は、図48のように単独で表示することもでき、また図49に示すように基準3次元画像G1の上に重ねて表示することもできる。
[ハイライト処理]
また、このような3次元差分画像に対してハイライト処理を施して、3次元差分画像単独で表示させたり、あるは元の3次元画像上に重ねて表示させるよう構成してもよい。ハイライト処理は、差分として抽出された領域が、元の3次元画像上でどの部分にあたるかをユーザに視認しやすいように行われる。ハイライト処理の例としては、着色処理や輝度・明るさ・濃淡の変更、ハッチングパターンや線種・陰影・グレーアウトなどの模様の付加、点滅させる等の処理が挙げられる。あるいは、線種を変更する方法も採用できる。例えば元の3次元画像および抽出された3次元差分画像を、異なる線種でワイヤフレーム表示する。線種としては、実線、波線、点線、一点鎖線や太線、細線、二重線などと変更し、元の3次元画像と3次元差分画像とを区別できるようにする。あるいは、3次元画像と3次元差分画像との境界部分を線で表示する。このようにして、ユーザは元の3次元画像上で差分を視覚的に容易に認識できる。ハイライト処理は図26において差分抽出部526により行う他、制御部51の着色画像生成部514の機能、処理などと共通にすることもできる。
[3次元差分画像データの利用]
抽出された3次元差分画像は、元の3次元画像とは別のデータとして、記憶部に保存することもできる。また、得られた3次元差分画像を参照して元の3次元画像の形状の測定を行うことにより、対比した画像間の相違点をより正確にかつ立体的に把握することも可能となる。図50に、3次元画像の表面プロファイルを測定する拡大観察用操作プログラムのユーザインターフェース画面の一例を示す。図50において、画面の上面には3次元画像のイメージを表示する表示領域412を、画面右側には各種の操作を行うコンソール領域414を、画面の下方には所定の断面における3次元画像の表面プロファイルを示すプロファイル領域416を各々配置している。この図に示すように、表示領域412で表示される3次元画像上にプロファイル線を配置し、このプロファイル線における断面形状をプロファイル領域416で確認することができる。図50の例では2本のプロファイル線に対して、各々の断面形状をプロファイル領域416で表示している。このようなプロファイルの観察画面において、上述した差分抽出機能で生成される3次元差分画像を参照すると、3次元画像のどの部分が相違しているかを把握できるので、この部分をより精細に調査すべく、図50の画面において該当する部分のプロファイル面を精査するなど、3次元画像の比較作業を効率的にかつ詳細に行うために上記差分抽出機能を利用できる。