JP2005114713A - 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 - Google Patents
拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2005114713A JP2005114713A JP2004152547A JP2004152547A JP2005114713A JP 2005114713 A JP2005114713 A JP 2005114713A JP 2004152547 A JP2004152547 A JP 2004152547A JP 2004152547 A JP2004152547 A JP 2004152547A JP 2005114713 A JP2005114713 A JP 2005114713A
- Authority
- JP
- Japan
- Prior art keywords
- observation
- image
- display
- displayed
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】3次元データを同一画面に複数表示して視点変更などにより容易に対比可能な拡大観察装置等を提供する。
【解決手段】拡大観察装置は、観察対象を撮像するための撮像部と、撮像部で取得された信号に基づいて3次元の観察画像を生成する制御部と、制御部で生成された3次元の観察画像を表示するための表示部とを備える。この拡大観察装置は、表示部の一画面を複数の表示領域に分割し、各表示領域に個別の観察対象を各々表示すると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示するための表示制御部を備える。表示部制御は、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して変更する表示モードと、連動して変更する表示モードとを切替可能である。
【選択図】図10
【解決手段】拡大観察装置は、観察対象を撮像するための撮像部と、撮像部で取得された信号に基づいて3次元の観察画像を生成する制御部と、制御部で生成された3次元の観察画像を表示するための表示部とを備える。この拡大観察装置は、表示部の一画面を複数の表示領域に分割し、各表示領域に個別の観察対象を各々表示すると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示するための表示制御部を備える。表示部制御は、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して変更する表示モードと、連動して変更する表示モードとを切替可能である。
【選択図】図10
Description
本発明は、拡大した画像を撮像して表示するマイクロスコープや顕微鏡のような拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体に関する。
今日、微小物体などを拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープなどが利用されている。マイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光または透過光を、2次元状に配置された画素毎に電気的に読み取るCCDなどの受光素子を備える。CCDを用いて電気的に読み取られた画像をディスプレイ等の表示部に表示する(例えば特許文献1)。
拡大観察装置においては、一般に拡大倍率が高くなると焦点深度が浅くなり、ピントの合う領域が狭くなるため、観察対象の試料(ワーク)に凹凸や高低差があると全体を観察することが困難となる。このため、画像全体にピントの合った画像を深度合成によって作成する手法が利用されている。深度合成は、高さ方向にレンズまたは試料を移動させ、光軸方向における相対距離を変化させて複数の画像を撮影し、ピントの合った部分を抽出して合成することで、焦点深度の深い画像を撮像する。また、複数の画像を撮影する際に、レンズまたは観察対象の移動量を同時に記録しておけば、合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を3次元データとして構築することも可能である。3次元データに基づいて3D画像を拡大観察装置の表示部に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さなど表面形状の測定を行うことができる。
しかしながら、従来の拡大観察装置では一の観察対象のみしか扱うことができず、同時に複数の観察対象を同一画面上に表示できるものはなかった。同種類の観察対象を複数観察、測定する場合は、1つずつ個別に表示させつつ、画面切り替えて観察する必要があり、比較検討等が不便であった。拡大観察装置は、製造物の不良品のチェック等に使用されることが多いため、基準となるレファレンス品と、検査対象品を対比しながら観察できる拡大観察装置とできれば対比観察が容易に行える。特に3次元データの場合、様々な角度から観察可能であるため、複数の観察対象を並べた状態で視点を変化させながら対比することができれば、より便利に使用できる。
特開2000−214790号公報
本発明は、このような問題点を解決するためになされたものである。本発明の主な目的は、3次元データを同一画面に複数表示でき、容易に対比可能な拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体を提供することにある。
上記の目的を達成するために、本発明の請求項1の拡大観察装置は、観察対象を撮像するための撮像部と、前記撮像部で取得された信号に基づいて3次元の観察画像を生成する制御部と、前記制御部で生成された3次元の観察画像を表示するための表示部とを備える。この拡大観察装置は、前記制御部が、前記表示部の一画面を複数の表示領域に分割し、各表示領域に個別の観察対象を各々表示すると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示可能に構成されている。
また、請求項2の拡大観察装置は、請求項1に記載の拡大観察装置であって、前記制御部が、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して変更する表示モードと、連動して変更する表示モードとを切替可能に構成されている。
さらに、請求項3の拡大観察装置は、請求項1または2に記載の拡大観察装置であって、前記制御部が、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更可能に構成されている。
さらにまた、請求項4の拡大観察装置は、請求項1から3のいずれかに記載の拡大観察装置であって、前記制御部が、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替えて表示可能に構成されている。
また、請求項5の拡大観察方法は、観察対象を焦点距離を変化させて複数回撮像し、2次元の観察画像を複数枚撮像すると共に相対高さを記録するステップと、複数枚の2次元の観察画像データおよび撮像時の高さに基づいて、3次元の観察画像を生成するステップと、生成された3次元の観察画像を表示部に表示するステップとを有する。この拡大観察方法はさらに、前記表示部の一画面を複数の表示領域に分割し、分割された各表示領域に個別の3次元画像を各々表示させると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示するステップを備える。
さらに、請求項6の拡大観察方法は、請求項5に記載の拡大観察方法であって、前記変更表示ステップが、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して、あるいは連動して変更可能である。
さらにまた、請求項7の拡大観察方法は、請求項5または6に記載の拡大観察方法であって、さらに、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更するステップを含む。
さらにまた、請求項8の拡大観察方法は、請求項5から7のいずれかに記載の拡大観察方法であって、さらに、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替えるステップを含む。
また、請求項9の拡大観察用操作プログラムは、観察対象を焦点距離を変化させて複数回撮像し、2次元の観察画像を複数枚撮像すると共に相対高さを記録する機能と、複数枚の2次元の観察画像データおよび撮像時の高さに基づいて、3次元の観察画像を生成する機能と、生成された3次元の観察画像を表示部に表示する機能とをコンピュータに実現させる。この拡大観察用操作プログラムはさらに、前記表示部の一画面を複数の表示領域に分割し、分割された各表示領域に個別の3次元画像を各々表示させると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示する機能をコンピュータに実現させる。
さらに、請求項10の拡大観察用操作プログラムは、請求項9に記載の拡大観察用操作プログラムであって、前記変更表示機能が、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して、あるいは連動して変更可能である。
さらにまた、請求項11の拡大観察用操作プログラムは、請求項9または10に記載の拡大観察用操作プログラムであって、さらに、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更する機能をコンピュータに実現させる。
さらにまた、請求項12の拡大観察用操作プログラムは、請求項9から11のいずれかに記載の拡大観察用操作プログラムであって、さらに、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替える機能をコンピュータに実現させる。
また、本発明の請求項13に記載されたコンピュータで読み取り可能な記録媒体は、請求項9から12のいずれかに記載した拡大観察用操作プログラムを記録したものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW、blu−lay、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。また上記のプログラムは、ネットワークを介してダウンロード可能な形態も含まれる。
本発明の拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体によれば、複数の3次元画像を同一画面上に同時に表示して対比できるので、これによって比較が容易に行えるという利点がある。例えば、不良品のチェックにおいて、良品と検査対象品を並べて表示することで、違いを発見し易くなり検査作業をスムーズに行うことができる。また3次元画像の表示プログラムは、視点を変更したり画像の拡大・縮小率を変更する機能を備えるものが多く、複数の画像を連動させて変更することで、操作が容易になる。
さらに、比較時に複数の画像の表示位置、角度、姿勢などを自動的に一致させる機能を備えることで、ユーザが各々の画像の表示態様を手動で調整することなく容易に同じ態様で表示させることができ、便利に使用できる。必要に応じて、各画像の視点や倍率等を独立して変更させてもよい。さらにまた、良品の画像を表示させたまま検査対象品の画像のみを順次入れ替えることで、不良品チェックを迅速にスムーズに行うことができる。このように、本発明によって拡大観察装置の3次元表示機能をより便利に使用できる環境が提供される。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体を以下のものに特定しない。
また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x、OFDM方式等の無線LANやBluetooth等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた撮像システムも含む意味で使用する。
[第1の実施の形態]
以下、図1から図2を用いて、本発明の第1の実施の形態に係る拡大観察装置を説明する。拡大観察装置は、図1に示すように観察対象の試料を照明するための照明部60と、照明部60により照明された試料を撮像する撮像部10と、撮像部10で撮像された拡大画像を表示する表示部52を有する情報処理装置50を備える。さらに図1の拡大観察装置は、試料を固定する試料固定部(試料Sを載置するステージ30)と、光学系11を介して入射する試料固定部に固定された試料Sからの反射光または透過光を電気的に読み取る撮像素子(CCD12)と、試料固定部と光学系11の光軸方向における相対距離を変化させ焦点を調整する焦点調整部(ステージ昇降器20)とを備える。さらにまた情報処理装置50は、図2に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系11の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の2次元位置情報と共に記憶する焦点距離情報記憶部(メモリ53)と、撮像素子によって読み取られた画像を表示する表示部52と、表示部52によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部(操作部55、ポインティングデバイス55A)と、領域設定部によって設定された領域に対応する試料Sの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Sの光軸方向における平均高さを演算する演算部(制御部51)とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ(深さ)を演算できる。
以下、図1から図2を用いて、本発明の第1の実施の形態に係る拡大観察装置を説明する。拡大観察装置は、図1に示すように観察対象の試料を照明するための照明部60と、照明部60により照明された試料を撮像する撮像部10と、撮像部10で撮像された拡大画像を表示する表示部52を有する情報処理装置50を備える。さらに図1の拡大観察装置は、試料を固定する試料固定部(試料Sを載置するステージ30)と、光学系11を介して入射する試料固定部に固定された試料Sからの反射光または透過光を電気的に読み取る撮像素子(CCD12)と、試料固定部と光学系11の光軸方向における相対距離を変化させ焦点を調整する焦点調整部(ステージ昇降器20)とを備える。さらにまた情報処理装置50は、図2に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系11の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の2次元位置情報と共に記憶する焦点距離情報記憶部(メモリ53)と、撮像素子によって読み取られた画像を表示する表示部52と、表示部52によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部(操作部55、ポインティングデバイス55A)と、領域設定部によって設定された領域に対応する試料Sの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Sの光軸方向における平均高さを演算する演算部(制御部51)とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ(深さ)を演算できる。
撮像部10は、図2に示すように、試料Sを載置する試料固定部の一形態であるステージ30と、ステージ30を移動させるステージ昇降器20と、ステージ30に固定された試料に光学系を介して入射される光の反射光または透過光を、2次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてCCD12と、CCD12を駆動制御するCCD制御回路13とを備える。さらに撮像部10には、拡大観察装置本体である情報処理装置50が接続される。情報処理装置50は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ53と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部52と、表示部52上に表示される画面に基づいて入力その他の操作を行う操作部55と、操作部55によって入力された情報に基づいて画像処理その他各種の処理を行う制御部51とを備える。表示部52を構成するディスプレイは、高解像度表示が可能なモニタであり、CRTや液晶パネル等が利用される。
操作部55はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部55としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部55は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図1の例では、操作部55はマウス55a等のポインティングデバイス55Aで構成される。
図1に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ10aは、スタンド台41から鉛直方向に延びる支柱42に固定されたカメラ取り付け部43に取り付けられる。スタンド台41には、試料Sを載置するステージ30が上部に取り付けられたステージ昇降器20が配置される。カメラ10aおよびステージ昇降器20は情報処理装置50に接続されて制御される。情報処理装置50は、表示部52、およびマウス55a等の操作部55を備える。表示部52には、観察画像が表示される。
また、情報処理装置50である拡大観察装置にはコンピュータ70を接続可能であり、コンピュータ70に別途拡大観察用操作プログラムをインストールして、コンピュータ70側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置50に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェアなどの形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。
図2に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置50は、表示部52と、制御プログラム・焦点距離情報・受光データ・2次元情報等を記憶するメモリ53と、情報処理装置50がカメラ10aおよびステージ昇降器20とデータを通信するためのインターフェイス54と、操作者が拡大観察装置に関する操作を行う操作部55とから構成される。ステージ昇降器20は、例えばステッピングモータ21と、ステッピングモータ21の昇降を制御するモータ制御部22とから構成される。撮像部10は、撮像素子として例えばCCD12等の受光素子と、CCD12を駆動制御するCCD制御回路13と、照明部60からステージ30上に載置された試料Sに対して照射された光の透過光や反射光をCCD12上に結像させる光学系11とを備える。
[画素ずらし手段]
さらに撮像部10は、画素ずらしによってCCD12の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるCCD駆動方式、LPFを傾斜させるLPF傾斜方式、レンズを移動させるレンズ移動方式等がある。図2においては、ステージ30に固定された試料Sから光学系11を介してCCD12に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるCCD12の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部14を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
さらに撮像部10は、画素ずらしによってCCD12の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるCCD駆動方式、LPFを傾斜させるLPF傾斜方式、レンズを移動させるレンズ移動方式等がある。図2においては、ステージ30に固定された試料Sから光学系11を介してCCD12に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるCCD12の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部14を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
情報処理装置50は、モータ制御回路22に対してステッピングモータ21の制御に関する制御データを入力することによって、試料固定部であるステージ30と、光学系11および撮像素子であるCCD12を有するカメラ10aとの光軸方向における相対距離、ここではz方向における高さを変化させる。具体的には、情報処理装置50は、ステージ昇降器20の制御に必要な制御データをモータ制御回路22に入力することによってステッピングモータ21の回転を制御し、ステージ30の高さz(z方向の位置)を昇降させる。ステッピングモータ21は、回転に応じた回転信号を生成する。情報処理装置50は、モータ制御回路22を介して入力される回転信号に基づいて、試料固定部と光学系11の光軸方向における相対距離に関する情報としてのステージ30の高さzを記憶する。なお本実施の形態においては、ステージ30の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ30を固定して光学系11の高さ、例えばカメラ10aの高さを変化させてもよい。
CCD12は、x方向およびy方向に2次元状に配置された画素毎に受光量を電気的に読み取ることができる。CCD12上に結像された試料Sの像は、CCD12の各画素において受光量に応じて電気信号に変換され、CCD制御回路13においてさらにデジタルデータに変換される。情報処理装置50は、CCD制御回路13において変換されたデジタルデータを受光データDとして、光軸方向(図2中のz方向)とほぼ垂直な面内(図2中のx、y方向)における試料の2次元位置情報としての画素の配置情報(x、y)と共にメモリ53に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して90°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。
また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ10aは、カメラ取り付け部43に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
図1に示す照明部60は、試料に落射光を照射するための落射照明60Aと、透過光を照射するための透過照明60Bを備える。これらの照明は、光ファイバー61を介して情報処理装置50と接続される。情報処理装置50は光ファイバー61を接続するコネクタ62を備えると共に、コネクタ62を介して光ファイバー61に光を送出するための光源(図示せず)を内蔵する。光源にはハロゲンランプ等が用いられる。
[制御部51]
制御手段である制御部51は、撮像した観察画像を、表示部52で表示可能な解像度に変換して表示するよう制御する。図1の拡大観察装置においては、撮像部10がCCD12によって試料Sを撮像した観察画像を表示部52に表示する。一般にCCD等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部10で読み取ったときの読取解像度を第一の解像度とすると、表示部52においては第一の解像度よりも低い第二の解像度で表示されることとなる。
制御手段である制御部51は、撮像した観察画像を、表示部52で表示可能な解像度に変換して表示するよう制御する。図1の拡大観察装置においては、撮像部10がCCD12によって試料Sを撮像した観察画像を表示部52に表示する。一般にCCD等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部10で読み取ったときの読取解像度を第一の解像度とすると、表示部52においては第一の解像度よりも低い第二の解像度で表示されることとなる。
[第2の実施の形態]
次に、本発明の第2の実施の形態に係る拡大観察装置を、図3を用いて説明する。第2の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Sに対して照射された第一の光源(レーザ101)からの光の反射光を第一の光学系100を介して第一の受光素子(フォトダイオード112)によって受光する第一の撮像部と、試料Sに対して照射された第二の光源(白色ランプ201)からの光の反射光を第二の光学系200を介して第二の受光素子(CCD212)によって受光する第二の撮像部とを備える。
次に、本発明の第2の実施の形態に係る拡大観察装置を、図3を用いて説明する。第2の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Sに対して照射された第一の光源(レーザ101)からの光の反射光を第一の光学系100を介して第一の受光素子(フォトダイオード112)によって受光する第一の撮像部と、試料Sに対して照射された第二の光源(白色ランプ201)からの光の反射光を第二の光学系200を介して第二の受光素子(CCD212)によって受光する第二の撮像部とを備える。
まず、第一の撮像部について説明する。第一の光学系100は、試料Sに単色光(例えばレーザ光)を照射するレーザ101、第一のコリメートレンズ102、偏光ビームスプリッタ103、1/4波長板104、水平偏向装置105、垂直偏向装置106、第一のリレーレンズ107、第二のリレーレンズ108、対物レンズ109、結像レンズ110、ピンホール板111、フォトダイオード112を有する。
第一の光源には、例えば赤色レーザ光を発する半導体レーザ101が用いられる。レーザ駆動回路115によって駆動されるレーザ101から出射されたレーザ光は、第一のコリメートレンズ102を通り、偏光ビームスプリッタ103で光路を変えられ、1/4波長板104を通過する。この後、水平偏向装置105および垂直偏向装置106によって水平(横)方向および垂直(縦)方向に偏向された後、第一のリレーレンズ107および第二のリレーレンズ108を通過し、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
水平偏向装置105および垂直偏向装置106は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Sの表面をレーザ光で走査する。ステージ30は、ステージ昇降器20によりz方向(光軸方向)に駆動される。これにより、対物レンズ109の焦点と試料Sとの光軸方向での相対距離を変化させることができる。
試料Sで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ109、第二のリレーレンズ108および第一のリレーレンズ107を通り、水平偏向装置105および垂直偏向装置106を介して1/4波長板104を再び通る。この結果、レーザ光は偏光ビームスプリッタ103を透過し、結像レンズ110によって集光される。集光されたレーザ光は、結像レンズ110の焦点位置に配置されたピンホール板111のピンホールを通過してフォトダイオード112に入射する。フォトダイオード112は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路(図示せず)を介してA/Dコンバータ113に入力され、デジタルデータに変換される。ここでは、第一の受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ101は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。
上記のような構成の第一の撮像部により、試料Sの高さ(深さ)情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ30がステージ昇降器20のステッピングモータ21およびモータ制御回路22によってz方向(光軸方向)に駆動されると、対物レンズ109の焦点と試料Sとの光軸方向における相対距離が変化する。そして、対物レンズ109の焦点が試料Sの表面(被測定面)に結ばれたときに、試料Sの表面で反射されたレーザ光は上記の光路を経て結像レンズ110で集光され、ほとんどすべてのレーザ光がピンホール板111のピンホールを通過する。したがって、このときにフォトダイオード112の受光量が最大になる。逆に、対物レンズ109の焦点が試料Sの表面(被測定面)からずれている状態では、結像レンズ109によって集光されたレーザ光はピンホール板111からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード112の受光量は著しく低下する。
したがって、試料Sの表面の任意の点について、ステージ30をz方向(光軸方向)に駆動しながらフォトダイオード112の受光量を検出すれば、その受光量が最大になるときのステージ30の高さを求めることができる。
実際には、ステージ30を1ステップ移動するたびに水平偏向装置105および垂直偏向装置106によって試料Sの表面を走査してフォトダイオード112の受光量を取得する。図4は、1つの点(画素)におけるステージ30の高さzに対する受光データDの変化を示す。ステージ30を測定範囲の下端から上端までz方向に移動させたとき、走査範囲内の複数の点(画素)について、図4に示したように高さzに応じて変化する受光データDが得られる。この受光データDに基づいて、最大受光量とそのときの焦点距離Zfが各点(画素)ごとに得られる。この受光データDの最大値に対応するステージ30の高さzが焦点距離Zfとなる。したがって、この焦点距離Zfに基づいて試料Sの表面高さのx−y平面での分布が得られる。この処理は、インターフェイス53を介して入力されると共にメモリ53に記憶されたCCD12の受光データDを画素の配置情報(x、y)および高さ情報zに基づいて、制御部51によって行われる。
得られた表面高さの分布は、いくつかの方法で表示部52に表示することができる。例えば3次元表示によって試料の高さ分布(表面形状)を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの2次元分布として表示できる。また高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。
第2の実施の形態においても、第1の実施の形態と同様に、第一の撮像部によって得られた高さデータに基づき、ポインティングデバイス55A等によって表示部52の画像上の2点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部52に表示することができる。
また、x−y走査範囲内の各点(画素)について得られた受光量を輝度データとする輝度信号から、試料wの表面画像(白黒画像)が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(z方向位置)に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
次に、第二の撮像部について説明する。第二の光学系200は、試料Sに白色光(カラー画像撮影用の照明光)を照射するための第二の光源201、第二のコリメートレンズ202、第1ハーフミラー203、第2ハーフミラー204、第2受光素子としてのCCD212を有する。また、第二の光学系200は第一の光学系100の対物レンズ109を共用し、両光学系100、200の光軸は一致している。
第二の光源201には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第二の光源201から出た白色光は、第二のコリメートレンズ202を通り、第一のハーフミラー203で光路を曲げられ、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
試料Sで反射された白色光は、対物レンズ109、第一のハーフミラー203、第二のリレーレンズ108を通過し、第二のハーフミラー204で反射されてカラーで受光可能なCCD212に入射して結像する。CCD212は、第一の光学系100のピンホール板111のピンホールと共役または共役に近い位置に設けられている。CCD212で撮像されたカラー画像は、CCD制御回路213によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Sの観察用の拡大カラー画像として表示部52に表示される。
また、第一の撮像部で得られた被写界深度の深い共焦点画像と第二の撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第二の撮像部で得られたカラー画像を構成する輝度信号を第一の光学系100で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。
ここでは、共焦点光学系である第一の光学系100を有する第一の撮像部と非共焦点光学系である第二の光学系200を有する第二の撮像部を備える拡大観察装置を示したが、第1の撮像部のみを備える構成とすることもできる。
また、第1の実施の形態に係る拡大観察装置のように、受光素子は2次元状に配置された画素毎に受光量を読み取る2次元撮像素子(例えばCCD)であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としCCDを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、2次元撮像素子としてカラーCCDを用いる場合は、RGBの受光データに基づいてその画素の受光データを算出してもよく、またRGBのうちの1または2の色調の受光データに基づいてその画素の受光データとしてもよい。
また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。
また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。また、以上の説明では、試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付けその先端に試料を固定する構成とすることもできる。
[3次元画像]
また拡大観察装置は、2次元的な画像のみならず、3次元画像を表示させることもできる。3次元データに基づいて3D画像を拡大観察装置の表示部52に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さなど表面形状やプロファイルの測定を行うことができる。3次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を3次元データとして構築できる。なお3次元データの生成や後述する位置合わせなどの処理は、制御部51で行われる。制御部51などの部材は、所定のゲートアレイ(FPGA、ASIC)等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図2や図3に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図2や図3に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。
また拡大観察装置は、2次元的な画像のみならず、3次元画像を表示させることもできる。3次元データに基づいて3D画像を拡大観察装置の表示部52に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さなど表面形状やプロファイルの測定を行うことができる。3次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を3次元データとして構築できる。なお3次元データの生成や後述する位置合わせなどの処理は、制御部51で行われる。制御部51などの部材は、所定のゲートアレイ(FPGA、ASIC)等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図2や図3に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図2や図3に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。
一般的な3次元データの撮像方法を図5に基づいて説明する。まずステップS1で撮像部10、ステージ昇降器20および情報処理装置50等を初期化する。そしてステップS2で、レンズの移動量と移動範囲を設定する。レンズの移動範囲はレンズの高さの範囲であり、例えばユーザが大まかな高さを移動開始位置として指定する。またレンズの移動量はレンズの一回当たりの移動距離であり、細かく設定するほど詳細な画像が撮像できる反面、生成に時間がかかるので、観察目的に応じて適切な値に設定する。指定方法としては、ユーザが画像の精細さを指定し、これに応じた移動距離を拡大観察装置側が自動的に設定したり、ユーザが直接移動距離を数値などで指定する、あるいはデフォルトの既定値を利用するなどの方法がある。
次にステップS3では、上記で指定された移動開始位置にレンズを設定する。そしてステップS4で撮像を開始する。撮像後、ステップS5でレンズをステップS2で設定された移動量だけ移動させ、ステップS6で移動範囲が終了位置に達したか否かを判定を行う。終了位置に達していない場合はステップS4に戻って撮像と移動ステップを繰り返す。移動の結果、ステップS2で設定された移動範囲を終えた時点でステップS7に移行し、2次元の撮像画像を合成する。そしてステップS8で、撮像された複数の2次元画像データに基づいて3次元画像データを構築し、表示部52に表示させる。
[3次元画像データの作成]
3次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の2次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された2次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。
3次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の2次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された2次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。
以下、図6のフローチャートに基づいて3次元画像を合成する一手順を説明する。ここでは、複数の2次元画像を入力画像とし、これらに基づいて3次元画像データを生成すると共に、3次元画像をピントのあった状態に合成した2次元合成画像を生成する。まず、ステップS8−1で各部の初期化を、ステップS8−2で合成画像を作成する領域として用意された合成画像領域の初期化を行う。そしてステップS8−3で、入力画像である2次元画像データの周波数解析を行う。例えば2次元離散フーリエ変換や2次元離散ウェーブレット変換などによって、画像データの周波数成分を検出できる。さらにステップS8−4で、一定の領域について合成画像と入力画像を比較する。一定の領域とは、合成画像領域を所定の基準領域に分割したものであり、この基準領域を単位として合成画像と入力画像を比較しながら合成画像領域を走査していく。
そして、ステップS8−5で入力画像が合成画像よりピントが合っているかどうかを判定する。ピントの合焦点の度合いについては、上記ステップS8−3における周波数的な解析の結果から判断できる。判定の結果、入力画像の方がピントが合っている場合はステップS8−6に移行して、一定の領域について合成画像データを入力画像データと入れ替える。さらに、入れ替えた入力画像データを撮像時の高さ情報も合わせて保存される。そしてステップS8−7に進む。一方、ピントが合っていない場合はステップS8−6をスキップしてステップS8−7にジャンプする。なお、最初のループでは合成画像データの入力がない状態であるため、入力画像がそのまま合成画像として入力される。そしてステップS8−7のループを繰り返す内、ピントの合う画像と次々に入れ替えられ、最終的にピントのあった2次元合成画像が取得される。
ステップS8−7では、次の入力画像が存在するか否かを判定する。存在する場合はステップS8−3に戻ることで、すべての入力画像について上記の処理を繰り返す。存在しない場合は処理を終了する。以上のステップを経て、複数の2次元画像データからピントのあった2次元合成画像が取得され、同時に各ピントの合った位置における高さ情報が得られているため、立体的な情報を持つ3次元画像データが構築される。
以上のようにして構築された3次元画像は、自由に観察視点を変更したり画像を拡大・縮小等して表示させることができる。観察視点の変更には、任意の方向への画像の回転、反転、変形等の処理も含まれる。変更操作は、マウス55a等のポインティングデバイス55Aで行われる。画像の回転は、マウス55aを操作し、画像を選択してドラッグしたままマウスポインタ55eを移動させることで、ドラッグされた方向に回転する。また拡大・縮小は、ホイールマウスのスクロールボタン55dに画面の拡大、縮小機能を割り当てることも可能である。これらの方法に限られず、操作部として操作ボタンやツールをソフトウェア画面上に配置して操作したり、操作機能をキーボードの特定のキーに割り付けたり、操作用の専用ハードウェアを操作部とすることもできる。
このような3次元画像の取得方法や、取得された3次元データの表示を変更する手法は、既知の方法や将来開発される方法が適宜利用できる。例えば、オープンGL(Open Graphics Library)等のAPIが利用できる。
取得された3次元データについては、上述の撮像過程で取得した撮像位置に関する基準情報を併せて保持できる。位置に関する基準情報は、撮像時におけるX,Y,Z方向の基準となる情報である。上述の通り3次元データの構築には、撮像時のレンズの高さとその高さで撮像された2次元画像が用いられ、異なる高さ毎に撮像された複数枚の2次元画像データを合成して3次元画像データが構築されるため、上述したレンズの移動量や移動範囲といった画像撮像時の高さ方向の移動量が記録されている。この情報を高さ方向、すなわちZ方向の基準情報として利用する。また、X,Y方向については、例えば3次元画像データの構築に使用された2次元画像の1ピクセルが、実際にどのくらいの長さに相当するかという実寸法に関する情報が利用できる。これらの基準情報を保持することで、複数の3次元画像を比較する際の倍率の調整や位置合わせ等に利用できる。なお、ここで必要な情報は必ずしも撮像された画像の実寸法に相当する情報でなくともよく、他の3次元画像データと相対的に比較できる情報であれば足り、例えば撮像時の拡大率や解像度、ドット数等も利用できる。このように、3次元画像データに基準情報を持たせることで、後述するように比較対象となる各3次元画像が持つX,Y,Z方向の基準データを元に、基準となる3次元画像データに合わせて比較する3次元画像の表示倍率を拡大縮小する。
また、基準情報に加えて、倍率情報や撮影条件に関する情報を併せて保持することもできる。例えば、照明の強度や撮影時刻、試料名など、任意のデータを3次元画像データと共に保存することができる。データの保存形式としては、3次元画像データファイルに、これらの情報を保持する専用のデータ領域を設けて、この部分にデータを書き込む方法などが利用できる。あるいは、個別のファイルに保存したデータを関連付けて保存することもできる。
[表示領域]
このようにして撮像された3次元画像を同一画面上に複数並べて表示させることで、対比を容易に行うことができる。図7に、本発明の一実施の形態に係る拡大観察用操作プログラムのインターフェース画面を示す。この図に示すインターフェース画面は、2つの表示領域A、Bを設け、画面の左側を表示領域A、右側を表示領域Bとしている。このように、一の画面上の任意の位置に表示領域(3次元画像)を配置する構成の他、例えば画面に境界線を表示して複数の表示領域に分割してもよい。あるいは、別ウィンドウで表示領域を構成し、一画面上に複数のウィンドウを縮小して並べて表示することもできる。
このようにして撮像された3次元画像を同一画面上に複数並べて表示させることで、対比を容易に行うことができる。図7に、本発明の一実施の形態に係る拡大観察用操作プログラムのインターフェース画面を示す。この図に示すインターフェース画面は、2つの表示領域A、Bを設け、画面の左側を表示領域A、右側を表示領域Bとしている。このように、一の画面上の任意の位置に表示領域(3次元画像)を配置する構成の他、例えば画面に境界線を表示して複数の表示領域に分割してもよい。あるいは、別ウィンドウで表示領域を構成し、一画面上に複数のウィンドウを縮小して並べて表示することもできる。
それぞれの表示領域A、Bには、異なる3次元画像を表示できる。各々の領域において表示したい3次元画像をユーザは選択する。例えば、「ファイルを開く」ダイヤログボックスから、保存されたファイルを選択して開く。各々の3次元画像は、それぞれ個別に視点を変更したり、回転、拡大・縮小することができる。例えば一方の画像を固定したまま他方の画像のみを回転させたり拡大縮小できる。また、複数の3次元画像を連動して視点変更、拡大・縮小などさせることもできる。このような各画像を連動させた表示変更モードと、独立させた個別の表示変更モードとを切り替えて操作できる。図8は、図7の状態から表示領域Aの3次元画像を固定したまま、表示領域Bの3次元画像の視点を変更した状態を示す。また図9は、図7の状態から表示領域Bの3次元画像を固定したまま、表示領域Aの3次元画像の表示を変更した状態をそれぞれ示す。さらに図10は、図7の状態から、表示領域A、B両方の3次元画像を同時に変化させる例を示す。上記の例では、マウス55aの左右ボタン55b、55cにそれぞれの画像の視点変更を割り当てている。マウス55aの左ボタン55bを押下したままマウス55aを移動させると、その方向に画面左の表示領域Aの3次元画像が回転し(図9)、同様にマウス55aの右ボタン55cを操作すると、画面右に配置された表示領域Bの3次元画像が操作できる(図8)。また、マウス55aの左右ボタン55b、55cを同時に押下して操作すると、左右の3次元画像が同時に操作でき、同じように回転される(図10)。さらに、この例ではマウス55aのスクロールボタン55dを回転させると2つの表示領域が同時に拡大・縮小される(図11〜図13)。スクロールボタン55dを手前から奥に回転させると、画面が拡大表示され、図11から図12、図13のように細部が確認できる。また逆に回転させると画面が縮小されて、図13から図12、図11のように切り替えられる。この例に限られず、一方の倍率を固定して、他方の3次元画像のみを拡大・縮小表示させることもできる。なお、各表示領域で異なる観察対象を表示することはもちろん、同一の観察対象を各表示領域で異なる視点から表示することも可能であることはいうまでもない。
このように2つの画像を同一画面に表示させ、さらに表示態様を自由に変化可能とすることによって、画像の対比が容易に行える。また、任意の表示領域に表示される観察対象を固定し、他の表示領域に表示される観察対象を他の画像と入れ替えて表示することも可能である。また、入れ替える画像を自動的に切り替えて表示させてもよい。この機能は、特に良品と不良品の判別などの作業に好適に利用できる。例えば、基準となるリファレンス品と検査対象品を同時に表示させ、一方の表示領域でリファレンス品を表示させたまま、他方の表示領域で検査対象品の画像を順次入れ替えて表示することにより、同じ種類の検査対象品を順次比較検査できる。また、後述するように各画像を同じ姿勢や角度等の表示状態で表示させることにより、リファレンス品と検査品をさらに効率よく対比観察できる。さらにまた、入れ替える画像をスライドショーのように自動的に更新してもよい。これによって同じ種類の検査品から不良品を容易に発見できるようになる。
もちろん、表示部52には一の画像のみを表示させることもできる。図16に、他の実施の形態として異なるインターフェース画面に対象画像を表示する例を示す。このように、表示部に一の画像のみを表示させるモードと、複数の表示領域を表示するモードとを表示制御部で切り替えて表示できる。
[画像の位置合わせ]
さらに、複数の表示領域で表示される画像群は、それぞれが同一の姿勢や位置、角度や傾きで表示されるように調整できる。この調整は、ユーザが手動で行う他、自動的に行うこともできる。例えば、図14に示すように2つの観察対象のワークW1、W2の初期表示状態が合致しないでずれることも考えられる。初期位置がずれているとその後の比較がしづらくなるので、図15に示すように2つのワークW1、W2が同一の姿勢で表示されるように画像の視点や傾きを修正する。この例では、左側の表示領域AのワークW1をリファレンスとして固定し、右側の表示領域Bに表示されるワークW2が、表示領域AのワークW1と同一の姿勢で表示されるように、画像認識やパターンマッチングの技術を利用して自動調整される。例えば各画像から特徴点を抽出して同一の箇所を特定し、この位置を基準として同一の姿勢となるようにいずれか、あるいは両方の画像を回転させる。両方の画像を回転させる際には、水平姿勢の正面図や平面図、右斜め上45°から見た斜視図など、基準となる所定の表示形態を予め設定しておき、両方の画像をこの姿勢に合致させる。あるいは、任意の時点における一方の表示領域での表示状態に視点や拡大率を合わせるように、他方の表示領域における表示状態を調整することもできる。例えば図9や図10に示すインターフェース画面において、類似のワークW3、W4が異なる視点で表示されている状態から、両者の姿勢を揃えるように一方を回転させ、また一方のワークを回転、拡大縮小させるのに同期して、他方のワークの表示状態も同様に変更することができる。
さらに、複数の表示領域で表示される画像群は、それぞれが同一の姿勢や位置、角度や傾きで表示されるように調整できる。この調整は、ユーザが手動で行う他、自動的に行うこともできる。例えば、図14に示すように2つの観察対象のワークW1、W2の初期表示状態が合致しないでずれることも考えられる。初期位置がずれているとその後の比較がしづらくなるので、図15に示すように2つのワークW1、W2が同一の姿勢で表示されるように画像の視点や傾きを修正する。この例では、左側の表示領域AのワークW1をリファレンスとして固定し、右側の表示領域Bに表示されるワークW2が、表示領域AのワークW1と同一の姿勢で表示されるように、画像認識やパターンマッチングの技術を利用して自動調整される。例えば各画像から特徴点を抽出して同一の箇所を特定し、この位置を基準として同一の姿勢となるようにいずれか、あるいは両方の画像を回転させる。両方の画像を回転させる際には、水平姿勢の正面図や平面図、右斜め上45°から見た斜視図など、基準となる所定の表示形態を予め設定しておき、両方の画像をこの姿勢に合致させる。あるいは、任意の時点における一方の表示領域での表示状態に視点や拡大率を合わせるように、他方の表示領域における表示状態を調整することもできる。例えば図9や図10に示すインターフェース画面において、類似のワークW3、W4が異なる視点で表示されている状態から、両者の姿勢を揃えるように一方を回転させ、また一方のワークを回転、拡大縮小させるのに同期して、他方のワークの表示状態も同様に変更することができる。
ワークW1、W2の位置合わせを行う具体的な手法を、図17のフローチャートに基づいて説明する。まず、ステップS’1で各部の初期化を行う。次いでステップS’2でワーク1の画像合成処理を、ステップS’3でワーク2の画像合成処理をそれぞれ行う。画像合成処理は、図6に基づいて上述した3次元画像データの作成と同様の処理である。ここでは、ピントのあった2次元画像同士の位置決めを行う。次にステップS’4で、ワーク1とワーク2の2次元合成画像間でパターンマッチングを行う。さらにステップS’5で、ワーク1とワーク2の画像のパターンマッチング結果に基づいて、画像間の位置ずれしている回転角度および拡大率を計算する。この計算結果を基に、ステップS’6で一方の画像について位置の補正を行う。すなわち、基準となる画像と略同一の表示となるように、回転角度と拡大率を変更して表示する。これによって、2次元画像の位置合わせが実現される。
以上の手順では、3次元画像を特定の姿勢で表示した2次元画像を対象に画像の位置あわせを行った。この例に限られず、3次元画像データ同士の位置合わせを行うこともできる。例えば、3次元のパターンマッチングや、3次元の各画像データから立体画像の重心を算出し、重心の軸を基準として3次元画像の姿勢を調整することで、3次元画像を同一姿勢に一致させることができる。重心軸の算出にはモーメントの演算等が利用できる。これによって、3次元の画像データを使って2次元データよりも正確な位置合わせが実現される。
姿勢や角度などを同じくする表示態様で複数の画像を表示させることによって、両者の共通部分の認識や相違点の把握を容易に行える。さらに、位置合わせの自動調整機能を使用することで、撮像された画像の表示状態を手動で一致させる手間を省くことができ、例えば画像撮像時の位置決め作業を簡素化して画像取り込みを容易にできる。
またこの位置合わせは、任意のタイミングで実行できる。例えば画像を画面に表示させた際の初期状態として自動的に行わせることもできる。あるいは、それぞれの画像に対して回転や拡大・縮小などの処理を行った後に、これらの操作をリセットして同一姿勢や初期状態、あるいは設定された状態に回転角度や拡大率などを戻すこともできる。設定された状態としては、任意の回転角や姿勢が設定でき、例えば平面図や斜視図の表示姿勢等が指定できる。特に自動調整された状態を初期状態に設定しておくことで、常に同じ姿勢で対比可能な状態に角度や拡大率を戻すことができ、操作のやり直しや確認作業等に便利である。なお設定された姿勢や初期状態に戻す機能は、すべての表示領域に対して一律に実行する他、任意の表示領域のみを対象とすることもできる。このような位置合わせ機能の実行には、専用の位置合わせボタンを用意しておくことで、機能の呼び出しが容易となりユーザは任意のタイミングで所定の姿勢への復帰を行える。また、画面をダブルクリックする、あるいは特定のショートカットを割り当てる等の方法で位置合わせ機能や初期状態へのリセットを実行させることも可能である。
上記の例では表示領域A、Bの2つで3次元画像を表示させる例を示したが、3以上の3次元画像を表示させることも可能であることはいうまでもない。また、3次元画像に限られず2次元画像等を表示することも可能である。さらに、同一の観察対象を複数の画面に表示させることも可能である。例えば、同一の試料につき、正面と背面を同時に確認するなど、視点を変えた画像を表示させる場合に有効である。
[画像の位置合わせ]
次に、画像の位置合わせについて具体例を詳述する。図18は、画像の位置合わせを行う拡大観察用操作プログラムの操作を行うユーザインターフェース画面を示すイメージ図である。まず、表示画像の倍率を一致させる手順について説明する。図18において、下段の「ファイル選択」欄から、まず基準となる3次元画像データを選択する。図の例ではプルダウンメニューで選択しているが、ダイヤログ画面等から選択することも可能であることはいうまでもない。ファイルを選択して「3Dを表示」ボタンを押下すると、表示部52Bとして図19のような3次元画像のビューワ画面が開き、選択された3次元画像が表示される。次に、比較したい3次元画像データを、同じく図18の「ファイル選択」欄から選択する。ファイルを選択後、「ファイル選択」欄の上段に設けられた「3Dファイル比較」欄の「比較モード」ボタンを押下すると、図20に示すような画面に切り替わり、既に表示されている基準となる3次元画像が左側の表示領域Aに表示されると共に、その右側の表示領域Bに、選択した比較対象の3次元画像が並んで表示される。ここで表示される画像は、同一あるいは類似の対象を撮影したものであるが、倍率が異なっている。この状態から、図18の「3Dファイル比較」欄の「連動モード」ボタンを押下すると、図21に示すように、比較対象画像の倍率が変更されて、左側の基準画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、上述したとおり3次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準画像の倍率を基準として、右側の比較対象画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、観察に非常に便利となる。
次に、画像の位置合わせについて具体例を詳述する。図18は、画像の位置合わせを行う拡大観察用操作プログラムの操作を行うユーザインターフェース画面を示すイメージ図である。まず、表示画像の倍率を一致させる手順について説明する。図18において、下段の「ファイル選択」欄から、まず基準となる3次元画像データを選択する。図の例ではプルダウンメニューで選択しているが、ダイヤログ画面等から選択することも可能であることはいうまでもない。ファイルを選択して「3Dを表示」ボタンを押下すると、表示部52Bとして図19のような3次元画像のビューワ画面が開き、選択された3次元画像が表示される。次に、比較したい3次元画像データを、同じく図18の「ファイル選択」欄から選択する。ファイルを選択後、「ファイル選択」欄の上段に設けられた「3Dファイル比較」欄の「比較モード」ボタンを押下すると、図20に示すような画面に切り替わり、既に表示されている基準となる3次元画像が左側の表示領域Aに表示されると共に、その右側の表示領域Bに、選択した比較対象の3次元画像が並んで表示される。ここで表示される画像は、同一あるいは類似の対象を撮影したものであるが、倍率が異なっている。この状態から、図18の「3Dファイル比較」欄の「連動モード」ボタンを押下すると、図21に示すように、比較対象画像の倍率が変更されて、左側の基準画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、上述したとおり3次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準画像の倍率を基準として、右側の比較対象画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、観察に非常に便利となる。
次に、観察の視点を合わせる手順について説明する。上記と同様に、図18の画面から基準画像を選択して表示させ、所望の視点に調整する。視点の調整は、上述の通りマウスのドラッグなどにより行える。ここでは、図22のように基準画像の視点を変更したものとする。次に、上記と同様にして図18の画面から比較対象の画像を選択して表示させると、図23に示すように比較画像が右側の表示領域Bに、基準画像が左側の表示領域Aに各々表示される。この状態から、図18の「3Dファイル比較」欄の「同期セット」ボタンを押下すると、図24に示すように比較画像の姿勢が変更され、右側の基準画像と同じ視点となるように表示される。視点の変更処理には、上述した画像認識やパターンマッチングの技術が利用される。各画像の回転角度やオフセット位置などを演算し、比較画像の表示姿勢が基準画像と一致するように演算して処理される。またこの際に、上述した3次元データと共に保存された撮像位置に関する基準情報を利用してもよい。以上のようにして、同じ視点から2つの画像を対比して観察できるので、非常に便利に使用できる。
さらにこの状態から、図18の「3Dファイル比較」欄の「連動モード」ボタンを押下すると、図25に示すように、姿勢を同じに維持したまま比較対象画像の倍率が変更されて、左側の基準画像と同じ姿勢および倍率で表示される。このように、倍率の視点の一致を共に行うことで、様々な画像を観察しやすい優れた環境が実現される。なお、上記は一例であって、プログラムのユーザインターフェース画面や操作方法などは、適宜変更可能であることはいうまでもない。
本発明の拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体は、顕微鏡やデジタルマイクロスコープに利用して、観察対象の試料を複数同一画面に表示して対比できる。
10・・・撮像部;10a・・・カメラ;11・・・光学系
12、212・・・CCD;13、213・・・CCD制御回路
14・・・光路シフト部
20・・・ステージ昇降器
21・・・ステッピングモータ
22・・・モータ制御回路
30・・・ステージ
41・・・スタンド台
42・・・支柱
43・・・カメラ取り付け部
50・・・情報処理装置
51・・・制御部
52、52B・・・表示部
53・・・メモリ
54・・・インターフェイス
55・・・操作部;55A・・・ポインティングデバイス
55a・・・マウス;55b・・・左ボタン;55c・・・右ボタン
55d・・・スクロールボタン;55e・・・マウスポインタ
60・・・照明部;60A・・・落射照明;60B・・・透過照明
61・・・光ファイバー
62・・・コネクタ
70・・・コンピュータ
100・・・第一の光学系
101・・・レーザ
102・・・第一のコリメートレンズ
103・・・偏光ビームスプリッタ
104・・・1/4波長板
105・・・水平偏向装置
106・・・垂直偏向装置
107・・・第一のリレーレンズ;108・・・第二のリレーレンズ
109・・・対物レンズ
110・・・結像レンズ
111・・・ピンホール板
112・・・フォトダイオード
113・・・A/Dコンバータ
115・・・レーザ駆動回路
200・・・第二の光学系
201・・・白色ランプ
202・・・第二のコリメートレンズ
203・・・第1ハーフミラー;204・・・第2ハーフミラー
300・・・コントローラ部
302・・・「ファイル選択」欄
304・・・「3Dを表示」ボタン;306・・・「3Dを閉じる」ボタン
310・・・「3Dファイル比較」欄
312・・・「比較モード」ボタン;313・・・「サブ切換」ボタン
314・・・「連動モード」ボタン;316・・・「同期セット」ボタン
320・・・「高さ調整」スライダ
322・・・「保存」ボタン;324・・・「リセット」ボタン
326・・・「高さ/カラー」ボタン
328・・・透過率調整スライダ
330・・・「スケール」ボタン
S・・・試料;A、B・・・表示領域;W1、W2・・・ワーク
12、212・・・CCD;13、213・・・CCD制御回路
14・・・光路シフト部
20・・・ステージ昇降器
21・・・ステッピングモータ
22・・・モータ制御回路
30・・・ステージ
41・・・スタンド台
42・・・支柱
43・・・カメラ取り付け部
50・・・情報処理装置
51・・・制御部
52、52B・・・表示部
53・・・メモリ
54・・・インターフェイス
55・・・操作部;55A・・・ポインティングデバイス
55a・・・マウス;55b・・・左ボタン;55c・・・右ボタン
55d・・・スクロールボタン;55e・・・マウスポインタ
60・・・照明部;60A・・・落射照明;60B・・・透過照明
61・・・光ファイバー
62・・・コネクタ
70・・・コンピュータ
100・・・第一の光学系
101・・・レーザ
102・・・第一のコリメートレンズ
103・・・偏光ビームスプリッタ
104・・・1/4波長板
105・・・水平偏向装置
106・・・垂直偏向装置
107・・・第一のリレーレンズ;108・・・第二のリレーレンズ
109・・・対物レンズ
110・・・結像レンズ
111・・・ピンホール板
112・・・フォトダイオード
113・・・A/Dコンバータ
115・・・レーザ駆動回路
200・・・第二の光学系
201・・・白色ランプ
202・・・第二のコリメートレンズ
203・・・第1ハーフミラー;204・・・第2ハーフミラー
300・・・コントローラ部
302・・・「ファイル選択」欄
304・・・「3Dを表示」ボタン;306・・・「3Dを閉じる」ボタン
310・・・「3Dファイル比較」欄
312・・・「比較モード」ボタン;313・・・「サブ切換」ボタン
314・・・「連動モード」ボタン;316・・・「同期セット」ボタン
320・・・「高さ調整」スライダ
322・・・「保存」ボタン;324・・・「リセット」ボタン
326・・・「高さ/カラー」ボタン
328・・・透過率調整スライダ
330・・・「スケール」ボタン
S・・・試料;A、B・・・表示領域;W1、W2・・・ワーク
Claims (13)
- 観察対象を撮像するための撮像部と、前記撮像部で取得された信号に基づいて3次元の観察画像を生成する制御部と、前記制御部で生成された3次元の観察画像を表示するための表示部とを備える拡大観察装置であって、
前記制御部が、前記表示部の一画面を複数の表示領域に分割し、各表示領域に個別の観察対象を各々表示すると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示可能に構成されてなることを特徴とする拡大観察装置。 - 請求項1に記載の拡大観察装置であって、前記制御部が、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して変更する表示モードと、連動して変更する表示モードとを切替可能に構成されてなることを特徴とする拡大観察装置。
- 請求項1または2に記載の拡大観察装置であって、前記制御部が、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更するよう構成されてなることを特徴とする拡大観察装置。
- 請求項1から3のいずれかに記載の拡大観察装置であって、前記制御部が、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替えて表示可能に構成されてなることを特徴とする拡大観察装置。
- 観察対象を焦点距離を変化させて複数回撮像し、2次元の観察画像を複数枚撮像すると共に相対高さを記録するステップと、
複数枚の2次元の観察画像データおよび撮像時の高さに基づいて、3次元の観察画像を生成するステップと、
生成された3次元の観察画像を表示部に表示するステップとを有する拡大観察方法であって、さらに、
前記表示部の一画面を複数の表示領域に分割し、分割された各表示領域に個別の3次元画像を各々表示させると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示するステップと、
を備えることを特徴とする拡大観察方法。 - 請求項5に記載の拡大観察方法であって、前記変更表示ステップが、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して、あるいは連動して変更可能であることを特徴とする拡大観察方法。
- 請求項5または6に記載の拡大観察方法であって、さらに、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更するステップを含むことを特徴とする拡大観察方法。
- 請求項5から7のいずれかに記載の拡大観察方法であって、さらに、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替えるステップを含むことを特徴とする拡大観察方法。
- 観察対象を焦点距離を変化させて複数回撮像し、2次元の観察画像を複数枚撮像すると共に相対高さを記録する機能と、
複数枚の2次元の観察画像データおよび撮像時の高さに基づいて、3次元の観察画像を生成する機能と、
生成された3次元の観察画像を表示部に表示する機能とをコンピュータに実現させる拡大観察用操作プログラムであって、さらに、
前記表示部の一画面を複数の表示領域に分割し、分割された各表示領域に個別の3次元画像を各々表示させると共に、複数の表示領域に各々表示される観察対象について、観察視点、拡大・縮小率の少なくともいずれかを変更して表示する機能をコンピュータに実現させることを特徴とする拡大観察用操作プログラム。 - 請求項9に記載の拡大観察用操作プログラムであって、前記変更表示機能が、複数の表示領域に各々表示される観察対象に対して、観察視点、拡大・縮小率の少なくともいずれかを独立して、あるいは連動して変更可能であることを特徴とする拡大観察用操作プログラム。
- 請求項9または10に記載の拡大観察用操作プログラムであって、さらに、所定のタイミングで、複数の表示領域に各々表示される観察対象に対して、各観察対象の画像を画像処理により特徴量を検出し、この特徴量に基づいて画像中から基準となる部位を特定し、特定された基準部位に基づいて画像同士の表示態様が略一致するように、自動的に観察視点、拡大・縮小率の少なくともいずれかを変更する機能をコンピュータに実現させることを特徴とする拡大観察用操作プログラム。
- 請求項9から11のいずれかに記載の拡大観察用操作プログラムであって、さらに、複数の観察対象を表示する表示領域の内、任意の表示領域に表示される観察対象を固定する一方、他の表示領域に表示される観察対象を他の観察対象と入れ替える機能をコンピュータに実現させることを特徴とする拡大観察用操作プログラム。
- 請求項9から12のいずれかに記載される拡大観察用操作プログラムを格納したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152547A JP2005114713A (ja) | 2003-09-19 | 2004-05-21 | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329024 | 2003-09-19 | ||
JP2004152547A JP2005114713A (ja) | 2003-09-19 | 2004-05-21 | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005114713A true JP2005114713A (ja) | 2005-04-28 |
Family
ID=34554674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004152547A Pending JP2005114713A (ja) | 2003-09-19 | 2004-05-21 | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005114713A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7078664B2 (en) | 2003-11-19 | 2006-07-18 | Olympus Corporation | Confocal laser microscope displaying target images side by side |
JP2007101391A (ja) * | 2005-10-05 | 2007-04-19 | Shimadzu Corp | X線検査装置 |
JP2008196975A (ja) * | 2007-02-13 | 2008-08-28 | Olympus Corp | 欠陥検査装置 |
WO2010032567A1 (ja) * | 2008-09-19 | 2010-03-25 | 株式会社 日立国際電気 | 共焦点顕微鏡を用いた試料測定装置とその測定方法 |
JP2010133846A (ja) * | 2008-12-05 | 2010-06-17 | Omron Corp | 外観検査装置 |
JP2017161403A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 撮像装置、方法、及びプログラム、表示制御装置及びプログラム |
JP2019158767A (ja) * | 2018-03-15 | 2019-09-19 | 東芝テック株式会社 | 測定装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000214790A (ja) * | 1998-11-18 | 2000-08-04 | Keyence Corp | 拡大観察装置および映像装置 |
JP2001045519A (ja) * | 1999-07-27 | 2001-02-16 | Minolta Co Ltd | 3次元データ生成装置、3次元データ生成方法および記録媒体 |
JP2001082935A (ja) * | 1999-09-10 | 2001-03-30 | Keyence Corp | 三次元測定装置 |
JP2002125937A (ja) * | 2000-10-24 | 2002-05-08 | Toshiba Corp | 画像処理装置 |
JP2004355521A (ja) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 回路基板の外観検査方法及び回路基板の外観検査装置 |
JP2005077253A (ja) * | 2003-09-01 | 2005-03-24 | Keyence Corp | 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラムおよびコンピュータで読み取り可能な記録媒体 |
-
2004
- 2004-05-21 JP JP2004152547A patent/JP2005114713A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000214790A (ja) * | 1998-11-18 | 2000-08-04 | Keyence Corp | 拡大観察装置および映像装置 |
JP2001045519A (ja) * | 1999-07-27 | 2001-02-16 | Minolta Co Ltd | 3次元データ生成装置、3次元データ生成方法および記録媒体 |
JP2001082935A (ja) * | 1999-09-10 | 2001-03-30 | Keyence Corp | 三次元測定装置 |
JP2002125937A (ja) * | 2000-10-24 | 2002-05-08 | Toshiba Corp | 画像処理装置 |
JP2004355521A (ja) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 回路基板の外観検査方法及び回路基板の外観検査装置 |
JP2005077253A (ja) * | 2003-09-01 | 2005-03-24 | Keyence Corp | 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラムおよびコンピュータで読み取り可能な記録媒体 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7078664B2 (en) | 2003-11-19 | 2006-07-18 | Olympus Corporation | Confocal laser microscope displaying target images side by side |
JP2007101391A (ja) * | 2005-10-05 | 2007-04-19 | Shimadzu Corp | X線検査装置 |
JP4665696B2 (ja) * | 2005-10-05 | 2011-04-06 | 株式会社島津製作所 | X線検査装置 |
JP2008196975A (ja) * | 2007-02-13 | 2008-08-28 | Olympus Corp | 欠陥検査装置 |
WO2010032567A1 (ja) * | 2008-09-19 | 2010-03-25 | 株式会社 日立国際電気 | 共焦点顕微鏡を用いた試料測定装置とその測定方法 |
JP2010072491A (ja) * | 2008-09-19 | 2010-04-02 | Hitachi Kokusai Electric Inc | 高さ測定装置とその測定方法 |
JP2010133846A (ja) * | 2008-12-05 | 2010-06-17 | Omron Corp | 外観検査装置 |
JP2017161403A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 撮像装置、方法、及びプログラム、表示制御装置及びプログラム |
JP2019158767A (ja) * | 2018-03-15 | 2019-09-19 | 東芝テック株式会社 | 測定装置 |
JP7073149B2 (ja) | 2018-03-15 | 2022-05-23 | 東芝テック株式会社 | 測定装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8351115B2 (en) | Complex type microscopic device | |
JP4753711B2 (ja) | 3次元画像表示装置、3次元画像表示装置の操作方法、3次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
EP1598688B1 (en) | Fluorescence microscope | |
US7817287B2 (en) | Optical three-dimensional measurement device and filter process method | |
CN110388880B (zh) | 形状测量装置和形状测量方法 | |
JP4936841B2 (ja) | 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP4700299B2 (ja) | 共焦点走査型顕微鏡 | |
JP2008090072A (ja) | 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、3次元合焦点画像生成方法、データ転送プログラム、3次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP4536422B2 (ja) | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体または記録した機器 | |
JP4526988B2 (ja) | 微小高さ測定方法及びそれに用いる微小高さ測定装置並びに変位ユニット | |
JP4309523B2 (ja) | 三次元測定共焦点顕微鏡 | |
JP4480492B2 (ja) | 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、3次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体 | |
JP4536421B2 (ja) | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体または記録した機器 | |
JP2005114713A (ja) | 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体 | |
JP4725967B2 (ja) | 微小高さ測定装置及び変位計ユニット | |
JPH09197287A (ja) | 電動顕微鏡 | |
JP4266333B2 (ja) | 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラムおよびコンピュータで読み取り可能な記録媒体 | |
JP2019190919A (ja) | 形状測定装置、形状測定方法、形状測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP4410335B2 (ja) | 共焦点顕微鏡 | |
JP4576112B2 (ja) | 共焦点レーザ顕微鏡 | |
JP4477714B2 (ja) | 簡易操作顕微装置 | |
JP4963567B2 (ja) | 微小高さ測定装置 | |
JP2004239890A (ja) | 拡大観察装置、拡大画像観察方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体 | |
JP4536845B2 (ja) | 共焦点顕微鏡 | |
JPH10333056A (ja) | 顕微鏡装置及び画像作成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100803 |