JP2012042525A - 3次元形状測定装置およびプログラム - Google Patents
3次元形状測定装置およびプログラム Download PDFInfo
- Publication number
- JP2012042525A JP2012042525A JP2010181231A JP2010181231A JP2012042525A JP 2012042525 A JP2012042525 A JP 2012042525A JP 2010181231 A JP2010181231 A JP 2010181231A JP 2010181231 A JP2010181231 A JP 2010181231A JP 2012042525 A JP2012042525 A JP 2012042525A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- focus position
- pitch
- focal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】より迅速かつ適切に撮影ピッチを設定する。
【解決手段】撮影制御部51は、撮影ピッチ設定部52により設定された撮影ピッチに基づいて、被検物に対して撮影ユニットの焦点が合う位置である焦点位置を複数の位置に設定する。合焦測度算出部53は、複数の焦点位置で撮影された複数の画像の各画素における合焦測度を算出する。合焦位置算出部54は、画素毎に、合焦測度の算出値が最大となる焦点位置である最大焦点位置および最大焦点位置における合焦測度、並びに、最大焦点位置の近傍の焦点位置および近傍の焦点位置における合焦測度に基づいて、合焦位置を算出する。撮影ピッチ設定部52は、最大焦点位置および近傍の焦点位置が、撮影ユニットの焦点深度の範囲内に収まるように撮影ピッチを設定する。本発明は、例えば、3次元形状測定装置に適用できる。
【選択図】図2
【解決手段】撮影制御部51は、撮影ピッチ設定部52により設定された撮影ピッチに基づいて、被検物に対して撮影ユニットの焦点が合う位置である焦点位置を複数の位置に設定する。合焦測度算出部53は、複数の焦点位置で撮影された複数の画像の各画素における合焦測度を算出する。合焦位置算出部54は、画素毎に、合焦測度の算出値が最大となる焦点位置である最大焦点位置および最大焦点位置における合焦測度、並びに、最大焦点位置の近傍の焦点位置および近傍の焦点位置における合焦測度に基づいて、合焦位置を算出する。撮影ピッチ設定部52は、最大焦点位置および近傍の焦点位置が、撮影ユニットの焦点深度の範囲内に収まるように撮影ピッチを設定する。本発明は、例えば、3次元形状測定装置に適用できる。
【選択図】図2
Description
本発明は、3次元形状測定装置およびプログラムに関し、特に、焦点位置が異なる複数の画像を用いて被検物の3次元形状を測定する3次元形状測定装置およびプログラムに関する。
顕微鏡などの拡大観察装置にCCD(Charge Coupled Device)カメラなどの撮影装置を設けて被検物を撮影する場合、撮影倍率を高くするほど、撮影装置(撮影光学系)のNAが高くなり、焦点深度が浅くなる。このため、高さ方向の変化が大きい被検物(例えば、段差構造の被検物など)を撮影する場合、被検物の一部にしか焦点が合わず、他の部分がぼやけた画像になる。
そこで、従来、撮影装置を被検物の高さ方向(z軸方向)に移動し、被検物に対して撮影装置の焦点が合う位置(焦点位置)を移動させながら被検物を撮影し、焦点位置が異なる複数の画像から焦点が合っている領域を抽出して1枚の画像に合成することにより、疑似的に焦点深度が深い撮影装置で撮影した画像(全焦点画像)を作成する拡大観察装置が提案されている(例えば、特許文献1参照)。
このような拡大観察装置では、焦点が合っている領域を抽出するために、例えば、焦点位置が異なる複数の画像の各画素において、焦点が合っている度合いを表す合焦測度が測定される。
図16は、撮影装置の焦点位置と合焦測度との関係の例を示すグラフである。なお、図16の横軸は、z軸方向における撮影装置の焦点位置を示し、縦軸は合焦測度を示している。また、グラフ301は、焦点位置と合焦測度の関係の一例を示し、グラフ301上の点は、合焦測度の測定点を示している。
例えば、画素毎に各焦点位置における合焦測度を測定し、各画素に対する画像を、合焦測度が最大となる焦点位置の画像から抽出して合成することにより、全焦点画像を作成することができる。
また、合焦測度の測定結果に基づいて、画素毎に合焦測度がピークとなる焦点位置(合焦位置)を算出し、各画素の合焦位置に基づいて、被検物の3次元形状を表す3次元形状データを作成することができる。
ところで、合焦測度の測定結果は離散データであり、図16に示されるように、測定した合焦測度の最大値が、実際の合焦測度のピークと一致するとは限らない。そこで、通常、合焦測度の測定値を用いた補間処理を行うことにより、合焦測度のピークを求め、求めたピークに対応する焦点位置を合焦位置として検出する処理が行われる。
従って、図17に示されるように、被検物を撮影するときに焦点位置を設定する間隔(以下、撮影ピッチと称する)が大きく、合焦測度を測定する焦点位置の間隔が長い場合、図内の点線で示されるように、合焦測度のピーク位置が誤検出される恐れがある。
一方、図18に示されるように、撮影ピッチを細かくして、合焦測度を測定する焦点位置の間隔を短くすることにより、合焦測度のピーク位置の検出精度が向上し、その結果、被検物の3次元形状の測定精度が向上する。しかしながら、撮影ピッチを細かくするほど、撮影枚数が多くなり、所要時間が長くなってしまう。
そのため、従来、所要時間を抑えつつ、所望の精度で3次元形状のデータを得ることができるように、ユーザが撮影ピッチを試行錯誤しながら決定する必要があった。また、例えば、撮影装置のズーム光学系の倍率を変更したり、使用する対物レンズを変更したりして、光学条件が変化する度に、ユーザは、適切な撮影ピッチを試行錯誤しながら決定する必要があった。
本発明は、このような状況に鑑みてなされたものであり、より迅速に適切な撮影ピッチを設定できるようにするものである。
本発明の一側面の3次元形状測定装置は、被検物に対して撮影手段の焦点が合う位置である焦点位置が異なる複数の画像に基づいて、被検物の3次元形状を測定する3次元形状測定装置であって、焦点位置を設定する間隔である撮影ピッチを設定する撮影ピッチ設定手段と、設定された撮影ピッチに基づいて、焦点位置を複数の位置に設定する焦点位置設定手段と、複数の焦点位置で撮影された複数の画像の各画素における合焦測度を算出する合焦測度算出手段と、画素毎に、合焦測度の算出値が最大となる焦点位置である最大焦点位置および最大焦点位置における合焦測度、並びに、最大焦点位置の近傍の焦点位置および近傍の焦点位置における合焦測度に基づいて、合焦位置を算出する合焦位置算出手段とを含み、撮影ピッチ設定手段は、最大焦点位置および近傍の焦点位置が、撮影手段の焦点深度の範囲内に収まるように撮影ピッチを設定する。
本発明の一側面のプログラムは、被検物に対して撮影手段の焦点が合う位置である焦点位置が異なる複数の画像に基づいて、被検物の3次元形状を測定する処理であって、焦点位置を設定する間隔である撮影ピッチを設定する撮影ピッチ設定ステップと、設定された撮影ピッチに基づいて、焦点位置を複数の位置に設定する焦点位置設定ステップと、複数の焦点位置で撮影された複数の画像の各画素における合焦測度を算出する合焦測度算出ステップと、画素毎に、合焦測度の算出値が最大となる焦点位置である最大焦点位置および最大焦点位置における合焦測度、並びに、最大焦点位置の近傍の焦点位置および近傍の焦点位置における合焦測度に基づいて、合焦位置を算出する合焦位置算出ステップとを含み、撮影ピッチ設定ステップの処理により、最大焦点位置および近傍の焦点位置が、撮影手段の焦点深度の範囲内に収まるように撮影ピッチを設定する処理をコンピュータに実行させる。
本発明の一側面においては、被検物に対して撮影手段の焦点が合う位置である焦点位置を設定する間隔である撮影ピッチが設定され、設定された撮影ピッチに基づいて、焦点位置が複数の位置に設定され、複数の焦点位置で撮影された複数の画像の各画素における合焦測度が算出され、画素毎に、合焦測度の算出値が最大となる焦点位置である最大焦点位置および最大焦点位置における合焦測度、並びに、最大焦点位置の近傍の焦点位置および近傍の焦点位置における合焦測度に基づいて、合焦位置が算出されるとともに、最大焦点位置および近傍の焦点位置が、撮影手段の焦点深度の範囲内に収まるように撮影ピッチが設定される。
本発明の一側面によれば、被検物の3次元形状を測定することができる。また、本発明の一側面によれば、被検物の3次元形状の測定に用いる画像を撮影する際の焦点位置を設定する間隔である撮影ピッチを、より迅速かつ適切に設定することができる。
以下、本発明を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[観察装置の構成例]
図1は、本発明を適用した観察装置の一実施の形態の構成例を示す図である。観察装置1は、被検物2の拡大像を立体的に観察するための装置である。
[観察装置の構成例]
図1は、本発明を適用した観察装置の一実施の形態の構成例を示す図である。観察装置1は、被検物2の拡大像を立体的に観察するための装置である。
観察装置1は、撮影ユニット11、スタンド12、ステージ13、入力装置14、制御コンピュータ15、および、表示装置16により構成される。なお、以下、スタンド12の左右方向(紙面に垂直な方向)をx軸方向とし、スタンド12の前後方向(図内の左右方向)をy軸方向とし、スタンド12の上下方向(図内の上下方向)をz軸方向とする。
撮影ユニット11は、スタンド12の支持部12Bに支持されている。支持部12Bは、制御コンピュータ15の制御の基に、支柱12Aに沿ってz軸方向に移動する。これにより、支持部12Bに支持されている撮影ユニット11がz軸方向に移動し、被検物2と撮影ユニット11との間の相対距離が変化する。
また、スタンド12の台12Cの上には、被検物2を載置するためのステージ13が設置されている。ステージ13は、手動でx軸方向およびy軸方向に移動させることができ、撮影ユニット11に対する被検物2の位置決めを行うことが可能である。
撮影ユニット11には、照明ユニット21、ハーフミラー22、ズーム光学系23、および、撮像素子24が内蔵されている。
照明ユニット21は、制御コンピュータ15の制御の基に、所定の波長の照明光を発する。照明ユニット21から発せられた照明光は、ハーフミラー22により反射され、ズーム光学系23を通り、被検物2に照射される。照明光が照射された被検物2からの反射光は、ズーム光学系23、ハーフミラー22を通り、撮像素子24上で結像する。撮像素子24は、制御コンピュータ15の制御の基に、被検物2の像を撮影し、その結果得られた画像を制御コンピュータ15に供給する。
なお、ズーム光学系23の内部には、モータ等により撮影倍率を変える機構が設けられており、制御コンピュータ15からの指令により、ズーム光学系23の倍率を変えることができる。これにより、設定した倍率で拡大された被検物2の像が撮像素子24により撮影される。
入力装置14は、例えば、キーボード、マウス、ボタン、スイッチ等により構成され、制御コンピュータ15に各種の指令やパラメータ等を入力するために用いられる。
表示装置16は、例えば、LCD(Liquid Crystal Display)等により構成され、制御コンピュータ15の制御の基に、被検物2の画像や操作メニュー等を表示する。
[制御コンピュータ15により実現される機能の構成例]
図2は、制御コンピュータ15が所定の制御プログラムを実行することにより実現される機能の構成例を示している。制御コンピュータ15が所定の制御プログラムを実行することにより、撮影制御部51、撮影ピッチ設定部52、合焦測度算出部53、合焦位置算出部54、および、3次元データ作成部55を含む機能が実現される。
図2は、制御コンピュータ15が所定の制御プログラムを実行することにより実現される機能の構成例を示している。制御コンピュータ15が所定の制御プログラムを実行することにより、撮影制御部51、撮影ピッチ設定部52、合焦測度算出部53、合焦位置算出部54、および、3次元データ作成部55を含む機能が実現される。
撮影制御部51は、照明ユニット21、ズーム光学系23、および、撮像素子24の動作を制御する。また、撮影制御部51は、照明ユニット21の照明光の波長、および、ズーム光学系23のNAを含む撮影ユニット11の撮影条件を取得し、取得した撮影条件を撮影ピッチ設定部52に供給する。また、撮影制御部51は、スタンド12を制御して、撮影ユニット11をz軸方向に移動させ、被検物2と撮影ユニット11との間の相対距離を制御することにより、被検物2に対する撮影ユニット11の焦点位置を設定する。
撮影ピッチ設定部52は、撮影ユニット11の撮影条件、または、入力装置14から供給されるユーザの指令に基づいて、撮影ユニット11の焦点位置を設定する間隔である撮影ピッチを設定し、設定した撮影ピッチを撮影制御部51および表示装置16に供給する。
合焦測度算出部53は、撮像素子24により撮影された焦点位置が異なる複数の画像の各画素の合焦測度を算出し、合焦測度の算出結果を合焦位置算出部54に供給する。
合焦位置算出部54は、合焦測度の算出結果に基づいて、各画素において焦点が合っている位置(合焦位置)を算出する。合焦位置算出部54は、合焦位置の算出結果を3次元データ作成部55に供給する。
3次元データ作成部55は、被検物2の3次元データを作成する。例えば、3次元データ作成部55は、各画素の合焦位置の算出結果に基づいて、被検物2の3次元形状を表す3次元形状データを作成する。また、例えば、3次元データ作成部55は、合焦測度算出部53から焦点位置が異なる複数の画像、および、合焦測度の算出結果を取得し、被検物2の全焦点画像を作成する。さらに、例えば、3次元データ作成部55は、作成した全焦点画像に、3次元形状データの各画素の高さ情報を付加することにより、被検物2を立体的に表す3次元画像データを作成する。3次元データ作成部55は、作成した3次元形状データ、全焦点画像、および、3次元画像データを表示装置16に供給する。
[3次元データ作成処理]
次に、図3のフローチャートを参照して、観察装置1により実行される3次元データ作成処理について説明する。
次に、図3のフローチャートを参照して、観察装置1により実行される3次元データ作成処理について説明する。
ステップS1において、撮影制御部51は、撮影条件を取得する。具体的には、撮影制御部51は、現在設定されているズーム光学系23のNA、および、現在設定されている照明ユニット21の照明光の波長λを含む撮影ユニット11の撮影条件を取得する。撮影制御部51は、取得した撮影条件を撮影ピッチ設定部52に供給する。
ステップS2において、撮影ピッチ設定部52は、焦点深度を算出する。具体的には、撮影ピッチ設定部52は、ズーム光学系23のNAおよび照明光の波長λを用いて、以下の式(1)に基づいて、撮影ユニット11(ズーム光学系23)の焦点深度を算出する。
焦点深度=λ/NA2 ・・・(1)
なお、照明光が単波長(単色)でなく、波長λが幅を持つ場合、例えば、照明光の中心波長、または、最大強度となる波長を、式(1)に適用するようにすればよい。
ステップS3において、撮影ピッチ設定部52は、撮影ピッチを設定する。なお、撮影ピッチの設定方法の詳細については、図5乃至図14を参照して後述する。そして、撮影ピッチ設定部52は、設定した撮影ピッチを撮影制御部51および表示装置16に供給する。表示装置16は、撮影ピッチ設定部52により設定された撮影ピッチの値を表示する。
ステップS4において、撮影ピッチ設定部52は、ユーザ入力に応じて、撮影ピッチを微調整する。具体的には、ユーザは、表示装置16に表示された撮影ピッチの値を見て、微調整の必要がある場合、入力装置14を操作して、撮影ピッチを微調整するための指令を入力する。入力装置14は、ユーザからの指令を撮影ピッチ設定部52に供給し、撮影ピッチ設定部52は、その指令に従って、撮影ピッチの値を変更する。撮影ピッチ設定部52は、変更した撮影ピッチを撮影制御部51および表示装置16に供給する。表示装置16は、変更された撮影ピッチの値を表示する。
なお、ステップS4の処理は、必ずしも実行する必要はなく、省略することも可能である。
ステップS5において、撮影ユニット11は、設定された撮影ピッチで被検物2を撮影する。なお、以下の処理は、図4に示される例を用いて説明する。
図4は、撮影ユニット11の焦点位置を位置Z1乃至Znまで移動させながら、被検物2を撮影する例を示している。なお、この例では、被検物2は、円錐の頂上部を底面に平行な平面で切り取った形状を有している。
まず、撮影制御部51は、スタンド12を制御して、z軸方向に撮影ユニット11を移動させ、撮影ユニット11の焦点位置を位置Z1に設定する。撮像素子24は、撮影制御部51の制御の基に、被検物2を撮影し、その結果得られた画像I1を合焦測度算出部53に供給する。
次に、撮影制御部51は、スタンド12を制御して、撮影ユニット11のz軸方向の位置を、設定されている撮影ピッチだけ上方向に移動させる。これにより、撮影ユニット11の焦点位置が、位置Z1から位置Z2に移動する。従って、位置Z1と位置Z2との間隔は、撮影ピッチと等しくなる。撮像素子24は、撮影制御部51の制御の基に、被検物2を撮影し、その結果得られた画像I2を合焦測度算出部53に供給する。
次に、撮影制御部51は、スタンド12を制御して、撮影ユニット11のz軸方向の位置を、設定されている撮影ピッチだけ上方向に移動させる。これにより、撮影ユニット11の焦点位置が、位置Z2から位置Z3に移動する。従って、位置Z2と位置Z3との間隔は、撮影ピッチと等しくなる。撮像素子24は、撮影制御部51の制御の基に、被検物2を撮影し、その結果得られた画像I3を合焦測度算出部53に供給する。
以下、焦点位置Znにおいて被検物2が撮影されるまで、撮影ユニット11の焦点位置を、撮影ピッチ単位で移動させながら、被検物2を撮影する処理が繰り返される。その結果、撮影ユニット11により焦点位置Z1乃至Znにおいて被検物2が撮影され、その結果、焦点位置が異なるn個の画像I1乃至Inが得られる。
ステップS6において、合焦測度算出部53は、合焦測度を算出する。具体的には、合焦測度算出部53は、画像I1乃至Inの各画素について、例えば、周辺画素との差分値(微分値)や、FFT(高速フーリエ変換)等を用いて、合焦測度を算出する。合焦測度算出部53は、合焦測度の算出結果を合焦位置算出部54に供給する。
なお、合焦測度を算出する手法は、特定の手法に限定されるものではなく、任意の手法を採用することが可能である。
ステップS7において、合焦位置算出部54は、合焦位置を算出する。具体的には、まず、合焦位置算出部54は、注目画素を1つ決め、画像I1乃至Inの中から、注目画素の合焦測度が最大となる画像を検出する。次に、合焦位置算出部54は、検出した画像を撮影した焦点位置(合焦測度の算出値が最大となる焦点位置)、および、検出した画像の注目画素の合焦測度、並びに、検出した画像を撮影した焦点位置の両隣の焦点位置、および、その両隣の焦点位置で撮影した画像の注目画素の合焦測度に基づいて、注目画素における焦点位置と合焦測度の関係式を、補間処理により近似する。そして、合焦位置算出部54は、求めた近似式に基づいて、注目画素において合焦測度がピークとなる焦点位置、すなわち、注目画素の合焦位置を算出する。
合焦位置算出部54は、以上の処理を全ての画素について実行し、各画素の合焦位置を算出する。そして、合焦位置算出部54は、各画素の合焦位置の算出結果を3次元データ作成部55に供給する。
ステップS8において、3次元データ作成部55は、3次元データを作成する。例えば、3次元データ作成部55は、各画素における高さ方向の位置により被検物2の3次元形状を表す3次元形状データを作成する。なお、このとき、各画素における高さ方向の位置は、例えば、各画素の合焦位置、または、z軸方向の所定の基準位置から合焦位置までの距離により表される。
また、例えば、3次元データ作成部55は、合焦測度算出部53から画像I1乃至In、および、画像I1乃至Inの各画素の合焦測度の算出結果を取得する。そして、3次元データ作成部55は、各画素に対応する画像を、合焦測度が最大となる画像から抽出して合成することにより、全焦点画像を作成する。
さらに、例えば、3次元データ作成部55は、作成した全焦点画像に、3次元形状データの各画素の高さ情報を付加することにより、被検物2を立体的に表す3次元画像データを作成する。
3次元データ作成部55は、作成した被検物2の3次元データ(例えば、3次元形状データ、全焦点画像、3次元画像データ)を表示装置16に供給する。
なお、3次元データ作成部55が作成する3次元データの種類および作成方法は、特定のものに限定されるものではなく、任意の種類および作成方法を採用することができる。
ステップS9において、表示装置16は、3次元データを表示する。例えば、表示装置16は、3次元形状データに基づいて、被検物2の3次元のポリゴン表示を行ったり、被検物3の全焦点画像を表示したり、3次元画像データに基づいて、被検物2の3次元画像を表示したりする。
その後、3次元データ作成処理は終了する。
[撮影ピッチの設定方法]
次に、図5乃至図14を参照して、撮影ピッチの設定方法について説明する。
次に、図5乃至図14を参照して、撮影ピッチの設定方法について説明する。
図5乃至図14は、ある画素における、撮影ユニット11の焦点位置と合焦測度の関係の例を示すグラフである。なお、図5乃至図14の横軸は焦点位置を示し、縦軸は合焦測度を示している。また、図5乃至図14のグラフ101は、焦点位置と合焦測度の関係の一例を示し、グラフ101上の各点は、合焦測度の測定点(算出点)を示している。
グラフ101は、焦点位置が撮影ユニット11の焦点深度のほぼ中央の合焦位置でピークとなり、焦点位置が焦点深度の範囲内で、ほぼ左右対称に釣り鐘状に変化する。すなわち、合焦測度は、合焦位置でピークとなり、焦点位置が焦点深度の範囲内で、合焦位置を中心にしてほぼ左右対称に単調減少する。また、合焦測度は、焦点位置が焦点深度の範囲外で、小さくなるとともに、不規則に振動する。
なお、合焦測度の信頼度(測定精度)は、画像のボケが小さい、焦点位置が焦点深度の範囲内において高く、画像のボケが大きい、焦点位置が焦点深度の範囲外において低くなる。また、焦点位置が焦点深度の範囲内においても、焦点深度の境界付近の合焦測度の信頼度は、焦点深度の中央付近の合焦測度と比較して低くなる。さらに、ある画素における被検物の高さ、すなわち合焦位置を補間で求める場合、合焦位置付近の3点以上のデータが必要である。
従って、合焦測度の算出値が最大となる焦点位置付近、および、その両隣の焦点位置が全て焦点深度の範囲内となる場合、信頼度の高い合焦測度に基づいて合焦位置を算出することができ、合焦位置の検出精度が高くなる。一方、合焦位置の算出に用いる焦点位置のうち少なくとも1つが焦点深度の範囲外となる場合、合焦位置の算出に信頼度の低い合焦測度を用いることになり、合焦位置の検出精度は低下する。従って、合焦位置の検出精度を高くするには、合焦位置の算出に用いる焦点位置が常に焦点深度の範囲内に含まれるように、撮影ピッチを設定すればよい。
まず、図5および図6を参照して、撮影ピッチを撮影ユニット11の焦点深度と同じ値に設定した場合について考える。なお、図5は、焦点位置Zkにおける合焦測度の算出値が合焦測度のピークと一致する場合、すなわち、合焦位置の検出条件が最も良い場合を示している。また、図6は、焦点位置Zkと焦点位置Zk+1のほぼ中央で合焦測度がピークになる場合、すなわち、合焦位置の検出条件が最も厳しくなる場合を示している。
図5の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1(ただし、焦点位置Zk+1は図示せず)における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1,Zk+1が焦点深度の範囲外であるため、合焦位置の検出精度は低くなる。
図6の場合、合焦測度の算出値が最大となる焦点位置Zk+1、および、焦点位置Zk+1に隣接する焦点位置Zk,Zk+2(ただし、焦点位置Zk+2は図示せず)における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk+1,Zk+2が焦点深度の範囲外であるため、合焦位置の検出精度は低くなる。
従って、撮影ピッチを撮影ユニット11の焦点深度と同じ値に設定した場合、合焦位置の検出精度は低くなり、正しい被検物の高さは得られない。
次に、図7および図8を参照して、撮影ピッチを撮影ユニット11の焦点深度の1/2に設定した場合について考える。なお、図7は、焦点位置Zkにおける合焦測度の算出値が合焦測度のピークと一致する場合、すなわち、合焦位置の検出条件が最も良い場合を示している。また、図8は、焦点位置Zkと焦点位置Zk+1のほぼ中央で合焦測度がピークになる場合、すなわち、合焦位置の検出条件が最も厳しくなる場合を示している。
図7の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となる。ただし、焦点位置Zk−1,Zk+1が焦点深度の境界上にあるため、合焦位置の検出精度は、一定のレベル以上となるが、必ずしも良好であるとは言えない。
図8の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk+1,Zk+2における合焦測度を用いた補間処理により、合焦位置が求められる。グラフ102は、その補間処理上の線であり、これにより得られる合焦位置はZo’となり、正しい合焦位置であるZoとはズレた値になっている。これは、焦点位置Zk−1が焦点深度の範囲外であることにより、合焦位置の検出精度が低くなるためである。
従って、撮影ピッチを撮影ユニット11の焦点深度の1/2に設定した場合も、合焦位置の検出精度は低くなる。
次に、図9および図10を参照して、撮影ピッチを撮影ユニット11の焦点深度の1/3に設定した場合について考える。なお、図9は、焦点位置Zkにおける合焦測度の算出値が合焦測度のピークと一致する場合、すなわち、合焦位置の検出条件が最も良い場合を示している。また、図10は、焦点位置Zkと焦点位置Zk+1のほぼ中央で合焦測度がピークになる場合、すなわち、合焦位置の検出条件が最も厳しくなる場合を示している。
図9の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となり、合焦位置の検出精度は高くなる。
図10の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となり、合焦位置の検出精度は高くなる。ただし、焦点位置Zk−1が焦点深度の境界上にあるため、図9の場合と比較して、合焦位置の検出精度は若干低くなる。
なお、合焦位置の算出に用いる焦点位置が焦点深度の境界上となるのは、図10に示される合焦位置の検出条件が最も厳しくなる場合のみである。従って、撮影ピッチを撮影ユニット11の焦点深度の1/3に設定した場合、総じて合焦位置の検出精度は高くなる。
次に、図11および図12を参照して、撮影ピッチを撮影ユニット11の焦点深度の1/4に設定した場合について考える。なお、図11は、焦点位置Zkにおける合焦測度の算出値が合焦測度のピークと一致する場合、すなわち、合焦位置の検出条件が最も良い場合を示している。また、図12は、焦点位置Zkと焦点位置Zk+1のほぼ中央で合焦測度がピークになる場合、すなわち、合焦位置の検出条件が最も厳しくなる場合を示している。
図11の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となり、合焦位置の検出精度は高くなる。
図12の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1は、焦点深度ぎりぎりの信頼性の低いところであるが、残りの2点は信頼性の高い値であり、合焦位置の検出精度はやや高くなる。
従って、撮影ピッチを撮影ユニット11の焦点深度の1/4に設定した場合、合焦位置の算出に用いる焦点位置が常に撮影ユニット11の焦点深度の範囲内となり、合焦位置の検出精度は高くなる。
次に、図13および図14を参照して、撮影ピッチを撮影ユニット11の焦点深度の1/5に設定した場合について考える。なお、図13は、焦点位置Zkにおける合焦測度の算出値が合焦測度のピークと一致する場合、すなわち、合焦位置の検出条件が最も良い場合を示している。また、図14は、焦点位置Zkと焦点位置Zk+1のほぼ中央で合焦測度がピークになる場合、すなわち、合焦位置の検出条件が最も厳しくなる場合を示している。
図13の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となり、合焦位置の検出精度は高くなる。
図14の場合、合焦測度の算出値が最大となる焦点位置Zk、および、焦点位置Zkに隣接する焦点位置Zk−1,Zk+1における合焦測度を用いた補間処理により、合焦位置が求められる。この場合、焦点位置Zk−1乃至Zk+1が全て焦点深度の範囲内となり、合焦位置の検出精度は高くなる。
従って、撮影ピッチを撮影ユニット11の焦点深度の1/5に設定した場合、合焦位置の算出に用いる焦点位置が常に撮影ユニット11の焦点深度の範囲内となり、合焦位置の検出精度は高くなる。また、撮影ピッチを撮影ユニット11の焦点深度の1/4に設定した場合と比較して、より合焦位置に近い焦点位置の合焦測度を用いて、合焦位置が求められるため、最悪の条件でも高い精度の合焦位置が求められる。
なお、撮影ピッチを撮影ユニット11の焦点深度の1/5よりさらに小さくすることにより、合焦位置の検出精度の向上が若干期待できるが、その効果はそれほど大きくなく、一方で、撮影する画像の枚数が増え、撮影時間が長くなる。
従って、図3のステップS3において、合焦位置の検出精度を高くし、被検物2の3次元形状の測定精度を高くするには、撮影ピッチを撮影ユニット11の焦点深度の1/3以下に設定するようにすればよい。さらに撮影時間を考慮すると、撮影ピッチを撮影ユニット11の焦点深度の1/5〜1/3の範囲内に設定することが望ましい。そして、例えば、処理速度を優先する場合には、撮影ピッチを撮影ユニット11の焦点深度の1/3に設定し、3次元形状の測定精度を優先する場合には、撮影ピッチを撮影ユニット11の焦点深度の1/5に設定し、処理速度と測定精度のバランスを考慮する場合には、撮影ピッチを撮影ユニット11の焦点深度の1/4に設定するようにすればよい。
以上のようにして、より迅速に適切な撮影ピッチを設定することができる。また、その結果、より正確かつ高速に被検物2の3次元形状を測定し、被検物2の3次元データを作成することができる。
<2.変形例>
以上の説明では、合焦測度の算出値が最大になる焦点位置、および、その焦点位置の両隣の焦点位置の合計3つの焦点位置における合焦測度に基づいて、合焦位置を算出する例を示したが、4つ以上の焦点位置における合焦測度に基づいて、合焦位置を算出するようにすることも可能である。この場合、合焦位置の算出に用いる焦点位置が全て撮影ユニット11の焦点深度の範囲内に収まるように撮影ピッチを設定するようにすればよい。
以上の説明では、合焦測度の算出値が最大になる焦点位置、および、その焦点位置の両隣の焦点位置の合計3つの焦点位置における合焦測度に基づいて、合焦位置を算出する例を示したが、4つ以上の焦点位置における合焦測度に基づいて、合焦位置を算出するようにすることも可能である。この場合、合焦位置の算出に用いる焦点位置が全て撮影ユニット11の焦点深度の範囲内に収まるように撮影ピッチを設定するようにすればよい。
また、以上の説明では、撮影ユニット11をz軸方向に移動させて、被検物2に対する撮影ユニット11の焦点位置を移動させる例を示したが、例えば、ステージ13をz軸方向に移動させたり、または、撮影ユニット11とステージ13の両方をz軸方向に移動させたり、または、ズーム光学系23内のレンズをz軸方向に移動させたりすることにより、被検物2に対する撮影ユニット11の焦点位置を移動させるようにしてもよい。
さらに、本発明の実施の形態では、撮影光学系のNAおよび照明光の波長が変化する度に、撮影ピッチを自動的に再設定するようにすることが望ましい。例えば、ズーム光学系23の倍率が変更された場合、または、ズーム光学系23内またはズーム光学系23とステージ13の間に対物レンズを切替え可能なレボルバが設けられており、使用する対物レンズが変更された場合、または、照明ユニット21の照明光の波長が変更された場合などに、撮影ピッチを自動的に再設定するようにすることが望ましい。
また、撮影ピッチは、必ずしも1つの値に設定されるとは限らず、2つ以上の値に設定される場合がある。例えば、適切な撮影ピッチが1.5cmと算出されたが、スタンド12の支持部12Bを移動できる間隔が1.0cmである場合、撮影ピッチを1.0cmと2.0cmに交互に切替えながら、焦点位置を設定することが考えられる。
さらに、以上の説明では、撮影ピッチを計算式により求める例を示したが、例えば、照明ユニット21の照明光の波長、ズーム光学系23の倍率、対物レンズの種類などの撮影条件毎に予め算出した撮影ピッチをテーブルに保持しておき、そのテーブルに基づいて、撮影ピッチを設定するようにしてもよい。
また、本発明の実施の形態では、必ずしもズーム光学系は必須ではなく、本発明は、倍率が固定の撮影光学系を用いる場合にも適用することができる。
なお、本発明は、例えば、焦点位置が異なる複数の画像に基づいて、被検物の3次元形状を測定する処理を含む処理を行う装置や、その処理をコンピュータに実行させるためのプログラム等に適用できる。
[制御コンピュータ15のハードウエア構成例]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、制御コンピュータ15にインストールされる。ここで、制御コンピュータ15には、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、制御コンピュータ15にインストールされる。ここで、制御コンピュータ15には、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図15は、上述した一連の処理をプログラムにより実行する制御コンピュータ15のハードウエアの構成例を示すブロック図である。
制御コンピュータ15において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成される制御コンピュータ15では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
CPU201が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
制御コンピュータ15では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、制御コンピュータ15が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明
の要旨を逸脱しない範囲において種々の変更が可能である。
の要旨を逸脱しない範囲において種々の変更が可能である。
1 観察装置, 2 被検物, 11 撮影ユニット, 12 スタンド, 13 ステージ, 14 入力装置, 15 制御コンピュータ, 16 表示装置, 21 照明ユニット, 23 ズーム光学系, 24 撮像素子, 51 撮影制御部, 52 撮影ピッチ設定部, 53 合焦測度算出部, 54 合焦位置算出部, 55 3次元データ作成部
Claims (10)
- 被検物に対して撮影手段の焦点が合う位置である焦点位置が異なる複数の画像に基づいて、前記被検物の3次元形状を測定する3次元形状測定装置において、
前記焦点位置を設定する間隔である撮影ピッチを設定する撮影ピッチ設定手段と、
設定された前記撮影ピッチに基づいて、前記焦点位置を複数の位置に設定する焦点位置設定手段と、
複数の前記焦点位置で撮影された複数の画像の各画素における合焦測度を算出する合焦測度算出手段と、
画素毎に、前記合焦測度の算出値が最大となる前記焦点位置である最大焦点位置および前記最大焦点位置における前記合焦測度、並びに、前記最大焦点位置の近傍の前記焦点位置および前記近傍の焦点位置における前記合焦測度に基づいて、合焦位置を算出する合焦位置算出手段と
を含み、
前記撮影ピッチ設定手段は、前記最大焦点位置および前記近傍の焦点位置が、前記撮影手段の焦点深度の範囲内に収まるように前記撮影ピッチを設定する
3次元形状測定装置。 - 前記合焦位置算出手段は、前記最大焦点位置および前記最大焦点位置における前記合焦測度、並びに、前記最大焦点位置の両隣の前記焦点位置および前記両隣の焦点位置における前記合焦測度に基づいて、前記合焦位置を算出し、
前記撮影ピッチ設定手段は、前記撮影ピッチを前記焦点深度の1/3以下に設定する
請求項1に記載の3次元形状測定装置。 - 前記撮影ピッチ設定手段は、さらに前記撮影ピッチを前記焦点深度の1/5以上に設定する
請求項2に記載の3次元形状測定装置。 - 前記撮影ピッチ設定手段は、前記被検物に照射する照明光の中心波長、または、前記照明光の強度が最大となる波長に基づいて、前記焦点深度を算出する
請求項2または3に記載の3次元形状測定装置。 - 前記焦点位置設定手段は、前記被検物と前記撮影手段との間の相対距離を制御することにより前記焦点位置を設定する
請求項1に記載の3次元形状測定装置。 - 前記撮影手段は、ズーム光学系、または、複数の対物レンズを切替え可能な切替え手段のうちの少なくとも一方を含み、
前記撮影ピッチ設定手段は、前記ズーム光学系の倍率が変更された場合、または、前記対物レンズが変更された場合、前記撮影ピッチを再設定する
請求項1に記載の3次元形状測定装置。 - 前記撮影ピッチ設定手段は、設定した前記撮影ピッチをさらに手動で調整することが可能である
請求項1に記載の3次元形状測定装置。 - 各画素の前記合焦位置に基づいて、前記被検物の3次元データを作成する3次元データ作成手段を
さらに含む請求項1に記載の3次元形状測定装置。 - 前記撮影手段を
さらに含む請求項1に記載の3次元形状測定装置。 - 被検物に対して撮影手段の焦点が合う位置である焦点位置が異なる複数の画像に基づいて、前記被検物の3次元形状を測定する処理であって、
前記焦点位置を設定する間隔である撮影ピッチを設定する撮影ピッチ設定ステップと、
設定された前記撮影ピッチに基づいて、前記焦点位置を複数の位置に設定する焦点位置設定ステップと、
複数の前記焦点位置で撮影された複数の画像の各画素における合焦測度を算出する合焦測度算出ステップと、
画素毎に、前記合焦測度の算出値が最大となる前記焦点位置である最大焦点位置および前記最大焦点位置における前記合焦測度、並びに、前記最大焦点位置の近傍の前記焦点位置および前記近傍の焦点位置における前記合焦測度に基づいて、合焦位置を算出する合焦位置算出ステップと
を含み、
前記撮影ピッチ設定ステップの処理により、前記最大焦点位置および前記近傍の焦点位置が、前記撮影手段の焦点深度の範囲内に収まるように前記撮影ピッチを設定する
処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010181231A JP2012042525A (ja) | 2010-08-13 | 2010-08-13 | 3次元形状測定装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010181231A JP2012042525A (ja) | 2010-08-13 | 2010-08-13 | 3次元形状測定装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012042525A true JP2012042525A (ja) | 2012-03-01 |
Family
ID=45898972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010181231A Withdrawn JP2012042525A (ja) | 2010-08-13 | 2010-08-13 | 3次元形状測定装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012042525A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016067526A1 (en) * | 2014-10-30 | 2016-05-06 | Canon Kabushiki Kaisha | Nonlinear optical microscope and method for acquiring information |
JP2016114795A (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 顕微鏡システム、設定値算出方法、及び、プログラム |
US9769372B2 (en) | 2014-03-10 | 2017-09-19 | Canon Kabushiki Kaisha | Image estimating method including calculating a transverse cutoff frequency, non-transitory computer readable medium, and image estimating apparatus |
US10288877B2 (en) | 2015-07-16 | 2019-05-14 | Olympus Corporation | Microscopy system, determination method, and recording medium |
US10379329B2 (en) | 2014-12-15 | 2019-08-13 | Olympus Corporation | Microscope system and setting value calculation method |
-
2010
- 2010-08-13 JP JP2010181231A patent/JP2012042525A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9769372B2 (en) | 2014-03-10 | 2017-09-19 | Canon Kabushiki Kaisha | Image estimating method including calculating a transverse cutoff frequency, non-transitory computer readable medium, and image estimating apparatus |
WO2016067526A1 (en) * | 2014-10-30 | 2016-05-06 | Canon Kabushiki Kaisha | Nonlinear optical microscope and method for acquiring information |
JP2016114795A (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 顕微鏡システム、設定値算出方法、及び、プログラム |
US10379329B2 (en) | 2014-12-15 | 2019-08-13 | Olympus Corporation | Microscope system and setting value calculation method |
US10288877B2 (en) | 2015-07-16 | 2019-05-14 | Olympus Corporation | Microscopy system, determination method, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6245885B2 (ja) | 撮像装置およびその制御方法 | |
JP4315169B2 (ja) | 三次元形状測定システム | |
JP5941395B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
CN110300255B (zh) | 信息处理装置、信息处理方法、程序和视觉测量装置 | |
EP3035104B1 (en) | Microscope system and setting value calculation method | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
US9420160B2 (en) | Information processing apparatus, information processing method, program, and vision measuring apparatus | |
JP2014123070A (ja) | 撮像装置及びその制御方法 | |
RU2011140241A (ru) | Система и способ улучшенной автофокусировки с предсказанием | |
JP6147006B2 (ja) | 撮像装置、顕微鏡システム及び撮像方法 | |
JP2014145725A (ja) | 画像処理装置、撮像装置 | |
JP2013088261A (ja) | 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム | |
US8810799B2 (en) | Height-measuring method and height-measuring device | |
JP2015194672A (ja) | 撮像装置 | |
JP6799924B2 (ja) | 細胞観察装置および細胞観察方法 | |
JP2012042669A (ja) | 顕微鏡制御装置及び光学的歪み補正方法 | |
JP2012042525A (ja) | 3次元形状測定装置およびプログラム | |
JP2010101959A (ja) | 顕微鏡装置 | |
JP6027875B2 (ja) | 撮像装置及び顕微鏡システム | |
JP2010256530A (ja) | 顕微鏡装置 | |
JP2013246052A (ja) | 距離測定装置 | |
JP2015102694A (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
JP2007181184A (ja) | 撮像装置および撮像方法、並びに撮像装置の設計方法 | |
JP2020060649A (ja) | 撮像システムおよび設定装置 | |
JP5179784B2 (ja) | 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131105 |