JP2010066156A

JP2010066156A - 形状測定装置

Info

Publication number: JP2010066156A
Application number: JP2008233495A
Authority: JP
Inventors: Muneki Hamashima; 宗樹浜島; Atsushi Inoue; 篤井上
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-09-11
Filing date: 2008-09-11
Publication date: 2010-03-25
Anticipated expiration: 2028-09-11
Also published as: JP5369564B2

Abstract

【課題】対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにする。
【解決手段】MLA１２は、対物レンズ１１の瞳面又は結像面に配置され、撮像素子１３は、MLA１２の背後に設置され、被検物像を撮像する。ズーム用レンズ駆動装置５１は、ズーム用レンズＺＬの移動によって被検物の像の大きさを拡大又は縮小し、合焦レンズ駆動装置５２は、合焦レンズＦoＬの移動によって被検物に焦点を合わせる。演算処理回路３４は、撮像素子１３の出力から複数の測定画像を生成し、MLA１２に配列された複数のＭＬの各々に対応する撮像素子１３の撮像領域を構成する画素のうち、対物レンズ１１の主光線と交わる位置にある画素から得られる基準画像を補正情報として用いて、被検物の形状を測定する。本発明は、被検物の３次元の形状を計測する形状測定装置に適用できる。
【選択図】図１４

Description

本発明は、形状測定装置に関する。

対物レンズの光軸に沿って被検物を移動させながら焦点位置の異なる複数の画像を得て、被検物上の点各々について、それら複数の画像より合焦測度が最大となる画像を選択し、その画像での焦点位置をその点についての高さとし、これらの情報から被検物の形状測定を行うものが知られている。

これは、一般的に、SFF（Shape From Focus）といった手法である。
特許第２９６０６８４号公報

しかしながら、このような従来の技術では、対物レンズの光軸に沿って被検物を移動させながら画像を取得する必要があり、測定に時間がかかっていた。

本発明はこのような状況に鑑みてなされたものであり、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにするものである。

本発明の一側面の形状測定装置は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子と、前記対物レンズの焦点距離を変化させる焦点距離可変手段と、前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の形状を測定する形状測定手段とを備えることを特徴とする。

前記対物レンズの合焦位置を変化させる合焦位置可変手段をさらに備えることを特徴とする。

前記形状測定手段は、前記対物レンズの視野の略中心にある前記被検物までの距離情報を求め、前記合焦位置可変手段は、前記形状測定手段により測定された前記距離情報に基づき前記合焦位置を制御することを特徴とする。

前記形状測定手段は、前記被検物までの距離と、前記対物レンズの倍率とを考慮して、前記被検物の形状を測定することを特徴とする。

本発明の一側面においては、対物レンズの焦点距離が変化され、撮像素子の出力から複数の測定画像が生成され、複数のレンズの各々に対応する撮像素子の撮像領域を構成する画素のうち、対物レンズの主光線と交わる位置にある画素から得られる基準画像が、測定画像の補正情報として用いられ、被検物の形状が測定される。

本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。

以下、図面を参照しながら本発明の実施の形態について説明する。

本発明では、レンズを動かすことなく、複数の仮想的な物体面（Ｚ₁，Ｚ₂，・・・）からの（方向性を含む）ボケ量（以下、フォーカス情報ともいう）を算出し、さらに、ボケのない全焦点の画像も同時に得られるようにしている。これにより、本発明においては、それらの情報を用いた距離計測を行うことが可能となる。

具体的には、レンズと撮像面の間隔ａ（以下、レンズ位置ａともいう）と、レンズの焦点距離ｆから、下記の式（１）のガウスの公式により、被検物の測定点までの距離ｂを知ることができる。

１／ｂ＝１／ｆ−１／ａ・・・（１）

本発明による測定では、上記の機構的に決まるレンズ位置ａとは別に、マイクロレンズアレイ（以下、MLAという）を通した撮像素子上の画素信号を組み換え、加算することにより、仮想的にレンズと撮像面の間隔ａ₁，ａ₂，ａ₃，・・・，ａ_nを構築する。これらの値を、式（１）の値ａに代入して得られる値ｂの値列が、複数の物体面（Ｚ₁，Ｚ₂，Ｚ₃，・・・Ｚ_n）の位置となる。すなわち、かかる測定においては、このような再構成により、異なる物体面から発せられた光線が撮像面に到達したとして、そのときの画像を再構成し、フォーカス情報を得ることができる。

このようにして、レンズの光軸に沿って被検物を移動することなく、従来のSFF法と同様の情報を得ることができる。

なお、このような焦点検出での位置は、MLAの数だけ実行できるので、被検物をどのくらい細かく測定できるか（空間分解能）は、MLAの配列構成によって決まる。つまり、MLAの数が多いほど、測定の空間分解能が高くなることになる。

次に、上記の原理を用いて、被検物の形状測定を行う形状測定装置の詳細について、各構成要素ごとに説明する。

［１．光学系］
まず、図１を参照して、本発明を適用した形状測定装置の光学系の概要について説明する。

図１に示すように、光学系は、対物レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。

図１には、図１ａと図１ｂの２つの光学系の構成が図示されているが、図１ａの構成では、被検物（物体面（Ｐ面））の像を捕らえる対物レンズ１１の焦点距離だけ離れた位置にMLA１２を置き、MLA１２の焦点距離だけ離れた位置に撮像素子１３が置かれている。図１ａでは、この撮像素子１３の撮像面が、物体面（Ｐ面）と共役になっており、被検物の像が結像している。

MLA１２は、先述したMLAと同様に、例えば７×７個などの、複数のマイクロレンズ（以下、ＭＬという）を２次元状に並べてなる光学素子である（図１では、縦方向の７個を図示している）。各ＭＬで結像した像のできる領域、すなわち、ＭＬ領域１３ＭＬから得られる画像信号は、それぞれのＭＬ領域の位置に応じて被検物の異なる視点の画像、つまり、視差のある像となっている。

一方、図１ｂの構成では、所定の位置にある物体面Ｐが対物レンズ１１で結像する面にMLA１２を置き、ＭＬの焦点距離だけ離れた位置に撮像素子１３が置かれている。この場合、撮像素子１３の面が、対物レンズ１１の瞳面と共役になっており、各ＭＬ領域の画像信号は、瞳を分割した像となっている。言い換えると、図１ｂでは、結像された光線が、レンズ瞳から見て違う角度ごとの光線に振り分けられている。

本発明では、上記の図１ａ又は図１ｂのいずれの構成からも、違う角度からの光線を再構成することによって、焦点面の異なる複数の画像を得ることができ、それを利用して、被検物の形状の測定を行う。したがって、以下の説明では、図１ａの構成を中心に述べるが、図１ｂの構成を採用しても同様である。

そこで、次に、図２及び図３を参照して、図１ａの光学系のさらに詳細な構成について説明する。なお、図２においては、複数のＭＬからなるMLA１２の一部としての、マイクロレンズＭＬ_a，マイクロレンズＭＬ_b，マイクロレンズＭＬ_cの３つのＭＬ（以下、それぞれ、ＭＬ_a，ＭＬ_b，ＭＬ_cという）が説明のために図示されている。

図２において、物体面（Ｐ面）上の点Ｐ１からの光線には、光軸と平行方向の光（図中の実線）として対物レンズ１１を通過後屈折して、ＭＬ_bによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ１_bに結像される光線群（図中の実線）や、対物レンズ１１の中心を通過後、ＭＬ_cによって、撮像素子１３の撮像面上のＭＬ領域の点Ｐ１_cに結像される光線群（図中の点線）などがある。

こうして、対物レンズ１１の瞳面に置いた各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。また、このとき、撮像面上のＭＬ領域の点Ｐ１_bと、ＭＬ領域の点Ｐ１_cとは、物体面（Ｐ面）上の同じ点Ｐ１からの、異なる角度で出てきた光線を受光する。

同様に、物体面（Ｐ面）上の点Ｐ２からの光線には、図中の一点鎖線で示される方向に射出して対物レンズ１１を通過屈折し、ＭＬ_aによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２_aに結像される光線、図中の実線で示されるように、対物レンズ１１の光軸と平行方向に射出して対物レンズ１１を通過後、ＭＬ_bによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２_bに結像される光線、及び図中の点線で示されるように、下方向に射出して対物レンズ１１を通過後屈折して、ＭＬ_cによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２_cに結像される光線が示されている。また、物体面（Ｐ面）上の点Ｐ３からの光線には、図中の一点鎖線で示されるように上方向に射出して対物レンズ１１を通過後屈折して、ＭＬ_aによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３_aに結像される光線、図中の実線で示されるように対物レンズ１１の光軸と平行方向に射出して、ＭＬ_bによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３_bに結像される光線が示されている。

ここで、仮に、対物レンズ１１だけの結像系であったとすると、例えば、点Ｐ２から射出された光は対物レンズ１１で一点に集光される。すなわち、図２の光学系でいうと、点Ｐ２_a，Ｐ２_b，Ｐ２_cなどの点Ｐ２から射出したあらゆる方向からの光線強度が加算されたものとなり、これが画素信号となる。このことは、図２に示すような、本発明の光学系では、MLA１２の各ＭＬによって、被検物上の一点から出た光を方向別に選別して捕えることができる、ということを意味している。

図３は、ある１つのＭＬから見た像が、Ｐ面から射出した同じ方向からの光線で構成されたＰ面の像であることを示しており、そのことはＰ面を各ＭＬによって各ＭＬの数だけ異なる方向から見た像が得られることを示すものである。すなわち、ＭＬの数だけできるが、それらはＰ面から射出した光のうち、同じ方向へ射出した光が対応するＭＬに入射してＰ面の像を形成することを意味する。換言すれば、ＭＬの数だけ異なる視差の像が得られる。

図３ａないし図３ｃで示す光線のうち、図３ｂにおいて、対物レンズ１１に対して垂直に入ってくる光を集めた中央部のＭＬによる像は、Ｐ面を正面から捕らえた像となる。また、図３ａ及び図３ｃは、対物レンズ１１に斜めに入射する光を集めた端の方に位置するＭＬによる像は、Ｐ面から射出する光の角度の方向からＰ面を見た像となる。

対物レンズ１１の瞳面は、MLA１２の各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。このとき、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面（Ｐ面）と共役の位置で物体面（Ｐ面）を異なる角度から見た像となる。

そして、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で１／Ｎに縮小される。ここで注目すべきことは、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。従って、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。

さらに、図３ｂの対物レンズ１１の光軸上（図２のMLA１２の中心に相当する）のＭＬ（図２のＭＬ_bに相当する）によって結像される像は、物体位置が光軸方向に移動しても、焦点もほぼ合ったまま像はずれない。すなわち、物体の光軸方向の位置が変わっても像はほとんど変化しない。

一方、図３ａと図３ｃでの中心から外れたＭＬ（図２のＭＬ_a，ＭＬ_cに相当する）を見ると、図中の左方向の矢印で示すように、物体位置が対物レンズ１１から遠ざかる場合、結像される像は、図３ａでは図中の上方向の矢印の方向にずれ、図３ｃでは図中の下方向の矢印の方向にずれる。つまり、光線のあたる画素位置は、光軸から遠ざかる方向にずれていく。逆に、物体位置が近づけば、これらの画像の画素位置は、光軸へ近づく方向にずれていく。

以上のようにして、本発明の光学系は構成される。

［２．焦点画像生成の手順］
（２−１）MLA１２を対物レンズ１１の瞳面とした場合
次に、図４及び図５を参照しつつ、上記の本発明の光学系を採用した場合において、複数の異なる位置での物体面の画像又は信号を形成して、物体各点でのフォーカス情報を検出する方法について説明する。なお、本実施の形態においては、図１で説明したように、図１ａ又は図１ｂのいずれの構成を採用しても、異なる角度から入射される光線を再構成して、焦点面の異なる複数の画像を生成することが可能である。したがって、はじめに、（１）MLA１２を対物レンズ１１の瞳面に置いた場合について説明し、その後、（２）MLA１２を対物レンズ１１の結像面に置いた場合についても説明する。

図４は、対物レンズ１１とMLA１２での光線追跡図を示し、図５は、MLA１２で結像された撮像素子１３の面での画素配列の一部と、MLA領域ごとに信号処理される選択画素を示している。

ところで、MLA１２の後側に配置される撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。この画素配列の縦方向と横方向の画素数は、例えば７×７個などの個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。なお、ここでは、撮像素子１３として、CCDを用いた例について説明する。

図５において、２１×２１個の四角は、撮像素子１３を対物レンズ１１の光軸方向から見た場合に撮像面上に配列された画素を示しており、そのうちの太線で囲まれた７×７個の四角からなる領域がそれぞれ１つのＭＬ領域を示している。図５では、７×７個のＭＬ領域のうち、３×３個のＭＬ領域を代表させて示している。したがって、図中の太線で囲まれたＭＬ領域のうちの中央の領域が、対物レンズ１１の中心のＭＬ（図２のＭＬ_bに相当する）で結像されるＭＬ領域となる。

図４ａは、物体面Ｐ０（焦点の合っている焦点面Ｚ₀と同じ）がフォーカス位置にある場合の光線図である。ここで、物体面Ｐ０は、光学系の焦点距離ｆ、及び対物レンズ１１と撮像素子１３の撮像面との間隔ａで一義的に決定され、具体的には、上記の光学系のガウスの式（１）で決まる距離ｂの位置である。

物体面Ｐ０の対物レンズ１１の光軸と一致する位置から射出した光は、MLA１２の各ＭＬで、CCD（撮像素子１３）面上の各ＭＬ領域の中央部（各ＭＬの光軸と一致）に集光する。従って、図５（既に述べたように、対物レンズ１１の光軸に一致する位置のＭＬを中心にその周囲１つずつのＭＬ領域に対応する画素エリアのみを示している）に示すように、物体面Ｐ０の中央（対物レンズ１１の光軸に一致する）の点Ｐ０２から射出した光は、各ＭＬ領域内の中央の画素（図５では黒色の四角）に集光するので、各画素エリアの中央の画素の出力を選択し、加算することで物体面Ｐ０の点Ｐ０２の全輝度が得られる。

物体面Ｐ０の点Ｐ０２から外れた位置からの光は、点Ｐ０２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、焦点面Ｚ₀にある物体面Ｐ０の画像を再現することができる。

図４ｂは、物体面Ｐ０より対物レンズ１１に近い物体面Ｐ１（実際には、図４ｂの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ１の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ外側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ１の中央（対物レンズ１１の光軸に一致する）の点Ｐ１２から射出した光は、図５に示すように、中心のＭＬ領域（図２のＭＬ_bによって結像される領域に相当する）内での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ外側の画素（図５では間隔の狭い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ１の点Ｐ１２の全輝度が得られる。

物体面Ｐ１の点Ｐ１２から外れた位置からの光は、点Ｐ１２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ１の画像を再現することができる。

図４ｃは、物体面Ｐ０より対物レンズ１１から遠い物体面Ｐ２（実際には、図４ｃの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ２の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ内側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ２の中央（対物レンズ１１の光軸に一致する）の点Ｐ２２から射出した光は、図５に示すように、中央のＭＬ領域（図２のＭＬ_bによって結像される領域に相当する）での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ内側の画素（図５では間隔の広い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ２の点Ｐ２２の全輝度が得られる。

物体面Ｐ２の点Ｐ２２から外れた位置からの光は、点Ｐ２２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ２の画像を再現することができる。

なお、図４では、撮像素子１３の右側の長方形４０は、ＭＬ領域の一部である１３ＭＬ₁ないし１３ＭＬ₇を模式的に表しており、各ＭＬ領域での光の集光する位置を黒色で塗り潰すことによって、図５で上述した説明を補足して概念的に説明するためのものである。すなわち、本実施の形態では、７×７個のＭＬ領域の例を取り上げているので、縦方向に７個ある各ＭＬ領域１３ＭＬ₁ないし１３ＭＬ₇を模式的に示し、それぞれのＭＬ領域に集光（結像）した光の様子が示されている。図４ａにおいては、物体面Ｐ０２からの線は、CCD（撮像素子１３）上の各ＭＬ領域の中央に集光（結像）する。また、図４ｂに示したように、物体面Ｐ０よりも対物レンズ１１に近い物体面Ｐ１からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外のＭＬ領域では図４ａの場合と比べて外側へ集光する。さらに、図４ｃに示したように、物体面Ｐ０よりも対物レンズ１１から遠い物体面Ｐ２からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外の領域では図４ａの場合と比べて内側へ集光する。

さらに捕捉すれば、本実施の形態においては、前側物体面Ｐ１や後側物体面Ｐ２は、実際には、対物レンズ１１の位置で決まる物体面Ｐ０（図４では物体面Ｐ０が撮像素子１３の受光面と共役となる）以外の、対物レンズ１１を動かすことなく得られるいわば仮想的な合焦面である。

以上のように、物体面Ｐ０，Ｐ１，Ｐ２のように、物体の光軸方向の位置を物体面Ｐ０から変えた場合でも、対物レンズ１１の中心のＭＬ（図２のＭＬ_bに相当する）によって結像される像は、焦点もほぼ合ったまま像の位置がずれないことになる。

すなわち、図３ｂに示した光学系の構成のレンズ中心のＭＬ（図２のＭＬ_bに相当する）によって結像される画像（図２のＰ２_bに相当する）は、対物レンズ１１に対して垂直に入ってくる光線からなり、被検物を正面から捉えた像となる。したがって、物体位置が光軸方向に移動しても、像はずれない。そして、分割された小さな瞳からの像なのでＦ値が大きく、被写界深度（焦点深度）は非常に深くなる。つまり、被検物の光軸方向の位置が変わっても、像はほとんど変化しない。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。

（２−２）MLA１２を対物レンズ１１の結像面に配置した場合
ところで、上記の（２−１）においては、光学系として、図１ａの構成を採用した場合の例、つまり、MLA１２が対物レンズ１１の瞳面に設定された場合について説明した。常に焦点の合った全焦点画像を取得する方法としては、（２−１）の方法に限らず、図１ｂに示したように、MLA１２を対物レンズ１１の焦点（結像）面、すなわち、物体面と共役の位置に設定した場合でも同等の効果を得ることができる。そこで、次に、全焦点画像を取得する方法の第２の例として、（２−２）MLA１２が対物レンズ１１の結像面に設定された場合について説明する。この場合、（２−１）の方法と比べて、異なる物体面での画像の作成手順が異なるため、ここでは、図６ないし図８を参照して、その作成手順を中心に説明する。

図６ないし図８においては説明を分かり易くするために、撮像素子１３において直線上に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添字（１，２，３，・・・）を付している。

すなわち、図６に示すように、不図示の対物レンズ１１による被検物の像がMLA１２上（Ｚ＝０）で結像（各ＭＬへ入射する領域を破線で示し、その中心の座標をＸ₁ないしＸ₇で示している）する場合、不図示の対物レンズ１１からの光線ｒ₁，ｒ₂，ｒ₃，ｒ₄，ｒ₅は、結像面（Ｚ＝０面上）、すなわちＭＬの表面の１点に集まる。中心座標をＸ₁ないしＸ₇で示した各領域は、同じ作用を受けるから、以下、中央の領域について説明する。中央の領域の中心Ｘ₄を出た光は、マイクロレンズＭＬ₄のレンズ作用によって、撮像素子１３の面上ではそれぞれの画素に対応して、ａ₄，ｂ₄，ｃ₄，ｄ₄，ｅ₄の画素信号となる。したがって、結像面（Ｚ＝０）での各画像信号は、これらの和となる。すなわち、画像信号をＬとすれば、Ｌは下記の式（２）で求めることができる。

Ｌ（ｉ）＝（ａ_i＋ｂ_i＋ｃ_i＋ｄ_i＋ｅ_i）・・・（２）

ただし、上記の通り、ｉは光軸と垂直な面内におけるＸ方向の座標（ｉ＝１〜７）を示しており、例えば、座標Ｘ₄の場合には、Ｌ（４）＝（ａ₄＋ｂ₄＋ｃ₄＋ｄ₄＋ｅ₄）となる。なお、実際には、２次元的に考える必要があるので、Ｘ方向以外にＹ方向についても考えなければならないが、ここでは、説明を簡略化するためにＸ方向についてのみ述べる。

一方、図７に示すように、結像面が各ＭＬの表面からずれたＺ＝ｈ₁の位置での中央の領域の中心座標Ｘ₄の画像信号は、下記の式（３）から求めることができる。ただし、ｉ＝１〜７であり、座標の添数字が１〜７から外れた値は使用されない値である。

Ｌ（ｉ）＝（ａ_i-2＋ｂ_i-1＋ｃ_i＋ｄ_i+1＋ｅ_i+2）・・・（３）

座標Ｘ₄の場合にはｉ＝４となるので、Ｌ（４）＝（ａ₂＋ｂ₃＋ｃ₄＋ｄ₅＋ｅ₆）となる。このことからも明らかなように、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ_i（この例の場合にはｃ₄）は、焦点位置によらず常に存在する。つまり、この信号だけを集めた画像は、物体側の位置にかかわらず一定で、焦点ボケのない像となる。

したがって、図８に示すように、下記の式（４）の関係を有する信号で構成される画像は、結像面がどこにあっても（逆の言い方をすれば、結像面が一定で被検物がどこにあっても）常に焦点の合った全焦点画像となる。ただし、図８ではより実際的な応用を説明するために、図６，７に対して、フィールドレンズ（以下、ＦＬという）を付加した図面としている。このＦＬを配置することで、像高の高い位置に配置されたＭＬに入射する光束の角度を抑えられるため、先述した例では述べていないが、ＦＬを設けたほうが好ましい。

Ｌ（ｉ）＝ｃ_i ・・・（４）

すなわち、例えば、図８において、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ₁，ｃ₂，ｃ₃，ｃ₄，ｃ₅，ｃ₆，ｃ₇を集めた画像は、焦点の合った全焦点画像となる。

以上のようにして、図１ａ又は図１ｂの構成を採用することで、焦点画像生成の手順は異なるが、異なる角度からの光線を再構成して、焦点面の異なる複数の画像が生成される。

［３．測定の信号処理手順］
次に、上記の手順で生成される仮想的な焦点位置での画像群から、測定のための画像データを得るために実行される信号処理について説明する。かかる信号処理では、常に焦点の合った全焦点画像を用いる点に特徴があり、焦点面を光軸方向へ少しずつずらしながら取得した各画像データに対してエッジ処理を施すことにより、焦点の合った画像を選択する。

（３−１）多焦点逐次処理法
上記のエッジ処理としては、いくつかの方法が考えられるが、ここではまず、画像のエッジを検出する方法として、多焦点逐次処理法を用いた場合について説明する。また、この多焦点逐次処理におけるエッジ処理として、フーリエ変換（ウェーブレット変換）法を用いた場合を一例にして説明する。

上記の［２．焦点画像生成の手順］により、複数の異なる物体面での画像群が形成された後、先述したSFFと同様の処理によって、各々の画像の同じ画素エリアの位置において、下記の方法でフォーカス情報を検出することができる。

すなわち、かかる信号処理では、図９に示すように、距離の異なる複数の物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の画像群について、それぞれFFT（Fast Fourier Transform）により画像信号をフーリエ変換（又はウェーブレット変換）し、空間周波数空間内（フーリエ面上）で高周波成分のみをハイパスフィルタ（High Pass Filter）にて抽出した後、逆フーリエ変換（又は逆ウェーブレット変換）する。この処理によって、ほぼエッジ（輪郭）部分のみの画像となる。次に、これらの画像でエッジのある各点の位置（Ｘ_i，Ｙ_i）に着目して、複数の物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の画像群の中から、最もエッジの鋭い（傾き成分の最も高い）画像をベストフォーカス（Best Focus）として、選択する。

図１０は、各焦点面の画像群におけるサンプリング点のエッジの傾き成分をグラフ化したものである。図１０において、横軸Ｚは物体面の位置（被検物からの距離）を表し、縦軸αはエッジの傾き成分を表し、図中上方向にいくほど、その値が大きくなる（焦点の合っている程度（フォーカスの程度）が高い）ことを意味する。

図１０に示すように、Ｚ方向のサンプリング点は、各物体面毎の値となっているために離散的なものとなっているが、図中の曲線で表しているように、関数近似によってピーク（図中の点線）を求めることで、補間処理による小数点以下の値を持つ位置Ｚが求められ、その精度は向上する。

しかしながら、この手順ではＺの位置を求めることができるものの、次に示すような問題が残る。

すなわち、焦点の違う画像からエッジを検出する場合、物体の距離に応じて、ピント（焦点）の合っている所と、合っていない所とが存在する。このとき、明るさ（信号強度）が極端に違うエッジが隣接している場合、焦点の合っていない明るいエッジが、隣接する焦点の合った暗いエッジを覆ってしまい、エッジの位置を誤認識する恐れがある。

かかる問題を解決するためには、全てのエッジで焦点の合った画像を用いて、画素単位での微分値を求め、正しいエッジ位置を先に検出しておけばよい。

そこで、本実施の形態においては、MLA１２の中央のＭＬ（図２のＭＬ_bに相当する）で結像される、対物レンズ１１の中心（軸上）の画像が物体面の位置が変わっても（Ｚの方向が変わっても）変化のない画像であって、かつ、被写界深度が深く、物体側の距離によらず常にほぼ完全にピントの合った、像ずれがなく、かつボケのない画像（全焦点画像）となることに着目し、この画像を用いる。

本発明の信号処理においては、この全焦点画像を用いて、上記のように、フーリエ変換及びハイパスフィルタ処理をすることによって、正しいエッジ位置（Ｘ_i，Ｙ_i）を得て、同時にその近傍画像のコントラスト信号（画像の濃度値）を登録する。次に、それらのエッジについて、多数物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の画像群の中から、着目するエッジ位置（Ｘ_i，Ｙ_i）とその近傍の画像信号が、登録したコントラスト信号と最も相関の高い画像におけるＺを求める。

すなわち、全焦点画像から得られた各エッジ位置（Ｘ_i，Ｙ_i）について、物体位置（Ｚ）の異なる複数の（ボケを含む）画像から、同じ座標（Ｘ_i，Ｙ_i）のエッジ位置の画素信号における、ボケのない全焦点画像のエッジ信号と最も類似性（相関）の高い物体位置（Ｚ）を求める。これにより、エッジ各点（Ｘ_i，Ｙ_i）でのＺを検出することができる。

具体的には、まず、注目しているエッジ位置である注目エッジ位置（Ｘ_i，Ｙ_i）と、その近傍画素の信号強度ｆ_i,jを検出する。次に、それらのエッジについて、多数の物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の画像群の中から、同じエッジ位置（Ｘ_i，Ｙ_i）と、その近傍信号ｇ_i,j（Ｚ）が、ｆ_i,jと最も相関の高くなるときのＺを求める。

この相関の求め方は、各点の明るさやコントラストの違いを吸収するよく知られた正規化相関法を用いると好適であるが、例えば、計算時間を短縮できる差分絶対値の和、又は差分の二乗和を求める方法など、かかる相関を求めることができる方法であれば他の方法であってもよい。また、相関値の計算は、例えば、差分絶対値の和により相関を求める場合に、合焦時の差分絶対値の和で除算（規格化）して求めるなど、合焦時の値を用いることにより、各点の明るさやエッジ強度に依存しない、焦点ずれだけを反映させた規格化値とすることができる。

そして、例えば、下記の式（５）又は式（６）の値が最も小さくなるときのＺを求める。

これにより、物体の各エッジ座標（Ｘ_i，Ｙ_i）位置でのＺが求められる。

なお、ここでは、撮像素子１３から出力される画像信号に対し、直接画像処理を施す例について説明したが、エッジ信号を際立たせ、検出誤差を低減する目的で、画像の前処理を施してもよい。例えば、各画像を、フーリエ変換とハイパスフィルタを組み合わせた処理や、ソーベルフィルタ、あるいはラプラシアンフィルタと呼ばれるデジタル微分フィルタなどの画像処理をすることにより、輪郭部だけを強調した、いわゆるエッジ画像を得ることができるので、その後、上記の相関処理を行えばよい。

また、相関を計算する際には、先述した場合と同様に、図１０に示したような補間処理を用いて求めることも可能である。

以上のように、多焦点逐次処理法では、画像信号の強度のみでエッジ位置を特定（光軸方向でピントの合った画像を特定）しようとすると、本来の特定すべきエッジが強いボケ光によって検出できない場合が生じるので、これを避けるために、全焦点画像を用いた相関処理を行っている。

（３−２）全焦点エッジ抽出法
次に、画像のエッジを検出する方法として、全焦点エッジ抽出法を用いた場合について説明する。

上記の（３−１）の多焦点逐次処理法では、一旦、多数の焦点画像群を形成した後に、フーリエ変換などの処理を行うため、どうしても処理時間がかかってしまう。また、エッジを検出する画像として、先の物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の画像群では、いずれもどこかに焦点面があり、その焦点からはずれた箇所はボケが生じ、全てのエッジを検出することは困難になる。そこで、全焦点エッジ抽出法では、MLA１２の中央のＭＬで結像される全焦点画像によって予め２次元画像上でエッジ位置が特定できることに着目し、特定したエッジ位置のみで光軸方向へエッジ位置の探索を行なう。つまり、全焦点画像の中の特徴（エッジ）を先に検出しておき、その検出されたエッジ位置に対応する位置の物体面の画像だけを生成し、その位置でのベストフォーカスとなるＺを検出すれば、処理する点が少なくて済み、演算の負担が少ないばかりでなく、演算時間が短くて済み、迅速な測定に寄与することができる。

具体的には、MLA１２の中央のＭＬで結像される全焦点画像を用いて、画像処理でよく知られている輪郭抽出のための３×３行列（一般的に微分オペレータと呼ばれる）を使ったエッジ抽出の演算処理を行う。例えば、ソーベルフィルタ（Sobel Filter）などを使って、Ｘ方向又はＹ方向で、画像中のエッジを検出する。なお、この方法は、特に、線のエッジ検出に有効である。また、スポットや交点などの点の検出には、二次微分に相当するラプラシアンフィルタ（Laplace Filter）を使ってもよい。これらは、被検物の段差など、何らかの構造や色、反射率の差などによるものである。全焦点エッジ抽出法では、検出されたエッジや点の位置（Ｘ_i，Ｙ_i）における、これらのフィルタで処理された値を、デフォーカス量として算出する。

そして、全焦点エッジ抽出法においては、画像のエッジのある各点（位置）に着目して、（３−１）と同様に、上記の多数の物体面（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）に対応する、このデフォーカス量の変化を算出する。これにより得られる値は、上記の図１０と同様のデータとなるため、これから信号のピーク、すなわち、ベストフォーカスとなるＺを求める。

このとき、先述した（３−１）の多焦点逐次処理法と同様に、合焦時のデフォーカス量で除算（規格化）することで、この全焦点エッジ抽出法においても、各点の明るさやエッジ強度に依存しないようにすることができる。なお、全焦点エッジ抽出法においては、かかる規格化を行うと好適ではあるが、必ずしもこの規格化を行う必要はない。

以上のように、上記の（３−１）の多焦点逐次処理法や、（３−２）の全焦点エッジ抽出法などのエッジ処理によって、物体の各エッジ座標（Ｘ_i，Ｙ_i）位置でのＺが検出される。なお、その後、検出された値を用いての距離測定処理が行われるが、その処理については、次の［４．距離測定手順］で説明する。

［４．距離測定手順］
（４−１）多数のフォーカス画像から物体位置を求める方法
上記の手順によって求められた、物体の各エッジ座標（Ｘ_i，Ｙ_i）位置でのＺを用いた距離測定が行われるが、その手順にはいくつかの方法があるが、ここではまず、多数のフォーカス画像（焦点面の位置が異なる多数の画像、すなわち、多数の仮想焦点面の画像）を生成し、その中からベストの焦点位置を求める方法について説明する。

ここで、仮想焦点面と共役な被検物像側の物体面の位置（・・・，Ｚ_-1，Ｚ₀，Ｚ₁，・・・）の値は、式（１）に基づき、対物レンズ１１と撮像素子１３の撮像面との間隔ａ、若しくは対物レンズ１１と仮想的な焦点面との間隔（ａ₁，ａ₂，ａ₃，・・・，ａ_n）によって一義的に決まる。

したがって、焦点面の位置（撮像面上にある場合も含む（すなわち、ａ₁，ａ₂，ａ₃，・・・，ａ_n））を定めれば、その位置に焦点が合うべき被検物の部位の位置がわかり、その部位までの距離ｂが式（１）を用いて求めることができる。その結果、求めた距離ｂの値と撮像素子１３から出力される２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の上記部分の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元の空間座標を決定することができる。

（４−２）２つの異なる焦点面の画像情報から物体位置を求める方法
上記の（４−１）の方法では、多数のフォーカス画像（多数の異なる焦点面を仮定した場合に得られる画像）を生成して、それぞれのフォーカス画像の中からベストの焦点位置の部分を検出するといった方法で、被検物の各部分までの距離を正確に測定することができる。そのためには、例えば、図１０のような多点情報からピークを検出する、というような手順が必要となる。図１０において、横軸Ｚは被検物までの距離、縦軸αは焦点の合っている程度（フォーカスの程度）を示している。この図から２次元画像のある座標（Ｘ，Ｙ）における焦点の合っている被検物の部位までの距離がαの最大値となるＺの値として求めることができる、ということがわかる。しかしながら、処理の手順が多く、処理に時間がかかる可能性が高い。

そこで、ここでは、別の方法として、少ない処理量で、高速化を図る測定手順について説明する。この方法においては、多数の画像を生成し、そこから得られる図１０のような多点情報からピークを検出するのではなく、最低２つの異なる焦点面の画像情報を用いて、両者の差分信号、すなわち、２つの位置でのデフォーカス量の差から、Ｚの位置を求める。そして、このＺは、対物レンズ１１から被検物までの距離ｂに対応するので、この値と撮像素子１３の２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状を測定することができる。

しかしながら、この方法で演算した値そのものだけでは、被検物の局所的な反射強度の差が影響する可能性が高い。すなわち、元の照明光の明るさ分布や、被検物の位置による反射率の違いによって信号強度は変化する。特に隣接した領域に明暗の差が著しい箇所があると、デフォーカス状態では両者の信号が混ざり合うため、エッジのピークを誤検出する可能性がある。

そこで、先述した方法と同様の考え方で、かかる演算処理で求められた演算値を、MLA１２の中央のＭＬにより結像された画像の各画素値で除算して規格化しておくことにより、局所エリア毎に、明るさ（光強度）によらない、規格化されたデフォーカスによるボケ量を得ることができる。

以上のようにして、本実施の形態においては、例えば、（４−１）又は（４−２）の方法によって、距離測定の処理が行われることで、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。

このように、本実施の形態においては、１回の撮像により得られる画像信号を用いて、被検物の３次元形状を計測できるので、従来のSFFのように、複数回の撮像が必要な場合と比べて、高速で計測を行うことが可能である。

［５．形状測定装置］
次に、上述した距離測定の処理を行って、被検物の３次元形状を測定する、本実施の形態に係る形状測定装置の構成について、図１１を参照して説明する。

図１１に示すように、形状測定装置は、対物レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、駆動回路３３、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１１において、対物レンズ１１ないし撮像素子１３は、先述した図１等の対物レンズ１１ないし撮像素子１３に対応している。

制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。また、制御回路３１は、図１１の形状測定装置の各部の動作を制御する。

駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。

演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。

演算処理回路３４は、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られる画像データから、被検物の３次元形状を測定する。かかる処理の詳細については、後述する図１２の演算処理回路３４の動作の説明の際に併せて説明する。

以上のようにして、形状測定装置は構成される。

次に、図１２のフローチャートを参照して、図１１の演算処理回路３４により行われる３次元形状測定処理について説明する。

演算処理回路３４は、ステップＳ１１において、駆動回路３３からの画像信号を取得し、ステップＳ１２において、焦点画像を生成する。具体的には、上記の［２．焦点画像生成の手順］で述べたように、演算処理回路３４は、図１ａの構成の場合には、（２−１）の方法によって、図１ｂの構成の場合には、（２−２）の方法によって、異なる角度からの光線を再構成して、焦点面の異なる複数の画像を生成する。

ステップＳ１３において、演算処理回路３４は、測定の信号処理を行う。具体的には、上記の［３．測定の信号処理手順］で述べたように、演算処理回路３４は、（３−１）の「多焦点逐次処理法」又は（３−２）の「全焦点エッジ抽出法」などのエッジ処理によって、常に焦点の合った全焦点画像を用いて、物体の各エッジ座標（Ｘ_i，Ｙ_i）位置でのＺを求める。

そして、演算処理回路３４は、ステップＳ１４において、距離測定の処理を行い、ステップＳ１５において、物体の３次元形状を測定し、処理は終了する。具体的には、上記の［４．距離測定手順］で述べたように、演算処理回路３４は、（４−１）の「多数のフォーカス画像から物体位置を求める方法」又は（４−２）の「２つの異なる焦点面の画像情報から物体位置を求める方法」によって、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。

以上のように、図１１の形状測定装置においては、演算処理回路３４によって、先述した、［２．焦点画像生成の手順］、［３．測定の信号処理手順］、［４．距離測定手順］が順に実行されることで、MLA１２の中央のＭＬによって結像された像から得られる全焦点画像を用いた信号処理が行われ、それにより得られる物体の各エッジ座標（Ｘ_i，Ｙ_i）位置でのＺから、被検物の表面の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状が測定される。

すなわち、図１ａに示したように、MLA１２が対物レンズ１１の射出瞳と共役となるように配置されている場合、演算処理回路３４は、複数のＭＬのうちの対物レンズ１１の光軸の位置（この対物レンズ１１の光軸は、対物レンズ１１の主光線の一部と一致している）にあるMLA１２の中央のＭＬにより撮像素子１３の撮像面上に形成された像から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元の形状を測定する。

なお、本実施の形態では、図１ａの構成を中心に述べたが、図１ｂに示したように、撮像素子１３の撮像面が対物レンズ１１の射出瞳と共役となるように配置されている場合には、演算処理回路３４は、対物レンズ１１の主光線が交わる撮像素子１３の撮像領域を構成する画素から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元形状を測定することになる。

［６．測定精度維持手順］
本実施の形態においては、測定センサ系を動かすか、あるいは、ズーム用のレンズを用いることによって、測定センサの機能アップを図ることができる。以下、この実施の形態について説明する。

図１３には、横軸をａ（レンズ位置）、縦軸をｂ（物体距離）とした場合において、対物レンズ１１の焦点距離ｆ＝25mmとして、レンズ位置ａの値を27 mmから45 mmまで変えたときの物体距離ｂの値をグラフ化したものが示されている。図１３において、横軸のａは、図中右方向にいくほど、レンズ位置ａの値が大きくなり、縦軸のｂは、図中上方向にいくほど、物体距離ｂの値が大きくなる。なお、このレンズ位置ａ，物体距離ｂは、上記の式（１）のガウスの公式におけるａ，ｂに相当する。

このグラフからも明らかなように、被検物までの物体距離ｂの値は、レンズ位置ａの値によって大きく異なる。

すなわち、図１３によれば、レンズ位置ａの値が小さくなると、物体距離ｂは急激に遠ざかる（距離が広がる）とともに、いわゆる被写界深度が深くなり、物体距離ｂの変化に対するフォーカス情報の感度が低下することがわかる。

実際の測定においては、被検物と対物レンズ１１との間の作動距離が十分とれず、被検物が大きいために測定範囲から外れてしまったり、被検物まで近寄れなかったりする場合が生ずる。このような場合、大きな被検物の形状を一度に測定したり、作動距離が変わっても同じ精度で測定することが装置の機能アップにつながる。

そこで、本実施の形態では、対物レンズ１１としてズームレンズを用いる。以下、ズームレンズを用いた例を説明する。

ズームレンズでは遠くの被検物を拡大したり、近くの被検物を縮小したりする。この際、対物レンズ１１の焦点距離ｆに最適のレンズ位置ａがあるから、レンズ位置ａを最適な値とするために、レンズ位置ａの値を変えられるようになっていることが好ましい。

このような形態を有する形状測定装置は、例えば、図１４に示すような構成となる。

なお、図１４において、図１１と対応する箇所には同一の符号が付してあり、処理が同じ部分に関しては、その説明は省略する。

対物レンズ１１は、焦点距離が可変のズームレンズとして構成されている。このズームレンズの構成は、一眼レフカメラ用のズームレンズ等として、公知のものを用いることができる。そして、このズームレンズでは、被検物までの焦点も合わせることができる。そのため、ズームレンズは、図１４に示すように、ズーム用レンズＺＬと合焦用レンズＦoＬとを含む。

ズーム用レンズ駆動装置５１は、制御回路３１の制御にしたがって、対物レンズ１１を構成する複数のレンズのうちのズーム用レンズＺＬを、対物レンズ１１の光軸方向（図中の左右方向）に移動させることにより、対物レンズ１１の焦点距離ｆを変化させる。すなわち、ズーム用レンズＺＬの移動によって、対物レンズ１１の焦点距離ｆが変化することで、被検物の像の大きさを拡大又は縮小させることが可能となる。

また、合焦レンズ駆動装置５２は、制御回路３１の制御にしたがって、対物レンズ１１を構成する複数のレンズのうち、合焦レンズＦoＬを移動させることにより、被検物に焦点を合わせる。

このように、ズーム用レンズＺＬを用いることで対物レンズ１１の焦点距離ｆを変えて被検物の倍率を変え、合焦レンズＦoＬによって、この被検物に焦点を合わせることで、被検物との距離（作動距離）が変化したとしても、最適な状態で測定を行うことが可能となる。

このような構成であるから、図１４に示すように、例えば、CPU４１によって、制御回路３１と演算処理回路３４が構成されているとすると、このCPU４１に、図１５に示すフローチャートにしたがって、ズーム用レンズ駆動装置５１や合焦レンズ駆動装置５２などを制御させる。

ステップＳ３１において、ユーザインターフェース３２から供給される測定開始命令により、CPU４１は、駆動回路３３を制御して、撮像素子１３から画像信号を取り込む。

ステップＳ３２において、CPU４１は、取り込んだ画像信号から被検物Ｈまでの距離を測定する。ここでは、最初に、対物レンズ１１の光軸と一致する被検物Ｈの合焦ポイントＰ１までの距離が測定される。

ステップＳ３３において、CPU４１は、合焦ポイントＰ１に合焦するように、制御信号を合焦レンズ駆動装置５２に出力する。すると、合焦レンズ駆動装置５２は、CPU４１からの制御信号に応じて、対物レンズ１１の合焦レンズＦoＬを合焦のために制御する。具体的には、図１ａの光学系の場合には、撮像素子１３の撮像面（表面）と合焦ポイントＰ１とが共役になるように、また、図１ｂの光学系の場合は、MLA１２の各ＭＬの表面と合焦ポイントＰ１とが共役になるように、制御回路３１は、合焦レンズ駆動装置５２を制御する。

ステップＳ３４において、CPU４１は、被検物Ｈを最適な状態で測定できるようにする。具体的には、撮像素子１３の撮像面に被検物Ｈが入っていて、かつレンズ位置ａの値が最適な範囲となっている場合、既に被検物Ｈを最適に測定できる状態にあるので、CPU４１は特に処理を実行せず、処理はステップＳ３５に進む。

なお、「レンズ位置ａの値が最適な範囲にある場合」の意味は、図１３を参照して説明した通りであるのでここではその説明は省略する。ただし、図１３のカーブは、式（１）から明らかなように、対物レンズ１１の焦点距離ｆに依存している。したがって、焦点距離ｆの値が大きくなる（望遠になる）ほど、レンズ位置ａの変化に対する物体距離ｂの変化が小さくなる。すなわち、特に、物体距離ｂが大きくなったときの測定感度が向上することになる。

一方、被検物Ｈを最適に測定できる状態にない場合には、CPU４１は、被検物Ｈが撮像素子１３の撮像面からはみ出しているか否かを判定し、被検物Ｈが撮像面からはみ出ていると判定した場合、被検物Ｈが撮像面に入るように、ズーム用レンズ駆動装置５１に制御信号を出力し、対物レンズ１１のズーム用レンズＺＬを移動させ、対物レンズ１１の焦点距離ｆを小さくする（広角にする）。

なお、対物レンズ１１の焦点距離ｆを小さくして測定する場合、設定した広角の焦点距離ｆに応じて、レンズ位置ａと物体距離ｂとの関係が決まるので、CPU４１は、所望の感度（レンズ位置ａの変化に対する物体距離ｂの変化、すなわち、測定精度ともいえる）が得られるように、合焦レンズ駆動装置５２に制御信号を出力し、合焦レンズＦoＬを移動させる。一般的に、広角になるほど、焦点深度が深くなって物体距離ｂの変化を検出し難くなるので、合焦レンズＦoＬを移動させても所定の測定精度が得られない場合がある。その場合には、作動距離を変えるために、被検物Ｈを遠ざけるか、あるいは被検物Ｈから離れて測定する必要がある。それができない場合には、最適な焦点距離ｆとレンズ位置ａを設定して、被検物Ｈを分割測定する必要がある。分割測定した画像をつなぎ合わせる技術は既に画像処理技術として周知であり、CPU４１は、被検物Ｈを分割測定した後、この技術を用いて分割測定した画像を接続することができる。

また、CPU４１は、被検物Ｈが撮像素子１３の撮像面からはみ出ておらず、撮像面内にあると判定した場合、さらに、その撮像面内にある被検物Ｈが、撮像面に対して小さいか否かを判定する。すなわち、被検物Ｈが撮像面に対して小さい場合には、測定精度が悪くなるので、CPU４１は、撮像面内にある被検物Ｈが撮像面に対して小さいと判定した場合には、被検物Ｈが撮像面から外れない程度に、対物レンズ１１の焦点距離ｆを大きく（望遠）すべく、ズーム用レンズ駆動装置５１に制御信号を出力してズーム用レンズＺＬを移動させる。なお、対物レンズ１１の焦点距離ｆを変化させることで、レンズ位置ａと物体距離ｂとの関係が最適な範囲から外れた場合には、CPU４１は、合焦レンズ駆動装置５２に制御信号を出力し、レンズ位置ａの値が最適な範囲に入るように設定する。

そして、CPU４１は、ステップＳ３５において、最適に測定できる状態にある被検物Ｈの測定点までの距離（Ｚ）を求め、ステップＳ３６において、測定点の撮像面上での位置（Ｘ，Ｙ）とから、最適に測定できる状態にある被検物Ｈの各測定点の空間座標（Ｘ，Ｙ，Ｚ）を測定し、被検物Ｈの３次元の形状を求める。この際、対物レンズ１１の焦点距離ｆ、各測定点までの距離を勘案して各測定点の補正を行っていくことは当然である。

以上のようにして、CPU４１によって、ズーム用レンズ駆動装置５１や合焦レンズ駆動装置５２などの制御が実行される。これにより、対物レンズ１１の光軸に沿って、被検物Ｈを移動することなく、かつ最適な状態で被検物Ｈの形状を測定することができる。

ところで、上記の説明は、一般的なものであって、通常は、目視等により被検物Ｈは予め分かっているので、作動距離が略適正になるように、被検物Ｈと装置との位置関係を定めてから、測定を開始することになる。従って、対物レンズ１１の焦点距離ｆを大きく変えたり、レンズ位置ａを大きく変えることは、現実には少ない。

また、上記の説明では、焦点距離ｆの変化、レンズ位置ａの変化を、CPU４１により制御する例で説明したが、撮像素子１３の出力する画像信号に対応する画像をモニタ３６に表示し、ユーザがモニタ３６に表示された画像を見ながら、焦点距離ｆやレンズ位置ａを調整するようにしてもよい。勿論、この場合、モニタ３６には、先述した各種の測定値も表示されることになる。

なお、図１４においては、CPU４１は、制御回路３１と演算処理回路３４から構成されるとして説明したが、図１４の構成の一部について、CPU４１、ユーザインターフェース３２、メモリ３５、及びモニタ３６から構成されるパーソナルコンピュータであると捉えることもできる。その場合、パーソナルコンピュータは、モニタ３６に表示された画像を見ながら操作を行う操作者の指示にしたがって、ズーム用レンズ駆動装置５１や合焦レンズ駆動装置５２を制御することになる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。

さらに、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した光学系の概要を説明する図である。光学系のさらに詳細な構成について説明する図である。ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像であることを示す図である。対物レンズとMLAでの光線の追跡結果を示す図である。 MLAで結像された撮像素子面における画素配列を示す図である。 MLAを対物レンズの結像面とした場合（Ｚ＝０）の構成の例を示す図である。 MLAを対物レンズの結像面とした場合（Ｚ＝ｈ₁）の構成の例を示す図である。全焦点画像の例を示す図である。画像群のフーリエ変換法を用いた信号処理の流れを示す図である。サンプリング点のエッジの傾き成分をグラフ化した図である。本発明を適用した形状測定装置の一実施の形態の構成を示す図である。３次元形状測定処理について説明するフローチャートである。レンズ位置と物体位置との関係を示す図である。本発明を適用した形状測定装置の一実施の形態のさらに他の構成を示す図である。被検物Ｈを最適な状態で測定する３次元形状測定処理について説明するフローチャートである。

符号の説明

１１対物レンズ，１２ MLA，１３撮像素子，３１制御回路，３２ユーザインターフェース，３３駆動回路，３４演算処理回路，３５メモリ，３６モニタ，４１ CPU，５１ズーム用レンズ駆動装置，５２合焦レンズ駆動装置，ＭＬマイクロレンズ，ＦＬフィールドレンズ，ＦoＬ合焦レンズ，ＺＬズーム用レンズ

Claims

対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と、
前記対物レンズの焦点距離を変化させる焦点距離可変手段と、
前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の形状を測定する形状測定手段と
を備えることを特徴とする形状測定装置。
前記対物レンズの合焦位置を変化させる合焦位置可変手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。
前記形状測定手段は、前記対物レンズの視野の略中心にある前記被検物までの距離情報を求め、
前記合焦位置可変手段は、前記形状測定手段により測定された前記距離情報に基づき前記合焦位置を制御する
ことを特徴とする請求項２に記載の形状測定装置。
前記形状測定手段は、前記被検物までの距離と、前記対物レンズの倍率とを考慮して、前記被検物の形状を測定する
ことを特徴とする請求項３に記載の形状測定装置。