JP2006301010A

JP2006301010A - 撮像システム

Info

Publication number: JP2006301010A
Application number: JP2005118426A
Authority: JP
Inventors: Yoshiki Sasaki; 孝樹佐々木; Zenjiro Shindo; 善二郎新藤; Kazumasa Nomura; 和正野村; Yoshinori Tabata; 能徳多幡; Chanso Kim; チャンソキム; Hiroyuki Yamamiya; 広之山宮
Original assignee: Azbil Corp; SIGMAKOKI Co Ltd
Current assignee: Azbil Corp; SIGMAKOKI Co Ltd
Priority date: 2005-04-15
Filing date: 2005-04-15
Publication date: 2006-11-02

Abstract

【課題】対象物の表面位置を素早く高精度に検出して、例えばその撮像光学系を正確に合焦させることのできる撮像システムを提供する。
【解決手段】対象物を撮像する撮像素子と、前記撮像素子に対象物を結像させる光学系と、前記光学系の焦点と前記対象物との相対位置を電動で調節可能に構成した焦点調節手段と、前記撮像素子の信号を解析する制御装置とを備え、特に光学系を、同軸で落射する照明機構を備えて該光学系の焦点面にレチクルの像を投影するようにし、一方、前記制御装置を、前記撮像素子にて繰り返し撮像された画像の信号を逐次フーリエ変換し、振幅抑制処理を行い、逆フーリエ変換を行った後に自己相関を求め、この自己相関から第一評価値を求め、この第一評価値に基づいて優れた画像が選択されるように焦点調節手段を制御するように構成する。
【選択図】図１

Description

本発明は、例えば撮像対象物が無地の鏡面であっても、簡易に、しかも正確に合焦させることのできる撮像システムに関する。

検査対象物等を撮像してその画像を拡大表示したり、その形状や寸法を計測するような場合、撮像光学系の結像面と撮像素子の位置とが一致するように、上記検査対象物の表面（物体面）と撮像光学系との位置関係を正確に合わせることが重要である。この調整操作は、一般に焦点合わせ（合焦）、或いはフォーカシングと称され、これを自動化したものはオートフォーカスと称される。ちなみに従来一般的には、撮像対象物の表面における凹凸形状や模様等の濃淡情報を検出する等してオートフォーカス制御を行っている。

しかしながら金属体のように無地で滑らかな表面を有する対象物や、ガラスのような透明な対象物を撮像するような場合、上述した濃淡情報を含む画像を得ることが困難なので上述したオートフォーカス制御を行うことが難しい。そこでこのような不具合を解決するべく、撮像光学系にその光軸方向に分布して結像する模様のレチクルを落射し、対象物の表面に投影されたレチクルの像を上記撮像光学系にて撮像したとき、該レチクルの模様が鮮明に結像する位置を合焦位置として検出してオートフォーカス制御を行うことが提唱されている（例えば特許文献１を参照）。
特開２００３−３１５６６６号公報

しかしながら特許文献１に示されるように、撮像光学系の光軸に対して傾斜させて結像させたレチクルの像からその模様が鮮明な位置を検出する場合、例えばレチクルの像をスキャンしてその模様のコントラストが最も強くなる位置を見出すことが必要となる。これ故、レチクル像の解析処理に時間が掛かることが否めず、またその処理速度の高速化を図るにも限界がある。更には撮像光学系の解像度によってレチクルの像（模様）の分解能が左右されるので、その位置検出精度を高めるにも限界がある。しかも対象物がガラスのような透明体である場合、その表面にレチクルの像（模様）を結像させることができないので、上述した手法を採用することができないと言う問題がある。

本発明はこのような事情を考慮してなされたもので、その目的は、例えば撮像対象物が無地の鏡面であっても、或いはガラスのような透明体であっても、その表面位置を素早く高精度に検出して、例えばその撮像光学系を調整して簡易に、しかも正確に合焦させることのできる撮像システムを提供することにある。

上述した目的を達成するべく本発明に係る撮像システムは、対象物を撮像する撮像素子と、前記撮像素子に対象物を結像させる光学系と、前記光学系の焦点と前記対象物との相対位置を電動で調節可能に構成した焦点調節手段と、前記撮像素子の信号を解析する制御装置とを備えた撮像システムに係り、
特に請求項１に記載の撮像システムは、前記光学系は、同軸で落射する照明機構を備えて前記光学系の焦点面近傍にレチクルの像を投影し、前記制御装置は、前記撮像素子にて繰り返し撮像された前記レチクルの画像の信号を逐次フーリエ変換し、振幅抑制処理を行い、逆フーリエ変換を行った後に自己相関を求め、この自己相関から第一評価値を求め、この第一評価値に基づいて焦点調節手段を制御するように構成されることを特徴としている。

また請求項２に記載の撮像システムは、前記光学系は、同軸で落射する照明機構を備えて前記光学系の焦点面近傍にレチクルの像を投影し、前記制御装置は、前記撮像素子にて繰り返し撮像された前記レチクルの画像の信号を逐次フーリエ変換し、各画素における振幅成分を求め、所定の範囲の画素における振幅成分を合計して第二評価値を求め、この第二評価値に基づいて焦点調節手段を制御するように構成されることを特徴としている。

更に請求項３に記載の撮像システムは、前記光学系は、同軸で落射する照明機構を備えて前記光学系の焦点面近傍にレチクルの像を投影し、前記制御装置は、前記撮像素子にて繰り返し撮像されたレチクルの画像の信号を逐次フーリエ変換し、振幅抑制処理を行い、逆フーリエ変換を行った後に自己相関を求め、この自己相関から第一評価値を求める一方、上記フーリエ変換後に所定の範囲の画素における振幅成分を合計して第二評価値を求め、これらの第一および第二評価値に基づいて焦点調節手段を制御するように構成されることを特徴としている。

尚、請求項４に記載するように前記光学系を、同軸で落射する照明機構を備え、前記光学系の焦点面の前と後ろに２つの異なるレチクルの像をそれぞれ投影するように構成しても良い。この場合、請求項５に記載するように前記２つのレチクルを、互いに方向成分の異なるパターンをそれぞれ有するものとし、前記制御装置においては前記撮像素子の信号から前記各方向成分をそれぞれ抽出することによって、焦点の調節方向を制御することが望ましい。

また請求項６に記載するように前記制御装置については、予め登録しておいた画像と前記撮像素子によって撮像された画像の相関信号によって焦点を調節するように構成することも望ましい。更には前記光学系は、その光学系の全体（光学鏡筒）を光軸方向に移動させるものに限らず、例えば請求項７に記載するように電動で光軸方向に移動可能なレンズを有するものであれば良い。また請求項８に記載するように前記制御装置においては、前記第一評価値および／または第二評価値が最大となるように光学系の焦点を調節するようなものであれば良い。

上述した構成の撮像システムによれば、撮像光学系に同軸で落射する照明機構を備え、対物レンズの焦点面にレチクルの像を投影するようにしているので、その光学系の焦点近傍に撮像対象物が存在すれば、撮像対象物の無地の鏡面であっても、或いはガラスのような透明体であってもその表面に上記レチクルの像が結像する。従ってこのレチクルの像を前記撮像素子にて撮像することができる。但し、対象物の表面が光学系の焦点からずれている場合には、そのずれ量に応じてレチクルの像に、いわゆる“ぼけ”が生じる。

本撮像システムは、上述した如く撮像したレチクルの像の画像信号の周波数成分が上述した“ぼけ”の程度によって変化することに着目して、上記周波数成分から画像の焦点からのずれ量を求め、このずれ量に従って焦点調節機構を駆動してオートフォーカス（合焦）制御を実行している。即ち、レチクルの像が結像する位置に対象物の表面が存在し、これによって対象物の表面に鮮明なレチクル像が映し出されているときには、このレチクル像の高周波成分が強くなり、逆に対象物の表面が上記レチクルの像が結像する位置からずれており、対象物の表面に映し出されたレチクル像に“ぼけ”が生じている場合には、そのレチクル像の高周波成分が弱くなる。前記制御装置においてはこのようなレチクル像の周波数成分に着目して、レチクル像を撮像した画像をフーリエ変換することでその周波数解析を行い、対物レンズの焦点面からの前記対象物表面のずれ量を求めている。

具体的には請求項１に記載する撮像システムにおいては、撮像画像をフーリエ変換し、そのフーリエ変換画像に振幅抑制処理を施した後、この画像を逆フーリエ変換を行った後にその自己相関を求め、この自己相関から第一評価値を求めることで、前記レチクルの像の“ぼけ”の程度を評価し、この第一評価値に基づいて焦点調節機構の作動を制御するものとなっている。

また請求項２に記載する撮像システムにおいては、撮像画像をフーリエ変換したフーリエ変換画像の各画素における振幅成分を求め、所定の範囲の画素における振幅成分を合計することで前記レチクルの像の“ぼけ”の程度を評価し得る第二評価値を求め、この第二評価値に基づいて焦点調節機構の作動を制御している。
更に請求項３に記載する撮像システムにおいては、上述した第一評価値と第二評価値とをそれぞれ求め、これらの第一評価値および第二評価値に基づいて優れた画像が選択されるように焦点調節手段の作動を制御するものとなっている。

従って上述したようにレチクルの像を撮像した画像を制御装置においてフーリエ変換し、その周波数成分を解析して求められる画像の“ぼけ”を示す評価値に基づいて前記対象物に対する光学系の焦点位置合わせを実行する撮像システムによれば、仮に対象物が無地の鏡面であっても、或いはガラスのような透明体であっても、その表面に結像させたレチクルの像を撮像した画像を焦点制御の指標として用いて焦点調整を行うことができるので、高速度にしかも高精度な合焦を簡易に実現することができる。

また請求項４に記載するように光学系の焦点の前と後ろに２つの異なるレチクルの像をそれぞれ投影するようしておけば、これらの各レチクルの像をそれぞれ撮像した画像を解析して求められるずれ量からずれの方向性を判定することができるので、焦点調整を的確に行うことができる。特に請求項５に記載するように前記２つのレチクルを、互いに方向成分の異なるパターン（模様）をそれぞれ有するものとしておけば、これらの各パターン（模様）の方向性に着目して上記２つのレチクルの像を独立に解析することができるので、その演算処理負担を軽減することが可能となる等の効果が奏せられる。

また請求項６に記載するように予め登録しておいた画像と前記撮像素子によって撮像された画像の相関信号によって焦点を調節すれば、不本意なノイズを容易に除去して高精度な焦点調整が可能となる。更に対物レンズを光軸方向に電動で移動可能に設けておけば、光学鏡筒や対象物を光軸方向に移動させて焦点調整を行う場合よりも、その動負担を軽減することが可能となる。

以下、図面を参照して本発明の実施形態に係る撮像システムについて説明する。
図１は第１の実施形態に係る撮像システムの概略的な光学系の構成を示している。この光学系は、基本的には対象物Ｓを撮像素子１にて撮像する撮像光学系Ａと、上記対象物Ｓを均一に照明する照明光学系Ｂとを同軸に備えたもので、対物レンズ２を光軸方向に移動させてその焦点調整を行うように構成されている。ちなみに上記撮像光学系Ａと照明光学系Ｂとは第１のビームスプリッタ３を介して分岐されており、撮像光学系Ａは第１のビームスプリッタ３にて反射された前記対象物Ｓの像を結像レンズ４を介して撮像素子１に結像するように構成されている。また照明光学系Ｂは、いわゆるケラー照明を応用したもので、光源５から発せられた光を集光レンズ６，照明レンズ７を介して均一化してレチクル１０に照射し、レチクル１０からの透過光を結像レンズ８および対物レンズ２を介して対象物Ｓの表面に結像させるように構成される。また互いに離間した結像レンズ８と対物レンズ２との間には上記ビームスプリッタ３が配置されている。

尚、前記撮像光学系Ａには第２のビームスプリッタ９が介挿されており、この撮像光学系Ａの側方から上記第２のビームスプリッタ９を介して、例えば加工用レーザ光（平行光束）Ｌが導入されて前記対象物Ｓに照射されるようになっている。この加工用レーザ光Ｌも、その光軸が上述した照明光学系Ｂと同軸に設定されており、対物レンズ２の焦点に収束するように照射される。従って対物レンズ２の焦点（即ち、この光学系における結像位置）が対象物Ｓの表面に合致したとき（即ち、合焦したとき）、レーザ光Ｌも対象物Ｓの表面に点状に集光されて対象物Ｓの表面を加工する。

さて基本的には上述した如く構成される光学系において、この実施形態に係る撮像システムが特徴とするところは、前記照明光学系Ｂの照明レンズ７と結像レンズ８との間にレチクル１０を設け、このレチクル１０を透過した光を結像レンズ８から対物レンズ２を介して投射するように構成した点にある。特に上記レチクル１０は、対物レンズ２の焦点と共役となる前記結像レンズ８の焦点に配置され、これによって対物レンズ２の焦点面にレチクル１０の像が投影されるようになっている。従って対物レンズ２の焦点面に対象物Ｓが存在すれば、その表面にレチクル１０の像が鮮明に投影される。しかし対象物Ｓが上記対物レンズ２の焦点面の前または後ろにずれている場合には、そのずれ量に応じて対象物Ｓの表面に投影されるレチクル１０の像の鮮明度が損なわれて、いわゆる“ピンぼけ”を生じることになる。即ち、対象物Ｓが対物レンズ２の焦点面に存在しておれば、その表面に投影された像が極めて鮮明となり、後述する第一評価値および第二評価値が大きくなる（以下、第一評価値および第二評価値の少なくとも一方を総称して評価値Ｆと言う）。しかし対象物Ｓが対物レンズ２の焦点面の前後にずれるに従って、その表面に投影された像に“ぼけ”が生じるので、評価値Ｆが小さくなる。この様子を対物レンズ２の位置Ｚに対する評価値Ｆのグラフとして図１右下に示す。ここでは評価値Ｆはレチクル１０に対応して一つの山形の曲線として表される。後述する焦点調節機構を用いて対物レンズ２の位置Ｚを微動しながら複数の画像を撮像し、評価値Ｆの値が最も大きくなる位置を探すこと（いわゆる山登り法）で合焦位置を決定する。即ち、最も鮮明な画像が得られる位置において対物レンズ２の焦点面が対象物Ｓの表面と一致する。或いは上記曲線が既知であれば評価値Ｆに対応して対物レンズ２の位置Ｚの候補値を２つ求めることができ、合焦位置（すなわちピーク位置）Ｚ０とのずれ（大きさ及び方向）の候補値を２つ求めることができるので、これらの候補値に基づいて対物レンズ２の位置を試行的に変化させれば、いずれかの候補値において合焦を得られる。即ち、２回以下の試行で合焦を得られることになる。

ちなみにレチクル１０は、例えば間隔ｄｍの縦縞模様（レチクルパターン）１０ｘをその表面に形成した透明体からなる。またこのレチクルパターン１０ｘの間隔ｄｍは、対物レンズ２の焦点距離をｆ１、結像レンズ８の焦点距離をｆ２としたとき、該対物レンズ２の開口数等によって定まる解像度に対して
ｄｍ×（ｆ１／ｆ２）≧［対物レンズ２の解像度］
なる関係を満たすように設定される。

尚、上述した光学系においては、照明光学系Ｂの前記対物レンズ２の焦点位置と共役となる結像レンズ８の焦点位置に１枚のレチクル１０を配置し、このレチクル１０の像を投影するようにしたが、例えば図２に示すように２枚のレチクル１０ａ,１０ｂをその焦点を挟む近傍においてその焦点からそれぞれ等距離の位置に設け、これらの各レチクル１０ａ,１０ｂの像を対物レンズ２の焦点面の前および後ろにそれぞれ結像させるようにしても良い。

この場合、対象物Ｓが上記対物レンズ２の焦点面の前および後ろの前記各レチクル１０ａ,１０ｂの像の結像位置に存在すれば、対象物Ｓの表面に投影された像が最も鮮明となる。そして対象物Ｓが上記像の結像位置（対物レンズ２の焦点面の前および後ろ）からずれるに従ってその像に“ぼけ”が生じ、不鮮明となる。
合焦位置Ｚ０は２つの結像位置の間に存在しているので、そこではレチクル１０ｘ,１０ｙの像はいずれも不鮮明になる。この様子を、対物レンズ２の位置Ｚに対する評価値Ｆのグラフとして図２右下に示す。ここでは評価値はレチクル１０ｘ,１０ｙについてピーク位置の異なる同形状の二つの山形の曲線として表され、対物レンズ２の位置Ｚに対して一対の評価値Ｆが一義的に決まる。またこの例では二つの曲線の交点が合焦位置である。従ってこの２つの曲線が既知であれば、一対の評価値Ｆから対物レンズ２の位置Ｚを一義的に求めることができ、合焦点位置からのずれ（大きさ及び方向）を求めることができる。具体的には、先ず対物レンズ２の位置は固定したままで照明レンズ７と結像レンズ８との間の所定位置にレチクル１０ｘのみを配置して撮像し、後述の手順で評価値Ｆ１を求める。次に対物レンズ２の位置は動かさずにレチクル１０ｘを光路から取り除くと共にレチクル１０ｙを光路の所定位置に配置して撮像し、同様に評価値Ｆ２を求める。そしてこれら一対の評価値Ｆ１,Ｆ２から対物レンズ２の現在の位置Ｚを求め、合焦位置Ｚ０からのずれを求める。次いで以下に述べる焦点調節機構を用いて、ずれを解消するように対物レンズ２の位置を動かすことで合焦を得る。この場合、対物レンズ２を一度動かすだけで合焦を得られる。

ここで前述した焦点調節機構３０について簡単に説明すると、この焦点調節機構３０は概略的には、例えば図３(ａ)(ｂ)(ｃ)にその正面図、Ａ-Ａ断面図、およびＢ-Ｂ断面図として示すように構成される。この焦点調節機構３０は、主として固定ユニット３１と、この固定ユニット３１に移動自在に支持された移動ユニット３２とからなる。固定ユニット３１は、図示しない装置本体に対して固定ジョイント３９のねじ部４０を介して着脱自在に固定される。また対物レンズ２を支持した光学鏡筒３３は、対物レンズジョイント４１のねじ部４２を介して、上記移動ユニット３２に着脱自在に固定されている。ちなみに移動ユニット３２の移動方向は、上記対物レンズ２の光軸と一致するように設定されている。また前記対物レンズジョイント４１は、移動ユニット３２に対して着脱自在に固定されている。

さて一般に対物レンズ２を支持する光学鏡筒３３には、顕微鏡の規格にあるＭ２０.３２のねじが設けられていることが多い。従って上記ねじ部４２もこれに合わせておくことで様々な対物レンズに対応させることができる。また固定ユニットのねじ部４０もこれと同様に定めておくことで、例えば焦点調整が不要な場合には焦点調節機構３０を取り外し、装置本体のねじ部に光学鏡筒３３を直接取り付けることが可能となる。またここでは対物レンズジョイント４１を移動ユニット３２に対して着脱自在に取り付けているので、例えば光学鏡筒３３のねじ径が異なる場合には、そのねじ径に対応した対物レンズジョイントを４１を用いることでその取り付けが可能となり、焦点調整機構３０そのものを交換する必要がなくなる。同様に装置本体のレジ部４０のねじ径が異なる場合には、固定ジョイント３９を当該ねじ径に対応したものに変更することでその取り付けが可能となり、焦点調整機構３０そのものを交換する必要がなくなる。

また前記移動ユニット３２は、一対のリニアガイド３４,３４を介して前記固定ユニット３１に上下動自在に支持されている。またこの移動ユニット３２の内部に組み込まれたモータ３５の回転軸には送りねじ３６が同軸に装着されており、この送りねじ３６は前記固定ユニット３２に組み込まれたナット体３７に螺合させて設けられている。そしてモータ３５により送りねじ３６を回転させることで、ナット体３７に螺合した送りねじ３６が前記固定ユニット３１に対してその軸方向に進退し、これに伴って前記リニアガイド３４,３４により支持された移動ユニット３２が上下動するようになっている。また前記送りねじ３６には、円盤状のノブ３８が同軸に装着されており、このノブ３８を廻すことによって前記移動ユニット３４を手動で上下動させ得るようになっている。

一方、このような焦点調節機構３０のモータ３５の作動を制御して移動ユニット３２を上下動させ、該移動ユニット３２に支持された光学鏡筒３３、ひいてはこの光学鏡筒３３に組み込まれた対物レンズ２をその光軸方向に進退させて焦点調整を実行する制御装置２０は、例えばマイクロコンピュータを主体として構成される。即ち、この制御装置２０は、前記撮像素子１にて繰り返し撮像される前述したレチクル１０（１０ａ,１０ｂ）の像（レチクルパターン）１０ｘ（１０ｙ）を逐次フーリエ変換することでその周波数成分を解析し、その解析結果に基づいて前記焦点調節機構３０の作動を制御するように構成される。

さて前記対象物Ｓの表面に投射され、前記撮像素子１にて撮像して求められた前記レチクル１０の像１０ｘを解析する前記制御装置２０は、次のように構成される。即ち、この制御装置２０は、例えば対象物Ｓの像をフーリエ変換（ＦＦＴ）し、例えばそのフーリエ変換画像に振幅抑制処理を施した後、その画像を逆フーリエ変換（ＩＦＦＴ）して元の画像との自己相関を求め、この自己相関から求められる第一評価値に従って前記焦点調節機構３０の作動を制御することで、オートフォーカス制御を実行するように構成される。或いは前記制御装置３０は、フーリエ変換画像の各画素における振幅成分を求め、所定の範囲の画素における振幅成分を合計して第二評価値を求め、第二評価値に従って前記焦点調節機構３０の作動を制御し、これによってオートフォーカス制御を実行するように構成される。

尚、上記第一評価値と第二評価値とを所定の重み付けを施して抽出し、これらの各評価値を総合判定して前記焦点調節機構３０の作動を、つまりオートフォーカス制御を実行するように前記制御装置２０を構成することも可能である。また第一評価値に基づいて前記焦点調節機構３０の作動を制御し、これによってオートフォーカス制御に対する粗調整を行った後、第二評価値に基づいて上記オートフォーカス制御の微調整を行うように前記制御装置３０を構成することも可能である。

具体的には上述した第一評価値は、例えば図４に示す処理手順に従って求められる。
先ず撮像素子１から読み出した１番目の画像に２次元離散的フーリエ変換（ＦＦＴ）を施し［ステップＳ１］、フーリエ画像データを作成する。そしてこのフーリエ画像データに振幅抑制処理を施す［ステップＳ２］。具体的には振幅抑制処理として、対数変換処理（ｌｏｇ処理）を行う。尚、振幅抑制処理は、上述したｌｏｇ処理や開平方処理（√処理）に限らず、振幅を抑制することができればどのような処理でも良い。また振幅抑制で全ての振幅を、例えば“１”にすると、即ち、位相のみの情報にすると、ｌｏｇ処理や√処理に比べてその計算量を減らすことができるという利点、また処理データ量が少なくなるという利点がある。

次にこの振幅抑制処理を施したフーリエ画像データに２次元離散的逆フーリエ変換（ＩＦＦＴ）を施し［ステップＳ３］、実空間の画像（以下、この画像を「評価画像」と呼ぶ）に戻す。この時、振幅抑制処理を施したフーリエ画像データにＩＦＦＴを施す過程で生じる量子化誤差により、外乱（ＦＦＴ演算によって生じやすいノイズ）が評価画像に与えられる。

このようにして評価画像を得た後、この評価画像とその元となった画像との相関を計算する［ステップＳ４］。即ち、評価画像に再びＦＦＴを施し、このＦＦＴを施した評価画像のフーリエ画像データとＩＦＦＴを施す前のフーリエ画像データ（ステップＳ３における振幅抑制処理が施されたフーリエ画像データ）とを合成し、この合成したフーリエ画像データに再度ＦＦＴを施して相関データとする。

この相関データは、振幅抑制処理されている点を除いては、画像と評価画像という異なる画像データ同士の相関であるが、照合という観点からすればどちらも同じ画像を元とするものであるから、逆フーリエ変換による歪みが加わった自己相関ということができる。そして自己相関の計算によって得られた各画素の相関データより、相関データの実部の最大値（Ｍａｘ）と最小値（Ｍｉｎ）とを探索する［ステップＳ５］。そして相関データの数に探索した相関データの実部の最大値と最小値との差を乗じ、これによって得られる値を「Whole」とする［ステップＳ６］。この「Whole」は、図５に示すように相関空間で評価画像の面積を底面とし、相関データの実部の「最大値−最小値」を高さとする直方体の体積に相当する。

また評価画像の各画素の相関データの実部の値からステップＳ５で探索した相関データの実部の最小値を差し引いた値を合計し、これによって得られる値を「Peak」とする［ステップＳ７］。この「Peak」は、図５に示すように相関空間で相関データの実部の最大値を頂点とし、他の相関データの実部の値を連ねた立体の体積（自己相関のピークの体積）に相当する。

そしてステップＳ６で求めた「Whole」とステップＳ７で求めた「Peak」とから、Whole／（Peak）^1/2として第一評価値を求める［ステップＳ８］。評価画像には、ステップＳ３でのＩＦＦＴの過程で外乱が与えられており、この外乱により自己相関のピークの形状がなだらかに拡がる。自己相関のピークの体積が大きいほど、元のピーク形状（δ関数）からの変化が大きく、外乱に弱い画像であると言える。そこで本実施形態では、全体の体積を自己相関のピークの体積の平方根で割ることによって第一評価値を得るようにしている。第一評価値が大きければ、自己相関のピークの形状の拡がりが小さく、その画像が外乱に強い画像であることが分かる。

尚、第一評価値を求めるに際して、ステップＳ８において自己相関のピークの体積の平方根をとったのは、前述した第二評価値と併せて用いる場合を想定して、第二評価値との変化具合を調整するためである。従って第一評価値を単体で用いる場合には、自己相関のピークの体積の平方根ではなく、自己相関のピークの体積そのものを用いても良いことは言うまでもない。

一方、第二評価値は図６に示す処理手順に従って求められる。
先ず撮像素子１から読み出した画像に２次元離散的フーリエ変換（ＦＦＴ）を施し（ステップＳ１１）、フーリエ画像データを作成する。このＦＦＴが施された画像の各画素のデータは複素数によって表される。次のステップＳ１２では、この複素数で表されたデータの実部と虚部とから、（実部²＋虚部²）^1/2としてそのデータの振幅を求める（ステップＳ１２）。尚、２次元離散的フーリエ変換については、例えば「コンピュータ画像処理入門」日本工業技術センター編、総研出版(株)発行、P.44〜45等に説明されている。

そして直流分を中心にＸ軸方向，Ｙ軸方向に振幅を並べた図７に示す周波数空間（この例では、画像幅を３２画素、画像高さを３２画素とする）において、図７に斜線で示す井形のエリア、すなわちＸ軸方向の周波数が１／２画像幅（１６画素）の１／４（４画素）〜１／２（８画素）、Ｙ軸方向の周波数が１／２画像高さ（１６画素）の１／４（４画素）〜１／２（８画素）に相当する井形のエリアの各画素のデータの振幅を合計し、この振幅の合計値を第二評価値とする［ステップＳ１３］。

この実施形態において、第二評価値はＦＦＴを施した画像のデータの振幅の合計として求められる。画像に適度の輝度変化があり、合焦の度合いが高いほど第二評価値は大きくなる。合焦の度合いが低い場合には、画像での輝度変化（輝度差）が小さく、評価領域におけるデータの振幅の合計が小さくなる。これにより第二評価値が大きくなるほど、合焦の度合いが高いということが分かる。

尚、上述した実施形態においては、井形の領域を評価領域として第二評価値を求めたが、図８(ａ)に示すように任意の方向で周波数が４画素〜８画素に相当するリング状のエリアを評価領域として第二評価値を求めるようにしても良く、また図８(ｂ)に示すようにＸ軸方向の周波数が４画素〜８画素、Ｙ軸方向の周波数が４画素〜８画素に相当する□形のエリアを評価領域として第二評価値を求めるようにしても良い。また評価領域を決める周波数の範囲も４画素〜８画素相当に限られるものでもない。図９(ａ)〜(ｄ)に評価領域の変形例を示す。

尚、上記第一評価値と第二評価値とを所定の重み付けを施して抽出し、これらの各評価値を総合判定する場合、具体的には次に例示する式（１）または式（２）を用いると良い（但し、ａ≧０，ｂ≧０）。
（第一評価値）^a×（第二評価値）^b …式（１）
ａ×（第一評価値）＋ｂ×（第二評価値） …式（２）
かくして上述した如くして求められる評価値（第一評価値および／または第二評価値）に従って焦点調節機構３０の作動を制御し、対物レンズ２の焦点面に投影したレチクル１０の像が鮮明に得られるようにフォーカシング制御する撮像システムによれば、監視にして確実に対象物Ｓを上記対物レンズ２の焦点面に位置付けることが可能となる。特に対象物Ｓの表面に投影されたレチクル１０の像１０ｘを撮像し、その画像をＦＦＴ処理して周波数解析し、その自己相関から求められる第一評価値が大きくなるように、或いは第二評価値が大きくなるようにフォーカシング制御するだけで良いので、短時間に、しかも高精度に合焦させることができる。

また２枚のレチクル１０ａ,１０ｂの像１０ｘ,１０ｙを対物レンズ２の焦点面の前および後ろにそれぞれ投影するようにした撮像システムによれば、これらの各像がそれぞれ映し出された対象物Ｓを撮像することで、該対象物Ｓの上記対物レンズ２の焦点面の前および後ろ位置からのずれ量をそれぞれ求めることができる。この結果、対象物Ｓが上記レチクル１０ａ,１０ｂの像の投影位置からそれぞれどの程度ずれているか、ひいては対物レンズ２の焦点面からどの向きにどの程度ずれているかを見出すことができる。従って各像のそれぞれに対する評価値から、合焦位置を正確に求めて速やかにフォーカシング制御することが可能となる。

図１０(ａ)〜(ｊ)は、×印状のレチクル像を対物レンズ２の焦点面の前（相対的に−０.５となる位置）に結像させた状態において、対象物Ｓをその光軸方向にずらして上記焦点面の前後に位置付けたときに得られる画像をそれぞれ示している。これらの各画像に示されるように、対象物Ｓの表面に投影されるレチクルの像は、その結像面に対象物Ｓが存在するときに一番鮮明となり、上記結像面からのずれが大きくなるに従ってそのコントラストが損なわれて不鮮明となる。そしてこれらの各像を制御装置２０にて前述した如く解析し、その評価値を求めると、例えば図１１に示されるようになる。即ち、像の鮮明度が高い程、その評価値が大きくなり、結像位置からのずれによって像が不鮮明になる程、評価値が低くなる。従ってこのようにして求められる評価値に従って、例えばその評価値が大きくなるようにフォーカシング制御することにより、速やかに、しかも精度良く合焦させることが可能となる。

尚、本発明は上述した実施形態に限定されるものではない。例えばレチクル１０に設ける模様（レチクルパターン）は、要求されるオートフォーカスの制御精度等に応じて定めたものであれば良い。また２つのレチクル１０ａ,１０ｂを用いて対物レンズ２の焦点面の前と後ろにその像を結像させる場合には、好ましくは２つのレチクルの像パターンの向きが９０°異なっていることが望ましいが、単にその向きが異なるだけでも良い。この場合、レチクルの像パターンの方向性に着目してその周波数成分をそれぞれ解析すれば、対物レンズ２の焦点面の前と後ろにそれぞれ結像させた像を、それぞれ独立に解析することが可能となる。またパターン形状自体が異なっているものを用いることも可能である。具体的には○型のパターンと＋型のパターンとを用い、これらの像パターンの違いを利用してそれぞれの像に対する評価値を求めるようにしても良い。

またオートフォーカス制御については、対物レンズ２を光軸方向に動かすことのみならず、その光学鏡筒の全体を光軸方向に動かすようにしても良く、逆に対象物Ｓを光軸方向に動かすことも勿論可能である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。

本発明の第１の実施形態に係る撮像システムにおける光学系の概略的な構成を示す図。本発明の第２の実施形態に係る撮像システムにおける光学系の概略的な構成を示す図。焦点調節機構の構成例を示す図。画像に対する第一評価値の算出手順の例を示す図。相関空間における評価画像と相関データとの関係を示す図。画像に対する第二評価値の算出手順の例を示す図。周波数空間における第二評価値の概念を示す図。周波数空間における評価領域の別の例を示す図。周波数空間における評価領域の更に別の例を示す図。光軸方向にずれた対象物Ｓにそれぞれ投影されるレチクルの像を対比して示す図。図１０に示す像から求められる評価値と焦点面からのずれ量との関係を示す図。

符号の説明

Ｓ対象物
１撮像素子
２対物レンズ
８結像レンズ
１０レチクル
２０制御装置
３０焦点調節装置

Claims

対象物を撮像する撮像素子と、前記撮像素子に対象物を結像させる光学系と、前記光学系の焦点と前記対象物との相対位置を電動で調節可能に構成した焦点調節手段と、前記撮像素子の信号を解析する制御装置とを備えた撮像システムにおいて、
前記光学系は、同軸で落射する照明機構を備え、前記光学系の焦点面近傍にレチクルの像を投影するものであり、
前記制御装置は、前記撮像素子にて繰り返し撮像された前記レチクルの画像の信号を逐次フーリエ変換し、振幅抑制処理を行い、逆フーリエ変換を行った後に自己相関を求め、この自己相関から第一評価値を求め、この第一評価値に基づいて焦点調節手段を制御するものであることを特徴とする撮像システム。
対象物を撮像する撮像素子と、前記撮像素子に対象物を結像させる光学系と、前記光学系の焦点と前記対象物との相対位置を電動で調節可能に構成した焦点調節手段と、前記撮像素子の信号を解析する制御装置とを備えた撮像システムにおいて、
前記光学系は、同軸で落射する照明機構を備え、前記光学系の焦点面近傍にレチクルの像を投影するものであり、
前記制御装置は、前記撮像素子にて繰り返し撮像された前記レチクルの画像の信号を逐次フーリエ変換し、各画素における振幅成分を求め、所定の範囲の画素における振幅成分を合計して第二評価値を求め、この第二評価値に基づいて焦点調節手段を制御するものであることを特徴とする撮像システム。
対象物を撮像する撮像素子と、前記撮像素子に対象物を結像させる光学系と、前記光学系の焦点と前記対象物との相対位置を電動で調節可能に構成した焦点調節手段と、前記撮像素子の信号を解析する制御装置とを備えた撮像システムにおいて、
前記光学系は、同軸で落射する照明機構を備え、前記光学系の焦点面近傍にレチクルの像を投影するものであり、
前記制御装置は、前記撮像素子にて繰り返し撮像されたレチクルの画像の信号を逐次フーリエ変換し、振幅抑制処理を行い、逆フーリエ変換を行った後に自己相関を求め、この自己相関から第一評価値を求める一方、上記フーリエ変換後に所定の範囲の画素における振幅成分を合計して第二評価値を求め、これらの第一および第二評価値に基づいて焦点調節手段を制御するものであることを特徴とする撮像システム。
前記光学系は、同軸で落射する照明機構を備え、前記光学系の焦点面の前と後ろに２つの異なるレチクルの像を投影することを特徴とする請求項１〜３のいずれか１項に記載の撮像システム。
前記２つのレチクルは、互いに方向成分の異なるパターンを有し、前記撮像素子の信号から前記方向成分を抽出することによって、焦点の調節方向を制御することを特徴とする請求項４に記載の撮像システム。
前記制御装置は、予め登録しておいた画像と前記撮像素子によって撮像された画像の相関信号によって焦点を調節することを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
前記光学系は、電動で光軸方向に移動可能なレンズを有することを特徴とする請求項１〜６のいずれか１項に記載の撮像システム。
前記制御装置は、前記第一評価値および／または第二評価値が最大となるように焦点を調節することを特徴とする請求項１〜７のいずれか１項に記載の撮像システム。