JP2005099736A - オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置 - Google Patents

Abstract

【課題】 光学系に起因する影響を排除して安定したオートフォーカス動作を実現することができるオートフォーカス制御方法、オートフォーカス制御装置および画像処理装置を提供する。
【解決手段】 複数のフォーカス位置で取得した各サンプル画像のピント評価値を算出するに当たり、取得したサンプル画像に平滑化処理を施して光学系に起因する明るさの濃淡パターンを軽減し、この平滑化処理したサンプル画像に基づいてピント評価値を算出するようにする。また、ピント評価値をそのサンプル画像の画面平均輝度で規格化して評価値の適正化を図るようにする。
【選択図】 図３

Description

本発明は、例えば、ビデオカメラにより被写体試料を撮影し、観察・検査する装置に好適に用いられ、特に、光学系の影響を排除して安定したオートフォーカス動作を実現できるオートフォーカス制御方法、オートフォーカス制御装置および画像処理装置に関する。

従来より、画像オートフォーカス制御は、被写体試料（ワーク）の画像データからピントの合い具合を評価し数値化したピント評価値を用いて行っている。つまり、レンズ−ワーク間距離を変えて試料の画像データを収集し、その各々についてピント評価値を計算して好適なフォーカス位置を検索している。

図２１は、レンズ−ワーク間距離（横軸）とピント評価値（縦軸）との関係例を示している。これは、レンズ−ワーク間距離を一定間隔で変化させて画像を取り込み、各画像のピント評価値を計算してプロットしたものである。グラフ中のピント評価値最大値が、ピントの合った位置すなわち最適フォーカス位置（ピント位置）である。以下、このレンズ−ワーク間距離に対するピント評価値のプロットを「フォーカスカーブ」と呼ぶ。

従来の技術では、所定の検索範囲でレンズ−ワーク間距離を変化させ、このグラフ中ピント評価値の最大値を最適フォーカス位置としたり、あるいは、最大値前後のピント評価値から最適フォーカス位置を計算していた。ピント評価値としては、明るさの最大値、明るさの微分値、明るさの分散、明るさの微分値の分散などが使われている。ピント評価値最大値から最適フォーカス位置を求めるアルゴリズムとして、山登り法などがあり、また、検索時間短縮のために、検索動作を何段階かに分ける方法が実用化されている（下記特許文献１〜３）。

特開平６−２１７１８０号公報 特開２００２−３３３５７１号公報 特許第２９７１８９２号公報 特開２００３−２８１５０１号公報

さて、対象ワークの微細化が進み、このフォーカス技術を適用する検査器においては、分解能の向上が求められている。この分解能の向上には、照明光源の短波長化・単一波長化で対応できる。短波長化により光学的分解能を上げ、単一波長化により色収差等の影響を回避する。

しかしながら、照明光源の短波長化により光路に使用するレンズ等の光学材料に制約が生じ、また、単一波長化によりスペックルなどの影響が出てくるという問題がある。ここでいうスペックルとは、画面の明るさが斑状に分布した状態をいい、光源の波長や光学系の構成によってユニークなパターンの濃淡分布を取る。

これらの影響により、前出のフォーカスカーブは図２２に示すように、最適フォーカス位置のピント評価値よりも、光学系の影響部が大きな値をとる場合がある。フォーカスカーブの形状や数値範囲は、対象物の反射率など表面状態により一義に決まらないので、この状態でピント評価値の最大値からフォーカス位置を求める従来の技術では、最適なフォーカス位置を安定して求めることはできない。

本発明は上述の問題に鑑みてなされ、光学系に起因する影響を排除して安定したオートフォーカス動作を実現することができるオートフォーカス制御方法、オートフォーカス制御装置および画像処理装置を提供することを課題とする。

以上の課題を解決するに当たり、本発明のオートフォーカス制御方法においては、レンズ−被写体間距離が異なる複数のフォーカス位置で被写体の画像データを各々取得する画像取得工程と、取得した各画像データに基づいて複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出工程と、ピント評価値が最大となるフォーカス位置をピント位置として算出するピント位置算出工程と、算出したピント位置へレンズを前記被写体に対して相対移動させる移動工程とを有し、上記画像取得工程で取得した画像データを平滑化処理し、この平滑化処理した画像データに基づいてピント評価値を算出するようにしている。

すなわち、斑状の明るさの濃淡分布は、単一波長によるスペックルが原因である。そこで、この濃淡分布パターンを軽減するために、本発明では画像の平滑化処理を加えた。この平滑化処理により、スペックルの濃淡分布パターンを軽減しつつ、対象試料（被写体）の特徴を捉えてピント評価値を適正に算出できるようにしている。

画像平滑化処理を行うに当たり、処理対象画素数（単位処理範囲）、フィルタリング係数、処理回数、重み付けの有無等の処理条件の設定は、適用される光学系の種類や被写体試料の表面性状等に応じて適宜設定することができる。

一方、ピント評価値の算出には、取得した画像データにおける隣接画素間の輝度データ差を検出するのが好適であり、例えば、特徴部・輪郭部の画素間の輝度データ変化を抽出するエッジ強調処理を用いることができる。

ピント評価値を算出するにあたって、同じ対象領域においてフォーカス位置により輝度のバラツキがあると、隣接画素間の輝度データ差の絶対値が変化してしまい、適正にピント評価値を算出することができなくなる。そこで、このような問題を回避するために、算出した評価値を当該画面全体の平均輝度で除算することによって、ピント評価値の画面平均輝度による規格化を行うのが好適である。

なお、このオートフォーカス制御動作に付随して、複数のフォーカス位置で取得した各サンプル画像のピント評価値から、被写体の全焦点画像や立体画像を合成する機能を付加することができる。これらの処理は、各フォーカス位置における取得画像を面内で複数の領域に分割するとともに、分割領域ごとに得られたピント評価値やフォーカス位置情報に基づいて行われる。この場合、三次元構造の被写体表面を、光学系の影響を排除して、優れた分解能で検査、観察することが可能となる。

また、本発明のオートフォーカス制御装置は、レンズ−被写体間距離が異なる複数のフォーカス位置で取得された各画像データに基づいて複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出手段と、算出したピント評価値の最大値に基づいてピント位置を算出するピント位置算出手段と、取得した画像データを平滑化処理する画像平滑化手段とを有し、この画像平滑化手段で平滑化処理した画像データに基づいて各画像データのピント評価値を算出するようにしている。

本発明のオートフォーカス制御装置は、複数のフォーカス位置で被写体の画像データを取得する画像取得手段、レンズ−被写体間距離を調整する駆動手段などと組み合わせて、１つの画像処理装置として構成してもよいし、これら画像取得手段、駆動手段とは独立した別個の構成体として構成することができる。

本発明によれば、光学系に起因する影響を排除して高精度なオートフォーカス制御を安定して行うことができるので、短波長／単一波長光源を用いた試料観察が可能となり、例えば微細加工化が進む半導体ウェーハ等を高い分解能でもって観察することができる。

以下、本発明の各実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は本発明の実施の形態によるオートフォーカス制御方法及びオートフォーカス制御装置が適用される画像処理装置の概略構成図である。画像処理装置１は、被写体試料（ワーク）の表面観察に用いられ、特に、例えば半導体ウェーハ等のように表面に微細加工が施されて構成された素子構造体の欠陥検出等に用いられる顕微鏡として構成されている。

画像処理装置１は、測定ステージ２、対物レンズ３、レンズ駆動部４、鏡筒５、ＣＣＤ（Charge Coupled Device）カメラ６、コントローラ７、ドライバ８、モニタ９及び照明光源１０を備えている。

測定ステージ２は、被写体試料（例えば半導体ウェーハ）Ｗを支持し、Ｘ−Ｙ方向（図中左右方向及び紙面垂直方向）に移動自在に構成されている。

レンズ駆動部４は、測定ステージ２上の被写体試料Ｗに対して対物レンズ３をフォーカス軸方向（図中上下方向）に所定のフォーカス位置検索範囲にわたって相対移動させ、レンズ−ワーク間距離を可変調整する。なお、レンズ駆動部４は、本発明の「駆動手段」に対応する。

本実施の形態では、レンズ駆動部４はピエゾ素子で構成されているが、これ以外にも、例えばパルスモータ等の精密送り機構が採用可能である。また、レンズ−ワーク間距離の調整に対物レンズ３をフォーカス軸方向へ移動させるようにしているが、これに代えて、測定ステージ２をフォーカス軸方向に移動させるようにしてもよい。

ＣＣＤカメラ６は、フォーカス位置検索範囲内で移動する対物レンズ３を介して、測定ステージ２上の被写体試料Ｗ表面の特定領域を撮像するビデオカメラとして機能し、取得した画像データをコントローラ７へ出力する。ＣＣＤカメラ６は、対物レンズ３、レンズ駆動部４及び鏡筒５と共に本発明の「画像取得手段」を構成する。なお、ＣＣＤ以外にも、ＣＭＯＳイメージャ等の他の固体撮像素子が適用されてもよい。

コントローラ７はコンピュータで構成され、画像処理装置１全体の動作を制御すると共に、被写体試料Ｗの表面の特定領域における最適なフォーカス位置（ピント位置）を検出するオートフォーカス（ＡＦ）制御部１１を備えている。なお、このオートフォーカス制御部１１は、本発明の「オートフォーカス制御装置」に対応する。

ドライバ８は、オートフォーカス制御部１１からの制御信号を受けてレンズ駆動部４を駆動する駆動信号を生成する。本実施の形態では、ドライバ８はヒステリシス補償機能を備えたピエゾドライバで構成されている。なお、このドライバ８は、オートフォーカス制御部１１内に組み込まれていてもよい。

オートフォーカス制御部１１は、ドライバ８を介してレンズ駆動部４を駆動し、対物レンズ３と被写体試料Ｗとの間の距離（レンズ−ワーク間距離）を一定間隔で変化させた複数のフォーカス位置において、ＣＣＤカメラ６により被写体試料Ｗの画像データを各々取得し、後述するような各種処理を行って被写体試料Ｗの撮像領域における最適なフォーカス位置、すなわちピント位置を検出する。

モニタ９は、コントローラ７による処理内容を表示すると共に、ＣＣＤカメラ６で撮像された被写体試料Ｗの画像等を表示する。

照明光源１０としては、本実施の形態では例えば波長１９６ｎｍの連続レーザ又はパルスレーザ光源が用いられている。なお、照明光源の波長領域は上記の紫外光領域に限らず、用途等に応じて波長領域が異なる他の紫外光や、可視光領域の光源を用いることも勿論可能である。

図２は画像処理装置１の構成のブロック図である。

ＣＣＤカメラ６から出力されたアナログ画像信号は、Ａ／Ｄ変換器１３によってデジタル画像信号に変換される。Ａ／Ｄ変換器１３の出力信号はメモリ１４に供給され記憶される。コントローラ７のオートフォーカス制御部１１は、メモリ１４から変換されたデジタル画像信号を読み出して、後述するオートフォーカス制御を行う。そして、ドライバ８はＤ／Ａ変換器１７を介して供給されるコントローラ７からの制御信号に基づいてレンズ駆動部４に対する駆動信号を生成する。

オートフォーカス制御部１１は、平滑化処理回路１１Ａ、平均輝度算出回路１１Ｂ、評価値算出回路１１Ｃ及びピント位置算出回路１１Ｄを備えている。

平滑化処理回路１１Ａは、複数のフォーカス位置で取得した被写体試料Ｗの各々の画像信号（サンプル画像）のオートフォーカス対象領域（画面全体あるいは画面内の一部領域）を平滑化処理する回路であり、本発明の「画像平滑化手段」に対応する。オートフォーカス制御部１１は、この平滑化処理回路１１Ａによって、取得した各サンプル画像の明るさの斑状の分布（スペックル）を低減する。平滑化処理例を［数１］に示す。

なお、画像平滑化の処理条件（処理対象画素数（上の例では３×３）、フィルタリング係数、処理回数、重み付けの有無および係数のとり方等）は、ＣＣＤカメラ６で取り込まれた試料Ｗ表面の本来の特徴部・輪郭部をつぶさない範囲で任意に設定可能であり、これらの処理条件は、例えばキーボードやマウス、タッチパネル等の入力装置１６を介して設定するようにしている。

平均輝度算出回路１１Ｂは、各サンプル画像のオートフォーカス対象領域の画面平均輝度を算出する回路であり、本発明の「平均輝度算出手段」に対応する。この平均輝度算出回路１１Ｂによって得られた各フォーカス位置における画面平均輝度は、後述する評価値算出回路１１Ｃにおける当該フォーカス位置のピント評価値Ｐｖの算出に供される。

評価値算出回路１１Ｃは、各サンプル画像のピント評価値Ｐｖを各々算出する回路であり、本発明の「評価値算出手段」に対応する。本実施の形態では、この評価値算出回路１１Ｃをエッジ強調処理回路を含む構成としている。

本実施の形態において、ピント評価値とは、画像の特徴部・輪郭部がはっきり見える状態を数値で評価した指標をいう。特徴部・輪郭部の画素間の輝度データ変化を見ると、はっきりした像では急峻な変化となり、ぼけた像では緩やかな変化となる。そこで本実施の形態では、隣り合う画素間の輝度データ差をエッジ強調処理を用いて評価することで、ピント評価値Ｐｖを計算するようにしている。なお、これ以外にも、明るさの微分値、明るさの分散等に基づいてピント評価値を算出するようにしてもよい。

実処理例では、取り込んだ画像中全画素に［数２］で示す演算を行い、周囲の画素との輝度データ差を求める。この式で、前項は縦方向、後項は横方向の輝度変化を検出する。これにより、処理画素輝度によらず、評価点とその周囲との間の輝度変化分のみを抽出できる。

なお、この例では処理対象画素領域を３×３としているが、５×５や７×７等であってもよい。また、係数に重み付けを行っているが係数の設定の仕方は任意であり、重み付けなしで処理するようにしてもよい。

ピント評価値Ｐｖの算出の際は、上記エッジ強調処理式による計算後、平均輝度算出回路１１Ｂで算出した対応フォーカス位置における画面平均輝度で除算処理を実行する。すなわち、各サンプル画像のピント評価値Ｐｖは、［数３］で示すように、エッジ強調処理回路により得られるピント評価値Ｐvoの、当該フォーカス位置の画面平均輝度Ｐaveによる除算値とする。

［数３］において、Ｐv(i)はｉ番目のフォーカス位置における輝度規格化済のピント評価値、Ｐvo(i)はｉ番目のフォーカス位置におけるピント評価値、Ｐave(i)はｉ番目のフォーカス位置における画面平均輝度である。

なお、［数４］に示すように、［数３］で得られる演算値に画面平均輝度の最大値Ｐavemaxを乗算してピント評価値Ｐｖを算出するようにしてもよい。これにより、平均輝度での除算によるピント評価値の目減り（量的減少分）が補償され、後にフォーカスカーブを参照する上でピント評価値の量的推移が見やすくなる。また、乗算する画面平均輝度はその最大値に限られず、例えば最小値等であってもよい。

このように、ピント評価値（Ｐｖ）として、エッジ強調処理で算出された評価値に対しての画面平均輝度による除算値を用いるのは、ピント評価値が評価点（画素）とその周囲の画素との輝度の差がどの位あるかに関係したものであるので、取得した画像間に輝度のバラツキがあり、画面平均輝度（当該画面を構成する画素個々の輝度の総和を当該画面の全画素数で除算した輝度値）そのものが変化した場合、そこから計算される指標の絶対値も変化してしまうのを回避するためである。

例えば、周囲との輝度差が２０％あるとする。平均輝度５０のとき当該２０％の輝度差は１０となり、平均輝度１００では２０となる。このように、同じ変化率であっても元の画面平均輝度により絶対値が大きく異なってしまう。一般の可視光顕微鏡などの光学系では問題となることは少ないが、紫外光顕微鏡などの光学系ではこのような問題は顕著となる。

そこで本実施の形態では、このような画面輝度変化に対応するため、エッジ強調処理で算出したピント評価値を画面平均輝度（Ｐave）で規格化することによって、画面輝度変化によるピント評価値への影響を防ぐようにしている。つまり、ピント評価値としてその画面平均輝度の除算値を用いることによって、画面平均輝度５０、輝度差２０％の場合のピント評価値は０．２（１０／５０）となり、画面平均輝度１００、輝度差２０％の場合のピント評価値も０．２（２０／１００）となって互いに一致することになり、フォーカス位置間における輝度のバラツキによるピント評価値への影響が排除されることになる。

次に、ピント位置算出回路１１Ｄは、評価値算出回路１１Ｃで算出したピント評価値の最大値に基づいてピント位置を算出する回路であり、本発明の「ピント位置算出手段」に対応する。

一般的に、画像オートフォーカス制御は、レンズ−ワーク間距離が異なる複数のフォーカス位置でサンプル画像を取得し、その中から最大のピント評価値が得られるサンプル画像のフォーカス位置を検出することによりピント位置を決定する。したがって、サンプル画像が多いほど（サンプル間のフォーカス移動量が狭いほど）高精度なオートフォーカス制御が実現できる。しかしその一方で、サンプル数が増大すれば処理に要する時間も大きくなり、オートフォーカス制御の高速性を確保できなくなる。

そこで本実施の形態では、図６に示すように、算出したピント評価値の最大値Ｐv(m)及びその近傍の複数のピント評価値（Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)，Ｐv(m-3)，Ｐv(m+3)）に基づいて最適フォーカス位置（ピント位置）を検出するようにしている。

図６に示すようにピント位置近傍は上に凸の二次曲線に近い。そこで、ピント位置近傍点を使い、最小二乗法により近似二次曲線を計算し、頂点を求め、それをピント位置とする。図中実線は３点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)）、破線は５点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)）、一点鎖線は７点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)，Ｐv(m-3)，Ｐv(m+3)）のピント評価値から近似計算した曲線である。グラフの開き具合は異なるが、頂点の位置はほぼ同じで、単純な処理ながら有効な近似方法であることがわかる。

なお、上述の曲線近似法に限らず、例えば、Ｐv(m)及びＰv(m+1)の２点を通る直線と、Ｐv(m-1)及びＰv(m-2)の他の２点を通る直線とから互いの交点を計算してそれをピント位置とする方法（直線近似法）や、正規分布曲線近似等の他の近似法を用いてピント位置を検出するようにしてもよい。

図２を参照して、メモリ１５は、コントローラ７のＣＰＵの各種演算に用いられる。特に、メモリ１５のメモリ空間には、オートフォーカス制御部１１における各種演算に供せられる第１メモリ部１５Ａ及び第２メモリ部１５Ｂが割り当てられている。

本実施の形態では、オートフォーカス制御の高速性を図るために、レンズ−ワーク間距離を連続的に変化させながら、複数のフォーカス位置でサンプル画像を各々取得するようにしている。これにより、各フォーカス位置でレンズを停止させて画像を取得する場合に比べてオートフォーカス制御の高速化が図れる。

レンズ駆動部４に対するドライバ８の指示電圧とレンズ駆動部４の実移動電圧との関係を図７に示す。ピエゾ素子でなるレンズ駆動部４は位置制御用移動量検出センサを備えている。図７中の実移動電圧はこのセンサモニタ信号である。指示電圧はオートフォーカス制御開始位置にレンズを移動させた後、ＣＣＤカメラ６の映像信号フレーム毎に所定量ずつ変化させている。指示電圧と実移動電圧を比べると、応答に遅れはあるものの、移動は滑らかで、指示電圧の段差をつぶしながら漸増領域の両グラフの傾きがほぼ同じになっている。これから、等速度相当指示電圧に対し、レンズが等速度で動作していることがわかる。したがって、画像同期信号に同期してサンプル画像を取得すれば、フォーカス軸座標一定間隔でピント評価値を計算、取得することが可能となる。

更に本実施の形態では、オートフォーカス動作の高速化を図るために、サンプル画像の取得工程とピント評価値の算出工程とを並列に行うようにしている。

これは、図８に示すように第１メモリ部１５Ａに画像データを取り込みながら、第２メモリ部１５Ｂの既に取り込まれた画像データを処理してピント評価値Ｐｖを算出するというダブルバッファリングで構成できる。本例の場合、第１メモリ部１５Ａには偶数フレームで取り込んだ画像データを処理し、第２メモリ部１５Ｂには奇数フレームで取り込んだ画像データを処理するようにしている。

次に、以上のように構成される本実施の形態の画像処理装置１の動作について図３を参照して説明する。図３はオートフォーカス制御部１１における工程フロー図である。

まず、被写体試料Ｗのオートフォーカス処理領域、フォーカス位置検索範囲、取得画像サンプル間のフォーカス移動量（フォーカス軸ステップ長）、画像平滑化処理条件、エッジ強調処理条件などの初期設定が入力された後（ステップＳ１）、オートフォーカス制御が実行される。

対物レンズ３は、レンズ駆動部４の駆動によりオートフォーカス制御開始位置からフォーカス軸方向に沿って移動を始める（本実施の形態では被写体試料Ｗに接近する方向。）と共に、画像同期信号に同期して被写体試料Ｗのサンプル画像を取得する（ステップＳ２，Ｓ３）。次いで、取得したサンプル画像のフォーカス軸座標（レンズ−ワーク間距離座標）を取得する（ステップＳ４）。

この後、取得したサンプル画像に対する画面平均輝度算出処理、画像平滑化処理、エッジ強調処理及び輝度規格化処理でなるピント評価処理が行われる（ステップＳ５〜Ｓ８）。

画面平均輝度算出工程（ステップＳ５）は、平均輝度算出回路１１Ｂにて演算される。算出された画面平均輝度は、後にピント評価値の算出に供される。なお、この画面平均輝度算出工程は、平滑化処理工程（ステップＳ６）の後に行うようにしてもよい。

画像平滑化処理工程（ステップＳ６）は、平滑化処理回路１１Ａにて処理される。この画像平滑化処理工程では、例えば［数１］で示した演算式で画像平滑化処理が行われる。これにより、取得したサンプル画像において、光源の単一波長化に起因するスペックルの影響が排除される。

エッジ強調処理工程（ステップＳ７）は、評価値算出回路１１Ｃにて実行される。この工程では、先の平滑化処理工程（ステップＳ６）で平滑化処理されたサンプル画像に基づいて、例えば上記［数２］で示したエッジ強調処理式によって特徴部・輪郭部の画素間の輝度データ差を計算し、これをピント評価値の基礎データとする。

次に、ステップＳ７で算出されたピント評価値を画面平均輝度で規格化する輝度規格化処理工程（ステップＳ８）が行われる。この工程は、評価値算出回路１１Ｃにて実行される。図３に示した例では、先のエッジ強調処理工程（ステップＳ７）によって得られたピント評価値（Ｐvo(i)）に対し、画面平均輝度算出工程（ステップＳ５）で得られた画面平均輝度（Ｐave(i)）で除算することにより、［数３］式における輝度規格化済のピント評価値Ｐv(i)を算出する。

以上のステップＳ２〜ステップＳ８によってオートフォーカスループ（ＡＦループ）が構成される。このＡＦループでは、取得される各フォーカス位置におけるサンプル画像それぞれに対して上述と同様な処理が実行される。

本実施の形態においては上述のように、レンズ駆動部４は対物レンズ３を連続的に移動させた状態でＣＣＤカメラ６は所定のサンプリング周期で被写体試料Ｗを撮像し、画像取得工程（ステップＳ３）とピント評価値計算工程（ステップＳ８）とは並列的に処理される（図６，図７）。したがって、先に取り込んだサンプル画像のピント評価値を計算する一方で、次なるサンプル画像を取得することができ、その結果、映像信号１フレーム周期でピント評価値の演算が可能となって、オートフォーカス動作の高速化が実現される。

対物レンズ３の総移動長が全検索範囲に達するとＡＦループは終了し、得られた各サンプル画像のピント評価値に対して、画面平均輝度の最大値（Ｐavemax）を乗算する処理が実行される（ステップＳ９，Ｓ１０）。その結果、各サンプル画像のピント評価値Ｐｖは、上記［数４］式で示した演算式で求められた場合と同義になる。

なお、図４に示した工程フローのように、エッジ強調処理によるピント評価値の計算でＡＦループを完結させ、同図ステップＳ１０で示すように、ＡＦループ終了後に各サンプル画像に対し一括して、ピント評価値の画面平均輝度による規格化処理を［数４］式で示した演算処理を用いて行うようにしても、結果的に、図３に示した例と同等な処理を実現できる。

図５に、平滑化処理（図３のステップＳ６）及び輝度規格化処理（図３のステップＳ８）を行って得られるフォーカスカーブ（ＦＣ１）を実線で、画面平均輝度による規格化を行わずに平滑化処理のみ行って得られるフォーカスカーブ（ＦＣ２）を一点鎖線でそれぞれ示す。また比較のため、図２２に示した従来のフォーカスカーブ（ＦＣ３）を点線で示す。

図５から明らかなように、本実施の形態によれば、光学系の影響部を大きく改善し、最適フォーカス位置（ピント位置）として検出されるべきピント評価値のピークを顕在化させることができる。これにより、短波長、単一波長の光学系においても安定かつ正確なオートフォーカス動作を実現することができる。

また、サンプル画像の平滑化処理だけでも光学系影響部の改善が見られるので、必要に応じて輝度規格化処理工程（図３においてステップＳ８）を省略してもよいが、この輝度規格化処理を行うことによって光学系影響部の更なる改善が図られ、ピント位置のより正確な検出が可能となる。

続いて、ピント位置算出工程が行われる（ステップＳ１１）。このピント位置算出処理は、ピント位置算出回路１１Ｄにて実行される。ピント位置の算出には、図６を参照して説明したように、ピント評価値の最大値とその近傍の複数のピント評価値の各点を通る近似曲線を求め、その頂点を検出してこれをピント位置とする。

これにより、従来より広く適用されている山登り法と比較して効率的かつ高精度にピント位置を検出することができるので、オートフォーカス動作の高速化に大きく貢献することができる。

一方、図６において横軸のレンズ−ワーク間距離を総検索範囲とした場合、動作中にピント位置を通過したことが判断できれば、Ｐv(m+3)以降の画像取得は不要となり、その分の動作時間を削減することができるので、オートフォーカス動作の更なる高速化を実現することが可能となる。なお、ピント位置通過の判断手法としては、ある一定以上のピント評価値（パラメータとして与える、或いはこれまでのフォーカス動作結果から学習する）を越える山を通過して、近似に必要なサンプル数を取得する方法等が挙げられる。

そして最後に、対物レンズ３をピント位置へ移動させる移動工程（ステップＳ１２）を経て、本実施の形態のオートフォーカス制御が完了する。

以上のように、本実施の形態によれば、短波長、単一波長の光学系に起因する影響を排除して高精度なオートフォーカス制御を安定して行うことができ、これにより例えば半導体ウェーハ等の表面に形成される微細な構造体を分解能高く観察、検査することができるようになる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。

近年の半導体ウェーハは最小パターン幅（プロセスルール）の微細化とともに、高さ方向へより立体的な構造をとろうとしている。光源の短波長化により、焦点深度も浅くなり、高低差のある対象物ではフォーカスの合う部分が少なくなるなど、不利になる傾向にある。画面内に高低差があり、それぞれにピントの合う面が異なる場合、例えば試料のどの表面を基準にするなどの「どこにピントを合わせる」という能動的なフォーカス動作が求められる。しかし、ピント評価値から最適フォーカス位置を求める従前のオートフォーカス制御方法では、見たい所にピントが合わないという不都合がある。

そこで、本発明のオートフォーカス制御方法を応用して、画面内に高低差が存在するような試料の任意の面にピントを合わせる方法を以下説明する。

上述の第１の実施の形態においては、取得したサンプル画面の全体（あるいは一部対象領域）に対してピント評価値を算出する例について説明したが、本実施の形態では、例えば図９に示すように、取得したサンプル画面を複数の領域に分割し、それぞれの分割領域Ｗij（ｉ，ｊ＝１〜３）毎にピント評価値を計算し、ピント位置を算出する。

各分割領域Ｗijにおけるピント評価値の算出には、上述の第１の実施の形態と同様な画像平滑化処理及び画面平均輝度による規格化処理をそれぞれ実行する。これにより、光学系に影響されずに高精度にピント位置を検出できる。

以上の処理の結果、分割領域Ｗij毎に当該分割領域に対応したフォーカスカーブが得られることになる。このとき、何れかの分割領域が他の分割領域と比べてピント位置が異なっている場合には両者間においてピント面に高低差が存在することが明らかとなるので、何を優先してフォーカス位置とするかをパラメータで指定することによって能動的なフォーカス動作が可能となる。

パラメータの例としては次のものがある。
１．最もレンズ−試料間距離が短いもの（試料の最も高いところ）
２．最もレンズ−試料間距離が長いもの（試料の最も低いところ）
３．画面の特定の位置
４．画面分割結果から多数決で定まる最適フォーカス位置（より特徴的なところ）等。

なお、図９では画面分割数を３×３の９分割とした例を説明したが、画面分割数はこれに限られない。画面分割数を増やすほど詳細な情報が得られることになる。また、分割画面が互いに重なり合ってもよく、使用状況に合わせて画面分割数をダイナミックに変更するようにしてもよい。

以上、本実施の形態によれば、対象試料に対し、何を優先して最適なフォーカス位置とするかを指定することにより、「どこにピントを合わせる」という能動的なフォーカス動作に十分に対応することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態では、本発明に係るオートフォーカス制御方法を適用することによって、取得した画像データから被写体試料の全焦点画像を合成する方法について説明する。

通常の光学系では、光学系の焦点深度を越える立体的な物体を見る場合、全体にピントの合う画像を見ることができず、検査観察の目的を満たすことができない。共焦点光学系など特殊な光学系を用いて全体にピントの合う全焦点画像を得たり、三角法に基づいて角度の異なる画像から全焦点画像を得るなどの方法により解決を図っているが、これらは特殊な光学系を用いるため、安価に実現することができない。

一方、物体の画像を階層的に取得した後に合成処理する方法も提案されている（上記特許文献４）。しかしながら、合成に使用する画像情報の容量、合成処理時間、複数枚画像取得後にしか結果を得られない、などの問題が残る。

そこで、本実施の形態では、上述の第１の実施の形態において説明したオートフォーカス制御方法を実行する過程で、被写体試料Ｗの全焦点画像を得るようにしている。その制御フローを図１０に示す。取得した画像（サンプル点）のピント評価値を画面平均輝度で規格化する工程（ステップＳ８）の後、画像の合成処理工程（ステップＳ８Ｍ）を追加している。

なお、その他の工程については、上述の第１の実施の形態で説明した工程フロー（図３）と同様であるので、対応する工程には同一の符号を付し、その説明は省略するものとする。

さて、画像合成を行うに当たり、上述の第２の実施の形態で説明したように、取得したサンプル画面を複数の領域に分割し（図９）、それぞれの分割領域Ｗijを単位として画像を合成する。なお、画面の分割数は特に限定されず、分割数が多いほど処理を精細に行うことができ、一画素単位まで分割領域を微細化できる。また、分割領域の形状は四角に限らず、円形状等にも変更することができる。

また、メモリ１５（図２）として、偶数フレームで取り込んだ画像データを処理する第１メモリ部１５Ａおよび奇数フレームで取り込んだ画像データを処理する第２メモリ部１５Ｂに加えて、図１１に示すように、全焦点処理用の第３メモリ部１５Ｃを用意する。この第３メモリ部１５Ｃには、合成画像データ格納領域１５Ｃ１と、合成画像を構成する各分割領域Wijの高さ（レンズ−ワーク間距離）情報格納領域１５Ｃ２と、これら各分割領域Ｗijのピント評価値情報格納領域１５Ｃ３とが、それぞれ設けられている。

被写体試料の全焦点画像を合成するにあたっては、レンズ−ワーク間距離が異なる複数のフォーカス位置でサンプル画像を取得し、その各々のサンプル画像について各分割領域Ｗij毎にピント評価値を算出し、分割領域Ｗij間で相互に独立して最もピント評価値の高い画像を抽出した後、全体画像として合成する処理を行うようにしている。

以上のようにして、本発明の「全焦点画像合成手段」が構成される。図１０に示した工程フロー図において説明すると、ステップＳ１〜ステップＳ８の工程を上述の第１の実施の形態と同様な手法で取得サンプル画像について各分割領域Ｗij毎に実行した後、ステップＳ８Ｍの画像合成工程へ移行する。

図１２は、ステップＳ８Ｍの詳細を示している。オートフォーカス動作開始後、最初に取り込んだ画像を使って第３メモリ部１５Ｃを初期化する（ステップａ，ｂ）。すなわち、ステップｂにおいて、最初の画像を合成画像データ格納領域１５Ｃ１にコピーし、高さ情報格納領域１５Ｃ２を一回目のデータで埋め、ピント評価値を各分割領域Ｗijのピント評価値情報格納領域１５Ｃ３にコピーして初期化する。

二回目以降は、各分割領域Ｗij毎に、取得画像のピント評価値と合成画像のピント評価値とを比較する（ステップｃ）。取得画像のピント評価値が大きい場合は、画像をコピーし、これに相当する高さ情報とピント評価値情報を更新する（ステップｄ）。逆に、取得画像のピント評価値が小さい場合は、処理を行わない。これを分割数分繰り返す（ステップｅ）。これで１フレーム（３３．３ｍｓｅｃ）の処理を完了する。

一連のオートフォーカス制御の動作フローにおいて、上述の処理は、例えば、第１メモリ部１５Ａに偶数フレーム画像データを取り込みながら、第２メモリ部１５Ｂに既に取り込まれている１フレーム前の奇数フレーム画像データの各分割領域Ｗijについて行い、第３メモリ部１５Ｃの対応する格納領域に必要データ、情報をコピーあるいは更新する、という流れになる。

本実施の形態において、上述の処理は、第１の実施の形態で説明した被写体試料Ｗのオートフォーカス制御に付随して行われるようにしているが、勿論、単独で当該処理を行うことも可能である。

以上の処理をオートフォーカスに必要な枚数の画像に亘って処理することで、オートフォーカス動作終了時に、分割領域Ｗijごとに、最もピントの合っていた部分、その高さ情報、ピント評価値を得ることができるようになる。これにより、被写体試料Ｗのフォーカス位置座標だけでなく、分割領域Ｗijごとに、被写体試料Ｗの全焦点画像、形状までをもオンラインかつリアルタイムで取得することが可能となる。

特に、合成画像データ格納領域１５Ｃ１にコピーされた合成画像をモニタ９（図１）に表示させることにより、対物レンズ３の全検索範囲に亘る移動の過程で、分割領域ごとに焦点が合う様子を観察できるようになるので、表示された被写体試料Ｗの高さ分布の様子をオートフォーカス動作中に容易に把握できるようになる。

更に、本発明に係るオートフォーカス制御方法を用いて被写体試料の全焦点画像を合成しているので、短波長、単一波長の光学系に起因する影響を排除した上での高精度なオートフォーカス制御が確保されており、これにより、半導体ウェーハ等のような階層的に展開された構造体表面の全焦点画像を分解能高く取得することができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態として、オートフォーカス動作で取得した画像データから被写体試料の立体画像を合成する方法について説明する。

上述しているように、画像オートフォーカス動作は、複数のフォーカス位置においてサンプル画像を取得しピント評価を行っている。そこで、本実施の形態では、取得したサンプル画像の中からピントの合っている部分を抜き出し、これを高さ方向の情報と組み合わせることによって、立体画像を合成することができる。

例えば図１３に示すように、オートフォーカス動作時に取得した各サンプル画像Ｒａ，Ｒｂ，Ｒｃ及びＲｄの各々に対してピント位置検出を行った後、ピントの合っている所を抽出してこれを高さ方向（フォーカス軸方向）に組み合わせることによって、構造物Ｒの立体画像を合成することができる。

本実施の形態の立体画像の合成方法の一例を図１４のフローチャートに示す。図において、上述の第１の実施の形態（図３）と対応するステップには同一の符号を付し、その詳細な説明は省略する。

本実施の形態では、初期設定（ステップＳ１）の後、立体画面バッファクリア工程（ステップＳ１Ａ）を有している。この工程では、過去に取得した立体画面を記憶するメモリ領域の初期化が行われる。その後、上述の第１の実施の形態と同様に、複数のフォーカス位置において被写体試料のサンプル画像を取得し、その各々について平滑化処理、エッジ強調処理によるピント評価値の算出、及び算出したピント評価値の画面平均輝度による規格化処理を行う（ステップＳ２〜ステップＳ８）。

ピント評価値の算出後、画面内各点でこれまでのデータと取り込んだデータとでとちらがピントが合っているかを比較し、取り込んだデータの方がピントが合っている場合はデータを更新する処理が行われる（ステップＳ８Ａ）。この処理は、各々のサンプル画像それぞれについて実行される。

以上のようにして、本発明の「立体画像合成手段」が構成される。なお、本例では、上述の第２の実施の形態のように画面を複数の領域Ｗijに分割し、分割した各領域それぞれについて上述の処理を行うようにしているが、分割数は特に限定されず、一画素単位で処理を行うようにしてもよい。

従って、本実施の形態によれば、オートフォーカス制御の終了後、被写体試料Ｗの最適フォーカス位置情報だけでなく、ピントが合っている複数のサンプル画像を高さ方向に組み合わせることによって、被写体試料表面の立体画像をも容易に取得することができるようになる。

更に、本発明に係るオートフォーカス制御方法を用いて被写体試料の立体画像を合成しているので、短波長、単一波長の光学系に起因する影響を排除した上での高精度なオートフォーカス制御が確保されており、これにより、半導体ウェーハ等のような階層的に展開された構造体表面の立体画像を分解能高く取得することができる。

（第５の実施の形態）
続いて、本発明の第５の実施の形態について説明する。

上述の各実施の形態では、本発明に係るオートフォーカス制御方法をコンピュータを中核とする画像処理装置１で実現する例を説明してきた。この構成は少し複雑で、単にフォーカスを合わせたいというニーズにマッチしない場合がある。すなわち、フォーカス後の処理が必要ない場合等のために、簡単なハードウェアにより本発明のオートフォーカス制御方法を実行するアルゴリズムを実現できれば、適用範囲が広がり工業の自動化に大きく貢献できると考えられる。

そこで、本実施の形態では、コンピュータを使用せずに上述してきた本発明のオートフォーカス制御方法を実現できるオートフォーカス制御装置の構成について説明する。このオートフォーカス制御装置は、後述するように、ビデオ信号デコーダやＦＰＧＡ（Field Programmable Gate Array）に代表される演算素子、設定保存用のメモリ等で構成でき、更に必要に応じて、ＣＰＵ（Central Processing Unit）やＰＭＣ（Pulse Motor Controller）、外部メモリ等の集積回路が用いられる。これらの素子群は、共通の配線基板上に実装されることにより、単一の基板ユニットとして、またはこれを収納するパッケージ部品として使用される。

（第１の構成例）
図１５に本発明のオートフォーカス制御装置の第１の構成例による機能ブロック図を示す。図示するオートフォーカス制御装置３１は、ビデオ信号デコーダ４１、ＦＰＧＡ４２、フィールドメモリ４３、ＣＰＵ４４、ＲＯＭ／ＲＡＭ４５、ＰＭＣ４６、Ｉ／Ｆ回路４７で構成されている。

フォーカス動作に使用するビデオ信号は、ＮＴＳＣ方式にエンコードされているアナログ画像信号であり、これがビデオ信号デコーダ４１により水平／垂直同期信号、ＥＶＥＮ（偶数）／ＯＤＤ（奇数）フィールド情報、輝度情報のデジタル画像信号に変換される。

ＦＰＧＡ４２は、上述の第１の実施の形態において説明した本発明に係るオートフォーカス制御フロー（図３）において所定の演算処理を行う演算素子で構成され、本発明の「画像平滑化手段」、「エッジ強調処理手段」および「評価値算出手段」に対応する。

このＦＰＧＡ４２は、ビデオ信号デコーダ４１によりデジタル信号化された同期信号とフィールド情報から、画面内の有効な部分の情報を取り出し、その輝度情報をフィールドメモリ４３に格納する。そして、同時に順次フィールドメモリ４３からデータを読み出し、フィルタリング（画像平滑化処理）、平均輝度計算、ピント評価値計算といった演算処理を行う。なお、ＦＰＧＡ４２の集積度により、フィールドメモリ４３、ＣＰＵ４４、ＰＭＣ４６の機能をＦＰＧＡ４２内に組み込むことも可能である。

フィールドメモリ４３は、インターレースで出力され偶数フィールド及び奇数フィールドで１フレームが構成されるビデオ信号を取り扱うため、上記のフィールド情報を一時的に保存する目的で使用される。

ＣＰＵ４４は、ＰＣＭ４６及びＩ／Ｆ回路４７を介して、被写体試料を支持するステージを移動させてレンズ−ワーク間距離を変化させると共に、各フォーカス位置で取得されＦＰＧＡ４２で演算された各サンプル画像のピント評価値から最適フォーカス位置（ピント位置）を計算するなど、システム全体の動作を管理する。この例において、ＣＰＵ４４は、本発明の「ピント位置算出手段」に対応している。

ＲＯＭ／ＲＡＭ４５は、ＣＰＵ４４の動作ソフトウェア（プログラム）とピント位置の計算に必要なパラメータの記憶用として使用される。なお、ＲＯＭ／ＲＡＭ４５は、ＣＰＵに内蔵されていてもよい。

ＰＭＣ４６は、ステージを移動させるパルスモータ（図示略）の駆動用制御素子であり、インターフェース回路（Ｉ／Ｆ回路）４７を介してステージのコントロールを行う。また、ステージ位置を検出するセンサの出力が、Ｉ／Ｆ回路４７を通じてＰＣＭ４６に供給されるようになっている。

以上のように構成されるオートフォーカス制御装置３１においては、図示しないＣＣＤカメラからサンプル画像のビデオ信号が供給される。このビデオ信号はビデオ信号デコーダ４１を介してＦＰＧＡ４２に入力され、ここで入力画像の平滑化処理、平均輝度計算、ピント評価値の演算がなされる。ＦＰＧＡ４２は、フィールド終了の同期信号のタイミングで、ＣＰＵ４４にピント評価データを転送する。

ＣＰＵ４４は、フィールド終了のタイミングでフォーカスステージの座標を取得し、それをレンズ−ワーク間距離として使用する。以上の処理を本発明のオートフォーカス動作に必要な回数繰り返した後、ＣＰＵ４４はピント位置の計算を行う。そして、最適フォーカス位置へステージを移動させて、オートフォーカス動作を終了する。なお、必要に応じて、画面分割機能、被写体試料の全焦点画像合成処理、及び／又は、立体画像合成処理が行われる。

以上のように構成される本発明のオートフォーカス制御装置を既存のＣＣＤカメラ、モニタ、パルスモータ等のフォーカス軸移動手段等に有機的に接続することにより、上述の画像処理装置１と同等の機能を実現することが可能となるので、簡易かつ簡素な構成で本発明のオートフォーカス制御方法を実施でき、コストおよび設置スペース等の点でも非常に有利となる。

（第２の構成例）
図１６は、本実施の形態におけるオートフォーカス制御装置の第２の構成例による機能ブロック図である。なお、第１の構成例（図１５）と対応する部分については同一の符号を付し、その詳細な説明は省略する。本構成例におけるオートフォーカス制御装置３２は、ビデオ信号デコーダ４１、ＦＰＧＡ４２、ＣＰＵ４４、ＲＯＭ／ＲＡＭ４５、ＰＭＣ４６及びＩ／Ｆ回路４７で構成されている。

上述の第１の構成例におけるオートフォーカス制御装置３１においては、インターレースの画像をＴＶ（テレビジョン）と同様のイメージとして処理するために、フィールドメモリ４３を使用して、フレーム情報から制御を行うようにしていた。しかし、オートフォーカス動作だけを考えれば、フレーム情報を使う必要はなく、フィールド単位での処理で十分な場合もあり、また、これがメリットなることもある。

そこで、本構成例におけるオートフォーカス制御装置３２は、第１の構成例からフィールドメモリ４３を取り除いた構成とされている。この構成により、フィールドメモリへの情報の転送タイミング処理が不要となるので、上述の第１の構成例に比べて物理的にも論理的にも簡単な構成とすることができる。また、フィールド単位でピント評価処理を行えるので、フレーム単位で処理する第１の構成例に比べてピント評価値のサンプリング間隔が短くなる等のメリットがある。

（第３の構成例）
図１７は、本実施の形態におけるオートフォーカス制御装置の第３の構成例による機能ブロック図である。なお、第１の構成例（図１５）と対応する部分については同一の符号を付し、その詳細な説明は省略する。本構成例におけるオートフォーカス制御装置３３は、ビデオ信号デコーダ４１、ＦＰＧＡ４２、ＣＰＵ４４、ＲＯＭ／ＲＡＭ４５、ＰＭＣ４６及びＩ／Ｆ回路４７で構成されている。

本構成例におけるオートフォーカス制御装置３３は、ＦＰＧＡ４２内にＰＭＣ４６の論理ブロックを内蔵させて、上述の第２の構成例に比べて、ＰＭＣ４６の独立した論理回路を不要とした構成を備えている。この構成により、ＰＭＣ４６のための独立したＩＣチップが不要となり、基板サイズ、実装コストの低減を図ることができるようになる。

（第４の構成例）
図１８は、本実施の形態におけるオートフォーカス制御装置の第４の構成例による機能ブロック図である。なお、第１の構成例（図１５）と対応する部分については同一の符号を付し、その詳細な説明は省略する。本構成例におけるオートフォーカス制御装置３４は、ビデオ信号デコーダ４１、ＦＰＧＡ４２、ＣＰＵ４４、ＲＯＭ／ＲＡＭ４５、ＡＤ（Analog to Digital）／ＤＡ（Digital to Analog）回路４８、及びＩ／Ｆ回路４７で構成されている。

本構成例におけるオートフォーカス制御装置３４は、フォーカスステージの駆動源をパルスモータからアナログ信号コントロールのピエゾステージで構成した例を示しており、上述の第２の構成例におけるＰＭＣ４６に代えて、ＡＤ／ＤＡ回路４８が用いられている。なお、ＡＤ／ＤＡ回路４８は、例えばＣＰＵ４４内に取り込み可能であり、この場合は当該ＡＤ／ＤＡ回路４８を外付け回路とする必要はない。

また、ＡＤ／ＤＡ回路４８において、ＤＡ回路部分はＣＰＵ４４からの指示電圧をアナログ信号に変換するための回路であり、ＡＤ回路部分は、ピエゾステージの移動位置を検出するセンサ（図示略）からの信号をデジタル信号に変換しＣＰＵ４４へフィードバックするための回路である。なお、当該フィードバック制御を行わない場合、ＡＤ回路部分は省略可能である。

（第５の構成例）
図１９は、本実施の形態の第５の構成例として、上述の第３の構成例（図１７）におけるオートフォーカス制御装置３３の具体的構成例を示している。なお、図において対応する部分については同一の符号を付し、その詳細な説明は省略する。

本構成例におけるオートフォーカス制御装置３５は、共通の配線基板５０上に、ビデオ信号デコーダ４１、ＦＰＧＡ４２、ＣＰＵ４４、更にはフラッシュメモリ４５Ａ、ＳＲＡＭ（Static Random Access Memory）４５Ｂ、ＲＳドライバ４７、電源監視回路５１、ＦＰＧＡ初期化ＲＯＭ５２および複数のコネクタ５３Ａ，５３Ｂ，５３Ｃ，５３Ｄがそれぞれ実装されて構成されている。

フラッシュメモリ４５ＡおよびＳＲＡＭ４５Ｂは、上述したＲＯＭ／ＲＡＭ４５に対応し、一方のフラッシュメモリ４５Ａには、ＣＰＵ４４の動作プログラムやオートフォーカス動作の初期設定情報（フォーカス移動速度、平滑化処理条件等）が格納され、他方のＳＲＡＭ４５Ｂには、ＣＰＵ４４におけるピント位置の演算に必要な各種パラメータの一時的な保存等に用いられる。

ＲＳドライバ４７は、コネクタ５３Ａ〜５３Ｄを介して接続されている外部機器との通信に必要なインターフェース回路である。ここで、コネクタ５３ＡにはＣＣＤカメラが接続され、コネクタ５３Ｂには上位コントローラまたはＣＰＵが接続されている。また、コネクタ５３Ｃには電源回路が接続され、コネクタ５３Ｃにはフォーカスステージが接続されている。なお、フォーカスステージはパルスモータを駆動源として備え、そのコントローラであるＰＭＣは、ＦＰＧＡ４２内に組み込まれている。

以上のように、本構成例におけるオートフォーカス制御装置３５によれば、一枚の配線基板５０上に、本発明のオートフォーカス制御方法を実現するアルゴリズムを実行できる各種素子を実装した、外形寸法が例えば１００ｍｍ四方の基板実装体として構成できる。これにより、装置コストの低減および装置構成の簡素化を図ることができる。また、機器の設置自由度が高められるので、これまで使用できなかった産業分野において、オートフォーカス動作が要求される現場ニーズに容易に対応できるようになる。

以上、本発明の各実施の形態について説明したが、勿論、本発明はこれらに限定されることなく、本発明の技術的思想に基づいて種々の変形が可能である。

例えば以上の第１の実施の形態では、レンズ−試料間距離を異ならせるのに対物レンズ３側をフォーカス軸方向へ移動させる構成について説明したが、これに代えて、試料を支持するステージ２を移動させるようにしてもよい。

また、以上の第１の実施の形態では、レンズ−試料間距離を変化させる駆動系としてピエゾ素子でなるレンズ駆動部４及びそのドライバ８で構成したが、これに限らず、レンズ試料間距離を高精度かつ滑らかに変化させることができるものであれば、他の駆動系を適用してもよい。

例えば、図２０Ａは駆動源としてパルスモータ２０を用いた例を示す。この場合、ドライバ２１はパルスモータコントローラ２２から供給される制御信号に基づいてパルスモータ２０に対する駆動信号を生成する。

また、レンズ駆動部４及び上記パルスモータ２０は、いわゆるフィードフォワード制御で駆動するようにしたが、レンズ位置あるいはステージ位置を検出するセンサを設けて、駆動源をフィードバック制御する構成も適用可能である。

図２０Ｂは、フィードバック制御によって駆動源を制御する駆動系の一構成例を示している。ドライバ２４は出力指示回路２５から供給される制御信号に基づいて駆動系２３に対する駆動信号を生成する。この場合、駆動系２３としてはシリンダ装置やモータ等が適用可能である。位置センサ２６はストレインゲージやポテンショメータ等で構成でき、その出力を取込み回路２７に供給する。取込み回路２７は位置センサ２６の出力に基づいて出力指示回路２５へ位置補償信号を供給し、駆動系２３の位置補正を行う。

また、以上の各実施の形態では、ＣＣＤカメラから供給されるビデオ信号をＮＴＳＣ方式で説明したが、これに限らず、例えばＰＡＬ（Phase Alternation by Line）方式で処理することも可能である。また、ビデオ信号デコーダ部を交換することで、ＩＥＥＥ１３９４、カメラリンクなど他のフォーマットへの対応が可能となる。この場合は、ビデオ信号デコーダ回路の機能をＦＰＧＡ４２内に取り込むことも可能である。

更に、本発明のオートフォーカス制御を実行して得られる各サンプル画像のピント評価値やフォーカス位置などもサンプル画像と共にモニタ９（図１）に表示させることも可能である。この場合、これらの情報をＮＴＳＣ等に変換して表示するためのエンコーダ回路を別途設ければよい。このエンコーダ回路は、例えば上述の第５の実施の形態で説明した構成のオートフォーカス制御装置の基板実装部品のひとつとすることもできる。

本発明の第１の実施の形態による画像処理装置１の概略構成図である。 コントローラ７の構成を説明するブロック図である。 画像処理装置１の動作を説明するフローチャートである。 画像処理装置１の他の動作例を説明するフローチャートである。 本発明の一作用を説明するフォーカスカーブの一例であり、ＦＣ１は画像平滑化処理及びピント評価値の輝度規格化処理を行ったときの例、ＦＣ２は画像平滑化処理のみ行ったときの例、ＦＣ３は従来例をそれぞれ示している。 ピント位置をピント評価値最大値近傍で曲線近似することにより算出する方法を説明する図である。 レンズ駆動部４に対する指示電圧とレンズの実移動電圧との関係を示す図である。 サンプル画像の取込みとピント評価値算出を並列処理する方法を説明する図である。 本発明の第２の実施の形態を示す図で、画面を複数に分割して各々の分割領域でピント位置を検出する方法を説明する図である。 本発明の第３の実施の形態による工程フロー図である。 本発明の第３の実施の形態に適用されるメモリ構成図である。 全焦点画像取得工程を説明するフローチャートである。 本発明の第４の実施の形態を示す図で、サンプル画像のピント位置をフォーカス軸方向に組み合わせて立体画像を取得する方法を説明する図である。 上記立体画像の合成方法を説明するフローチャートである。 本発明の第５の実施の形態によるオートフォーカス制御装置の第１の構成例を示す機能ブロック図である。 本発明の第５の実施の形態によるオートフォーカス制御装置の第２の構成例を示す機能ブロック図である。 本発明の第５の実施の形態によるオートフォーカス制御装置の第３の構成例を示す機能ブロック図である。 本発明の第５の実施の形態によるオートフォーカス制御装置の第４の構成例を示す機能ブロック図である。 本発明の第５の実施の形態によるオートフォーカス制御装置の第５の構成例を示す図である。 撮像装置１の駆動系の構成の変形例を示すブロック図である。 レンズ−ワーク間距離（フォーカス位置）とピント評価値との関係を示すフォーカスカーブの一例である。 従来技術の問題点を説明する図である。

符号の説明

１…画像処理装置、２…測定ステージ、３…対物レンズ、４…レンズ駆動部、５…鏡筒、６…ＣＣＤカメラ、７…コントローラ、８…ドライバ、９…モニタ、１０…光源、１１…オートフォーカス制御部、１１Ａ…平滑化処理回路、１１Ｂ…平均輝度算出回路、１１Ｃ…評価値算出回路、１１Ｄ…ピント位置算出回路、１５Ａ…第１メモリ部、１５Ｂ…第２メモリ部、３１〜３４…オートフォーカス制御装置、４１…ビデオ信号デコーダ、４２…ＦＰＧＡ、４３…フィールドメモリ、４４…ＣＰＵ、４５…ＲＯＭ／ＲＡＭ、４６…ＰＭＣ、４７…Ｉ／Ｆ回路、Ｐｖ…ピント評価値、Ｗ…被写体試料（ワーク）。

Claims (34)

1. レンズ−被写体間距離が異なる複数のフォーカス位置で前記被写体の画像データを各々取得する画像取得工程と、
   前記取得した各画像データに基づいて前記複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出工程と、
   前記ピント評価値が最大となるフォーカス位置をピント位置として算出するピント位置算出工程と、
   前記算出したピント位置へ前記レンズを前記被写体に対して相対移動させる移動工程とを有するオートフォーカス制御方法において、
   前記画像取得工程と前記評価値算出工程との間に、前記取得した画像データを平滑化処理する画像平滑化工程を有し、
   前記平滑化処理した画像データに基づいて前記ピント評価値を算出する
   ことを特徴とするオートフォーカス制御方法。
2. 前記画像平滑化工程の前又は後に、前記取得した画像データの画面平均輝度を算出する平均輝度算出工程を有し、
   前記ピント評価値として前記算出した画面平均輝度による除算値を用いる
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
3. 前記評価値算出工程では、前記取得した画像データにおける隣接画素間の輝度データ差に基づいて前記ピント評価値を算出する
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
4. 前記ピント位置算出工程では、前記算出したピント評価値の最大値及びその近傍の複数のピント評価値に基づいて前記ピント位置を算出する
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
5. 前記画像取得工程では、前記レンズ−被写体間距離を連続的に変化させながら、前記複数のフォーカス位置で前記画像データを各々取得する
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
6. 前記画像取得工程と前記評価値算出工程とを並列に行う
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
7. 前記被写体の照明光源に紫外光を用いる
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
8. 前記取得した画像データを複数の領域に分割し、前記分割した各領域毎に前記ピント位置を各々算出する
   ことを特徴とする請求項１に記載のオートフォーカス制御方法。
9. 前記分割した各領域のピント位置における画像を当該領域間で合成することにより、被写体の全焦点画像を取得する
   ことを特徴とする請求項８に記載のオートフォーカス制御方法。
10. 前記分割した各領域のピント位置における画像を複数のフォーカス位置間で合成することにより、被写体の立体画像を取得する
    ことを特徴とする請求項８に記載のオートフォーカス制御方法。
11. レンズ−被写体間距離が異なる複数のフォーカス位置で前記被写体の画像データを各々取得する画像取得工程と、
    前記取得した各画像データに基づいて前記複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出工程と、
    前記ピント評価値が最大となるフォーカス位置をピント位置として算出するピント位置算出工程と、
    前記算出したピント位置へ前記レンズを前記被写体に対して相対移動させる移動工程とを有するオートフォーカス制御方法において、
    前記取得した画像データを平滑化処理する画像平滑化工程と、前記取得した画像データの画面平均輝度を算出する平均輝度算出工程とを有し、
    前記平滑化処理した画像データに基づいて前記ピント評価値を算出するとともに、
    前記ピント評価値として、前記算出した画面平均輝度による除算値を用いる
    ことを特徴とするオートフォーカス制御方法。
12. 前記評価値算出工程では、前記取得した画像データにおける隣接画素間の輝度データ差に基づいて前記ピント評価値を算出する
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
13. 前記ピント位置算出工程では、前記算出したピント評価値の最大値及びその近傍の複数のピント評価値に基づいて前記ピント位置を算出する
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
14. 前記画像取得工程では、前記レンズ−被写体間距離を連続的に変化させながら、前記複数のフォーカス位置で前記画像データを各々取得する
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
15. 前記画像取得工程と前記評価値算出工程とを並列に行う
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
16. 前記被写体の照明光源に紫外光を用いる
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
17. 前記取得した画像データを複数の領域に分割し、前記分割した各領域毎に前記ピント位置を各々算出する
    ことを特徴とする請求項１１に記載のオートフォーカス制御方法。
18. 前記分割した各領域のピント位置における画像を当該領域間で合成することにより、被写体の全焦点画像を取得する
    ことを特徴とする請求項１７に記載のオートフォーカス制御方法。
19. 前記分割した各領域のピント位置における画像を複数のフォーカス位置間で合成することにより、被写体の立体画像を取得する
    ことを特徴とする請求項１７に記載のオートフォーカス制御方法。
20. レンズ−被写体間距離が異なる複数のフォーカス位置で取得された各画像データに基づいて前記複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出手段と、前記算出したピント評価値の最大値に基づいてピント位置を算出するピント位置算出手段とを備えたオートフォーカス制御装置であって、
    前記取得した画像データを平滑化処理する画像平滑化手段を有し、前記平滑化処理した画像データに基づいて前記ピント評価値を算出する
    ことを特徴とするオートフォーカス制御装置。
21. 前記取得した画像データの画面平均輝度を算出する平均輝度算出手段を有し、前記ピント評価値として、前記算出した画面平均輝度による除算値を用いる
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
22. 前記評価値算出手段は、前記取得した画像データにおける隣接画素間の輝度データ差を算出するエッジ強調処理手段である
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
23. 前記ピント位置算出手段は、前記算出したピント評価値の最大値及びその近傍の複数のピント評価値に基づいて前記ピント位置を算出する
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
24. 前記取得した各画像データを用いて、前記被写体の全焦点画像を合成する全焦点画像合成手段を備えた
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
25. 前記取得した各画像データを用いて、前記被写体の立体画像を合成する立体画像合成手段を備えた
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
26. 当該オートフォーカス制御装置は、前記評価値算出手段と、前記ピント位置算出手段と、前記画像平滑化手段と、前記画像データの画面平均輝度を算出する平均輝度算出手段とが、単数又は複数の素子として同一基板上に実装された、基板実装体でなる
    ことを特徴とする請求項２０に記載のオートフォーカス制御装置。
27. 前記基板上には、レンズ−被写体間距離調整用の駆動手段を制御する駆動制御用素子が実装されている
    ことを特徴とする請求項２６に記載のオートフォーカス制御装置。
28. 前記評価値算出手段と、前記画像平滑化手段と、前記平均輝度算出手段とが、単一のＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）で構成されている
    ことを特徴とする請求項２６に記載のオートフォーカス制御装置。
29. レンズ−被写体間距離が異なる複数のフォーカス位置で前記被写体の画像データを各々取得する画像取得手段と、前記取得した各画像データに基づいて前記複数のフォーカス位置毎に各々ピント評価値を算出する評価値算出手段と、前記算出したピント評価値の最大値に基づいてピント位置を算出するピント位置算出手段と、前記算出したピント位置へ前記レンズを前記被写体に対して相対移動させる駆動手段とを備えた画像処理装置において、
    前記取得した画像データを平滑化処理する画像平滑化手段を有し、前記平滑化処理した画像データに基づいて前記ピント評価値を算出する
    ことを特徴とする画像処理装置。
30. 前記取得した画像データの画面平均輝度を算出する平均輝度算出手段を有し、前記ピント評価値として前記算出した画面平均輝度による除算値を用いる
    ことを特徴とする請求項２９に記載の画像処理装置。
31. 前記評価値算出手段は、前記取得した画像データにおける隣接画素間の輝度データ差を算出するエッジ強調処理手段でなる
    ことを特徴とする請求項２９に記載の画像処理装置。
32. 前記ピント位置算出手段は、前記算出したピント評価値の最大値及びその近傍の複数のピント評価値に基づいて前記ピント位置を算出する
    ことを特徴とする請求項２９に記載の画像処理装置。
33. 前記取得した各画像データを用いて、前記被写体の全焦点画像を合成する全焦点画像合成手段を備えた
    ことを特徴とする請求項２９に記載の画像処理装置。
34. 前記取得した各画像データを用いて、前記被写体の立体画像を合成する立体画像合成手段を備えた
    ことを特徴とする請求項２９に記載の画像処理装置。
    

Images