JP2005148860A - プログラマブルロジックコントローラ及びこれに用いられる画像オートフォーカスモジュール - Google Patents

Abstract

【課題】 通信時間の短縮化及びシステム構築コストの低減を図ることができるプログラマブルロジックコントローラ及びオートフォーカスモジュールを提供する。
【解決手段】 本発明のプログラマブルロジックコントローラ（ＰＬＣ）２１は、カメラ１０により撮影された対象ワークの映像を画像処理装置６を介して観察又は検査し、その結果得られる出力信号に基づいて表示装置８やシリンダ機構９を制御し、ＣＰＵモジュール２２と、通信モジュール２３と、オートフォーカス（ＡＦ）モジュール２４と、Ｉ／Ｏモジュール２５とが、それぞれ互いに内部バス２６を介して接続されて構成されている。これにより、ＡＦ動作に要する通信は、ＰＬＣ２１内部のデータレジスタや内部接点を介して行われることになるので、通信時間が実質的に不要となると共に、煩雑な配線、信号のやりとりを不要としてシステム構築コストの低減を図ることが可能となる。
【選択図】 図１

Description

本発明は、通信時間の短縮とシステム構築コストの低減を図ることができる、画像処理システムに用いて好適なプログラマブルロジックコントローラ及びこれに用いられる画像オートフォーカスモジュールに関する。

ビデオカメラにより対象ワークを撮影し、その映像によりワークを観察、検査し又は必要な情報を取り出すための画像処理は、近年における工場自動化（ＦＡ化）に必須な技術となっている。近年のマイクロプロセッサをはじめとする技術の進歩により、画像処理装置は多様化を見せている。例えば、画像処理装置を「シーケンサ」の呼称で知られるプログラマブルロジックコントローラ（以下「ＰＬＣ」ともいう。）と組み合わせて、単にセンサのように使用するケースが見られる。

ＰＬＣが装置を制御し、対象ワークの画像を捉え、画像から判定を行い、次の処理を決めるような工場自動化の設備を制御する画像処理システムの構成例を図７に示す。この例において、対象ワークを組み立て中の部品とし、画像処理により組み付けの良否を判定し、良品であれば次の工程に供給し、不良であれば前の工程に戻すような処理を行う。

すなわち、ＰＬＣ１は、ＣＰＵモジュール２、通信モジュール３及びＩ／Ｏモジュール４がそれぞれ互いに内部バス５を介して有機的に接続された、ひとつのユニットとして構成されている。通信モジュール３にはＲＳ−２３２Ｃ等の通信ケーブルを介して画像処理装置６が接続され、Ｉ／Ｏモジュール４には、例えば、ワークの検出センサ７、ワーク組付け状態の良否を表示する表示装置８、ワーク搬送系のシリンダ機構９等の外部制御対象機器が接続されている。

実動作例としては、検出位置へのワークの到来をセンサ７が検知しそれをＰＬＣ１（ＣＰＵモジュール２）が認識すると、画像処理装置６へコマンドを送り、検出位置で位置決めされているワークをカメラ１０で撮影させる。画像処理装置６は、ＣＣＤカメラ１０により撮影されたワークの画像情報に基づいてワークの組付けの良否を判定し、その判定結果を含む出力信号をＰＬＣ１へ供給する。ＰＬＣ１は、ワークの組み付けの良否に応じて表示装置８を作動させると共に、シリンダ機構９を駆動してワークを次工程又は前工程へ送る作用を行う。

さて、近年における対象ワークの小型化、観察部の微細化、検査の精細化等により、画像取得時の光学倍率が大きくなる傾向にある。光学倍率が大きくなると、その焦点深度は浅くなり、カメラ位置に対して観察部の相対位置に精度が求められるようになる。このため、この種の画像処理システムでは、最適なフォーカスを得るオートフォーカスは必須の機能となっている。

図８は、図７に示した画像処理システムに、市販のオートフォーカス装置１１を追加してオートフォーカス機能をもたせた従来の画像処理システムの構成例を示している。このような構成の従来のオートフォーカス機能を備えた画像処理システムでは、レンズ−ワーク間距離を調整するフォーカス軸駆動ユニット１２が付加され、ＰＬＣ１からのコマンドを受けてオートフォーカス装置がフォーカス軸駆動ユニット１２を最適フォーカス位置（ピント位置）へ駆動制御する。そして、最適フォーカス位置で撮影されたワークの画像データに基づいて、例えば画像処理装置６がワークの良否を判定し、その結果をＰＬＣ１へ出力する作用を行う。

特開平８−３０６３０９号公報 特開平６−２１７１８０号公報 特開２００２−３３３５７１号公報 特許第２９７１８９２号公報

しかしながら、図８に示した従来のオートフォーカス機能を備えた画像処理システムでは、ＰＬＣ１とオートフォーカス装置１１との間にＲＳ−２３２Ｃ等による通信手段が必要となり、その通信時間が問題となる場合がある。
また、ＰＬＣ１とオートフォーカス装置１１との通信、オートフォーカス装置１１とフォーカス軸駆動ユニット１２との接続、ＰＬＣ１側のインターロック実現、フォーカス軸センサをオートフォーカス装置１１に入力すると共に各種インターロック実現のためのＰＬＣ１側の接続環境の整備など、制御システムが複雑になる。
更に、オートフォーカス装置１１が高価であるため、システム構築コストも高価となる等の種々の問題を有している。

以上の理由から、近年、特に製造ラインにおけるスピードアップに対する通信等のオーバーヘッド（時間）がネックとなっていると共に、各々単体動作が可能な装置の組合せの場合、インターフェース部分がコストアップを招く等、簡単に実現できないのが現状である。

本発明は上述の問題に鑑みてなされ、オートフォーカス機能を備えた画像処理システム等において、通信時間の短縮化及びシステム構築コストの低減を図ることができるプログラマブルロジックコントローラ及びこれに用いられる画像オートフォーカスモジュールを提供することを課題とする。

以上の課題を解決するに当たり、本発明のプログラマブルロジックコントローラは、撮像手段により撮影された対象ワークの映像を画像処理手段を介して観察又は検査し、その結果得られる出力信号に基づいて制御対象機器を制御するプログラマブルロジックコントローラであって、ＣＰＵモジュールと、画像処理手段からの出力信号が入力されると共に制御対象機器に対して制御信号を出力する入出力モジュールと、撮像手段から供給される対象ワークの画像データに基づいて、撮像手段を最適フォーカス位置へ駆動制御する画像オートフォーカスモジュールとが、それぞれ互いに内部バスを介して接続されてなる。

本発明では、撮像手段から供給される対象ワークの画像データに基づいて撮像手段を最適フォーカス位置へ駆動制御する画像オートフォーカスモジュールを、プログラマブルロジックコントローラの一構成モジュールとして構成している。これにより、画像オートフォーカスモジュールは、ＣＰＵモジュール及び入出力モジュール等とともに共通の内部バスを介して有機的に接続されて１つのＰＬＣユニットを構成することから、画像オートフォーカス動作に要する通信は、データレジスタや内部接点を介して行われることになるので通信時間が実質的に不要となると共に、煩雑な配線、信号のやりとりを不要としてシステム構築コストの低減を図ることが可能となる。

撮像手段には、対象ワークを撮影するカメラと、当該カメラのレンズと、レンズ−ワーク間距離を調整するフォーカス軸駆動手段とが含まれる。カメラは、ＣＣＤセンサやＣＭＯＳセンサ等の公知のイメージセンサを有する。画像オートフォーカスモジュールは、フォーカス軸駆動手段を調整し、レンズ−ワーク間距離の異なる複数のフォーカス位置でワークの画像データを取得し、取得した各画像データのうち最適なフォーカス位置を検出する。
なお、画像オートフォーカスモジュールが直接的にフォーカス軸駆動手段を駆動制御する構成に限らず、間にＣＰＵモジュールを介在させて間接的にフォーカス軸駆動手段を駆動制御する構成であってもよい。

制御対象機器としては、ワークの種類、ワーク良否の判定内容、画像処理システムの利用態様等に応じて適宜選定され、例えば、ワーク良否の判定結果を表示する表示装置、ワーク良否の判定結果に応じて予め設定された供給先へワークを搬送するシリンダ機構、上記撮像手段を構成する光源等の照明装置等が該当する。

本発明によれば、撮像手段から供給される対象ワークの画像データに基づいて撮像手段を最適フォーカス位置へ駆動制御する画像オートフォーカスモジュールを、プログラマブルロジックコントローラの一構成モジュールとして構成したので、画像オートフォーカス動作に要する通信時間を従来よりも短縮できると共に、システム構築コストの低減を図ることができる。

以下、本発明の実施の形態について図面を参照して説明する。

図１は本発明の実施の形態によるプログラマブルロジックコントローラ（以下「ＰＬＣ」ともいう。）２１を備えた画像処理システム２０の概略構成を示すブロック図である。なお、図において、上述した従来例と対応する部分には同一の符号を付している。

本実施の形態における画像処理システム２０は、画像処理装置６にて観察又は検査されたワークの形態が、予め設定された所定の良品レベルにあるか否かを判定し、良品であれば次工程へ供給し、不良品であれば専用の回収部へ供給するというように、工場自動生産ラインにおける一検査工程に適用されている。

ＰＬＣ２１は、ＣＰＵモジュール２２と、通信モジュール２３と、画像オートフォーカスモジュール（以下「ＡＦモジュール」ともいう。）２４と、Ｉ／Ｏモジュール２５とが、それぞれ互いに内部バス２６を介して有機的に接続された、ひとつのユニットとして構成されている。

ＣＰＵモジュール２２はＰＬＣ２１のＣＰＵ部として構成され、通信モジュール２３，ＡＦモジュール２４及びＩ／Ｏモジュール２５の各モジュールの動作を制御する。

通信モジュール２３は、例えばＲＳ−２３２Ｃ等の通信ケーブルを介して外部の画像処理装置（画像処理手段）６と接続されている。画像処理装置６はコンピュータ等で構成され、対象ワークを撮影するＣＣＤカメラ１０から供給される当該ワーク（又はその観察面）の映像を観察又は検査する。そして、観察又は検査の結果得られる出力信号をＰＬＣ２１（通信モジュール２３）へ供給するように構成されている。

画像処理装置６から供給される出力信号としては、ワークの良否判定を画像処理装置６で行う場合にはその良否に関する情報が含まれ、また、ワークの良否判定をＰＬＣ２１（ＣＰＵモジュール２２）で行う場合にはその判定を行う上で必要なワークの形態に関する情報が含まれる。

なお、ワークの形態に関する情報としては、観察又は検査対象によって適宜定められ、部品の自動組付ラインであれば製品の組付面における各部の寸法データを含む情報、接着剤を用いる工程であれば接着剤の塗布量あるいは部品接着後の接着剤のはみ出し量等に関する情報が該当する。また、半導体製造ラインにおけるウェーハ被処理面の加工状況を含む情報等であってもよい。

画像処理装置６との接続は、通信モジュール２３に限らず、Ｉ／Ｏモジュール２５であってもよい。このＩ／Ｏモジュール２５は、検査位置へのワークの到来を告げるセンサ７を含む各種センサと接続されると共に、ワークの良否判定結果を表示する表示装置８や、ワークを次工程又は回収部へ搬送する搬送系のシリンダ機構９、検査位置にワークを位置決めする位置決め機構、ブザー（警報装置）等の外部制御対象機器に接続されている。
なお、これら通信モジュール２３及びＩ／Ｏモジュール２５により、本発明の「入出力モジュール」が構成されている。

ＡＦモジュール２４は、ＣＣＤカメラ１０から供給されるワークの画像データに基づいて、フォーカス軸駆動ユニット１２を最適フォーカス位置へ駆動制御する。最適フォーカス位置は、ＣＣＤカメラ１０のレンズとワークとの間の距離（レンズ−ワーク間距離）を変えてワークの画像データを複数取得し、その各々についてピント評価値を計算することにより検出されるが、その詳細については後述する。

ＣＣＤカメラ１０及びフォーカス軸駆動ユニット１２は、本発明に係る「撮像手段」を構成する。この撮像手段には、ワークに光を照射する照明光源が含まれていてもよい。また、この照明光源は、ＰＬＣ２１によって光量等の調節がなされるようにしてもよい。

次に、以上のように構成される本実施の形態の画像処理システム２０の動作例について説明する。

ＰＬＣ２１に電源が投入されると、ＣＰＵモジュール２２は通信モジュール２３、ＡＦモジュール２４及びＩ／Ｏモジュール２５の初期設定を行い、これら各モジュール２３〜２５は初期化情報をＣＰＵモジュール２２へ提供する。これは、各モジュール２３〜２５をＰＬＣ２１のモジュールとして認識し使用可能状態にするための一連の処理である。

また、ＣＰＵモジュール２２はＡＦモジュール２４に対して、オートフォーカス動作に関するパラメータを設定する。パラメータの設定は、ＰＬＣ２１内部のデータレジスタ及び内部リレーを介して行われる。データレジスタはＰＬＣ内部でデータを受け渡すための領域で、内部リレーはＰＬＣ内部の接点（１ビット分）である。信号のＯＮ／ＯＦＦは内部リレーが使われ、データの受渡しはデータレジスタが使われる。

ベルトコンベヤ等の部品搬送系によって搬送される対象ワークが検査位置に到達するとセンサ７が作動し、これがＰＬＣ２１のＩ／Ｏモジュール２５へ出力される。ＣＰＵモジュール２２はＩ／Ｏモジュール２５へ供給された当該センサの出力信号を内部バス２６を介して認識し、同じくＩ／Ｏモジュール２５を介して図示しない位置決め機構を作動させて当該ワークを検査位置へ位置決めする。

検査位置には、ＣＣＤカメラ１０が設置されている。ＣＰＵモジュール２２はＡＦモジュール２４に対し、内部バス２６を介して、後述する所定のアルゴリズムによってカメラ１０の画像オートフォーカス制御を実行させる。画像オートフォーカス制御の開始は、ＡＦモジュール２４のレディ（Ready）状態においてＣＰＵモジュール２２が動作開始フラグを立ち上げ、これをＡＦモジュール２４が認識することによって実行される。

画像オートフォーカス制御は、ＡＦモジュール２４によりフォーカス軸駆動ユニット１２が最適フォーカス位置へ駆動制御されることによって完了する。ＣＰＵモジュール２２は、ＡＦモジュール２４からの動作終了フラグ（内部リレーチェック）に基づいて画像オートフォーカス制御の動作終了を認識する。

なお、画像オートフォーカス制御を上述のようにフラグのやりとりのみで実行する場合に限らず、ＣＰＵモジュール２２とＡＦモジュール２４との間で以下に示す情報の供給を設定、追加することもできる。
例えば、ＣＰＵモジュール２２からＡＦモジュール２４へは、画像オートフォーカス制御の動作開始と併せてピント位置の検索範囲情報や検索速度情報を供給し、また、ＡＦモジュール２４からＣＰＵモジュール２２へは、画像オートフォーカス制御の動作終了と併せて、動作結果のフォーカス軸座標やピント評価値、フォーカス位置付近の画面の平均輝度等の情報を供給することができる。
この例によれば、ＣＰＵモジュール２２がフォーカス軸座標情報からワーク相互間のフォーカス位置のバラツキを判断して、フォーカス位置の検索範囲を絞ったり検索速度を早める等して画像オートフォーカス制御の動作時間の短縮化を図ることができるとともに、輝度情報を照明光源の光量制御にフィードバックする等、装置パフォーマンスの向上をも図ることが可能となる。

続いて、ＣＰＵモジュール２２は、画像処理装置６に対し、画像オートフォーカス制御がなされたＣＣＤカメラ１０によって撮影されたワークの映像に基づいて、所定の画像処理を実行させるコマンドを発信する。画像処理装置６は、取得した映像を画像処理し、ワーク観察部の評価のための基準データに基づいて良否判定を行い、その判定結果を含む出力信号をＰＬＣ２１へ供給する。なお、良否判定をＰＬＣ２１（ＣＰＵモジュール２２）で行う場合には、判定に寄与する情報を含む出力信号をＰＬＣ２１へ供給する。

画像処理装置６から上記出力信号の供給を受けたＰＬＣ２１は、ＣＰＵモジュール２２において、ワークの良否に応じて設定された表示装置８、シリンダ機構９等の外部制御対象機器に対する制御信号が生成され、これがＩ／Ｏモジュール２５を介して各制御対象機器へ供給される。

例えば、良品と判定した場合は、表示装置８に対して良品を意味する表示（色、文字あるいは記号等）を表示させるとともに、位置決め機構を解除しシリンダ機構９を駆動してワークを次工程へ供給する。一方、不良品と判定した場合は、表示装置８に対して不良品を意味する表示を表示させるとともに、位置決め機構を解除しシリンダ機構９を駆動してワークを所定の回収部へ搬送する。また、必要に応じてブザー等の警報機を鳴動させる。

なお、表示装置８の設置は任意である。シリンダ機構９は、プッシャやアーム等、油圧又は空圧等の流体圧を駆動源とする装置が用いられるが、電磁気的に駆動制御されるものでもよい。また、次工程へのワークの供給はコンベヤ等の搬送系を利用し、回収部へワークを案内する場合のみシリンダ機構９を利用するようにしてもよい。

以上のように、本実施の形態によれば、ＣＣＤカメラ１０の画像オートフォーカス制御を行うＡＦモジュール２４をＰＬＣ２１の１モジュールとして構成し、ＣＰＵモジュール２２等に対して内部バス２６を介して有機的に接続されて１つのＰＬＣユニットを構成する。このため、オートフォーカス動作に要する通信は、データレジスタや内部接点を介して行われることになるので、通信時間が実質的に不要となり、画像オートフォーカス制御の高速動作にも対応できるようになる。

また、複雑な配線、信号のやりとりを不要としてシステム構築コストの低減を図ることが可能となり、プログラミングも容易で、メンテナンス性も高い。このように、よりシンプルで効率的な制御系を実現でき、応用範囲特に高い倍率が必要な用途へも適用拡大が可能となる。

次に、ＡＦモジュール２４による画像オートフォーカス制御の詳細について説明する。

一般に、画像オートフォーカス制御は、被写体試料（ワーク）の画像データからピントの合い具合を評価し数値化したピント評価値を用いて行っている。つまり、レンズ−試料間距離を変えて試料の画像データを収集し、その各々についてピント評価値を計算して好適なフォーカス位置を検索している。
図３Ａは、レンズ−ワーク間距離（横軸）とピント評価値（縦軸）との関係例を示している。これは、レンズ−ワーク間距離を一定間隔で変化させて画像を取り込み、各画像のピント評価値を計算してプロットしたものである。グラフ中のピント評価値最大値が、最適フォーカス位置である。以下、このレンズ−ワーク間距離に対するピント評価値のプロットを「フォーカスカーブ」と呼ぶ。

一方、対象ワークの微細化が進み、オートフォーカス技術を適用する検査工程においては、分解能の向上が求められている。この分解能の向上には、照明光源の短波長化・単一波長化で対応できる。短波長化により光学的分解能を上げ、単一波長化により色収差等の影響を回避する。
しかしながら、照明光源の短波長化により光路に使用するレンズ等の光学材料に制約が生じ、また、単一波長化によりスペックルなどの影響が出てくるという問題がある。ここでいうスペックルとは、画面の明るさが斑状に分布した状態をいい、光源の波長や光学系の構成によってユニークなパターンの濃淡分布をとる。

これらの影響により、図３Ａに示したフォーカスカーブは、図３Ｂに示すように、最適フォーカス位置のピント評価値よりも、光学系の影響部が大きな値をとる場合がある。フォーカスカーブの形状や数値範囲は、対象物の反射率など表面状態により一義に決まらないので、この状態でピント評価値の最大値からフォーカス位置を求める方法では、最適なフォーカス位置を安定して求めることはできない。

そこで、本実施の形態のＡＦモジュール２４を以下のように構成することにより、光学系の影響を排除して安定したオートフォーカス動作を実現するようにしている。

図２はＡＦモジュール２４の内部構成を示すブロック図である。

ＣＰＵ３０は、ＡＦモジュール２４の制御と、内部バス２６を介してＣＰＵモジュール２２とのインターフェースを担当する。ＣＣＤカメラ１０から出力された画像信号は、カメラインターフェース３１及びＡ／Ｄ変換器３２を経て、メモリ３３に取り込まれる。コントローラ３４は、メモリ３３から画像信号を読み出し、平滑化処理、平均輝度算出処理、ピント評価値算出処理、フォーカス軸制御処理の各処理を実行し、ドライバ３５を介してフォーカス軸駆動ユニット１２を制御する。モニタ３８は、処理画像、処理結果、端末４０で入力されたパラメータ設定情報などを必要に応じて表示するための表示器であり、表示内容は、表示用メモリ３９に格納される。

なお、フォーカス軸駆動ユニット１２としては、パルスモータ等でなる駆動部３６と、動作位置原点やリミット位置、実動作位置の検出に使用されるセンサ３７とを有し、ドライバ３５から出力されるパルス列を受けてカメラレンズをフォーカス軸方向へ駆動するように構成することができる。これ以外にも、コントローラからの出力をＤ／Ａ変換して、ドライバによりピエゾステージを駆動するようにしてもよい。

さて、コントローラ３４は、平滑化回路３４Ａ、平均輝度算出回路３４Ｂ、ピント評価値算出回路３４Ｃ及びフォーカス軸制御回路３４Ｄを備えている。

平滑化回路３４Ａは、複数のフォーカス位置（サンプル点）で取得したワークの各々の画像データ（サンプル画像）のオートフォーカス対象領域（画面全体あるいは画面内の一部領域）を平滑化処理する回路であり、本発明の「画像平滑化手段」に対応する。この平滑化回路３４Ａによって、取得した各サンプル画像の明るさの斑状の分布（スペックル）を低減する。
なお、画像平滑化の処理条件（処理対象画素数、フィルタリング係数、処理回数、重み付けの有無等）は任意に設定可能であり、これらの処理条件は、端末４０を介して設定される。

平均輝度算出回路３４Ｂは、各サンプル画像のオートフォーカス対象領域の画面平均輝度を算出する回路であり、本発明の「平均輝度算出手段」に対応する。この平均輝度算出回路３４Ｂによって得られた各サンプル点における画面平均輝度は、後述するピント評価値算出回路３４Ｃにおける当該サンプル点のピント評価値Ｐｖの算出に供される。

ピント評価値算出回路３４Ｃは、各サンプル画像のピント評価値Ｐｖを各々算出する回路であり、本発明の「評価値算出手段」に対応する。本実施の形態では、このピント評価値算出回路３４Ｃをエッジ強調処理回路を含む構成としている。

本実施の形態において、ピント評価値とは、画像の特徴部・輪郭部がはっきり見える状態を数値で評価した指標をいう。特徴部・輪郭部の画素間の輝度データ変化を見ると、はっきりした像では急峻な変化となり、ぼけた像では緩やかな変化となる。そこで本実施の形態では、隣り合う画素間の輝度データ差を評価することで、ピント評価値Ｐｖを計算するようにしている。

実処理例では、取り込んだ画像中全画素に［数１］の演算を行い、周囲の画素との輝度データ差を求める。この式で、前項は縦方向、後項は横方向の輝度変化を検出する。これにより、処理画素輝度によらず、評価点とその周囲との間の輝度変化分のみを抽出できる。

なお、この例では処理対象画素領域を３×３としているが、５×５や７×７等であってもよい。また、係数に重み付けを行っているが、係数の設定の仕方は任意であり、重み付けなしで処理するようにしてもよい。

ピント評価値Ｐｖの算出は、上記エッジ強調処理式による計算後、平均輝度算出回路３４Ｂで算出した対応サンプル点における画面平均輝度で除算処理を実行する。すなわち、各サンプル画像のピント評価値Ｐｖは、［数２］で示すように、エッジ強調処理回路により得られるピント評価値Ｐvoの、当該サンプル点の画面平均輝度Ｐaveによる除算値とする。

［数２］において、Ｐv(i)はｉ番目のフォーカス位置におけるピント評価値、Ｐvo(i)はｉ番目のフォーカス位置における処理計算値、Ｐave(i)はｉ番目のフォーカス位置における画面平均輝度である。

なお、［数３］に示すように、［数２］で得られる演算値に画面平均輝度の最大値Ｐavemaxを乗算してピント評価値Ｐｖを算出するようにしてもよい。

このように、ピント評価値（Ｐｖ）として画面平均輝度による除算値を用いるのは、ピント評価値が評価点（画素）とその周囲の画素との輝度の差がどの位あるかに関係したものであるので、取得した画像間に輝度のバラツキがあり、画面平均輝度（当該画面を構成する画素個々の輝度の総和を当該画面の全画素数で除算した輝度値）そのものが変化した場合、そこから計算される指標の絶対値も変化してしまうのを回避するためである。

例えば、周囲との輝度差が２０％あるとする。画面平均輝度５０のとき当該２０％の輝度差は１０となり、画面平均輝度１００では２０となる。このように、同じ変化率であっても元の画面平均輝度により絶対値が大きく異なってしまう。一般の可視光顕微鏡などの光学系では問題となることは少ないが、紫外光顕微鏡などの光学系ではこのような問題は顕著となる。

そこで本実施の形態では、このような画面輝度変化に対応するため、画面平均輝度（Ｐave）でピント評価値を規格化して、画面輝度変化によるピント評価値への影響を防ぐようにしている。つまり、ピント評価値としてその画面平均輝度の除算値を用いることによって、画面平均輝度５０、輝度差２０％の場合のピント評価値は０．２（１０／５０）となり、画面平均輝度１００、輝度差２０％の場合のピント評価値も０．２（２０／１００）となって互いに一致することになり、フォーカス位置間における輝度のバラツキによるピント評価値への影響が排除されることになる。

次に、フォーカス軸制御回路３４Ｄは、ピント評価値算出回路３４Ｃで算出したピント評価値の最大値に基づいてピント位置を算出し、算出したピント位置を最適フォーカス位置としてフォーカス軸駆動ユニット１２を駆動するもので、本発明の「ピント位置算出手段」及び「駆動手段」に対応する。

一般的に、画像オートフォーカス制御は、レンズ−ワーク間距離が異なる複数のフォーカス位置でサンプル画像を取得し、その中から最大のピント評価値が得られるサンプル画像のフォーカス位置を検出することによりピント位置を決定する。したがって、サンプル画像が多いほど（サンプル間のフォーカス移動量が狭いほど）高精度なオートフォーカス制御が実現できる。しかしその一方で、サンプル数が増大すれば処理に要する時間も大きくなり、オートフォーカス制御の高速性を確保できなくなる。

そこで本実施の形態では、図６に示すように、算出したピント評価値の最大値Ｐv(m)及びその近傍の複数のピント評価値（Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)，Ｐv(m-3)，Ｐv(m+3)）に基づいて最適フォーカス位置（ピント位置）を検出するようにしている。

図６に示すように、ピント位置近傍は上に凸の二次曲線に近い。そこで、ピント位置近傍点を使い、最小二乗法により近似二次曲線を計算し、頂点を求め、それをピント位置とする。図中実線は３点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)）、破線は５点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)）、一点鎖線は７点（Ｐv(m)，Ｐv(m-1)，Ｐv(m+1)，Ｐv(m-2)，Ｐv(m+2)，Ｐv(m-3)，Ｐv(m+3)）のピント評価値から近似計算した曲線である。グラフの開き具合は異なるが、頂点の位置はほぼ同じで、単純な処理ながら有効な近似方法であることがわかる。

なお、上述の曲線近似法に限らず、例えば、Ｐv(m)及びＰv(m+1)の２点を通る直線と、Ｐv(m-1)及びＰv(m-2)の他の２点を通る直線とから互いの交点を計算してそれをピント位置とする方法（直線近似法）や、正規分布曲線近似等の他の近似法を用いてピント位置を検出するようにしてもよい。

次に、図４を参照して、ＡＦモジュール２４による画像オートフォーカス制御の動作フローを説明する。

まず、対象ワークのオートフォーカス領域、フォーカス位置検索範囲、取得画像サンプル間のフォーカス移動量（フォーカス軸ステップ長）、画像平滑化処理条件、エッジ強調処理条件などの初期設定が入力された後（ステップＳ１）、画像オートフォーカス制御が実行される。

ＣＣＤカメラ１０の対物レンズは、フォーカス軸駆動ユニット１２の駆動により、オートフォーカス制御開始位置からフォーカス軸方向に沿って移動を始めると共に、画像同期信号に同期してワークのサンプル画像を取得する（ステップＳ２，Ｓ３）。次いで、取得したサンプル画像のフォーカス軸座標（レンズ−ワーク間距離座標）を取得する（ステップＳ４）。
なお、レンズの移動方向は特に限定されないが、本例ではワークに接近する方向へ移動する。

この後、取得したサンプル画像に対する画面平均輝度算出処理、画像平滑化処理、エッジ強調処理及びピント評価値算出処理が行われる（ステップＳ５〜Ｓ８）。

画面平均輝度算出工程（ステップＳ５）は、平均輝度算出回路３４Ｂにて演算される。算出された画面平均輝度は、後にピント評価値の算出に供される。なお、この画面平均輝度算出工程は、平滑化処理工程（ステップＳ６）の後に行うようにしてもよい。

画面平滑化処理工程（ステップＳ６）は、平滑化回路３４Ａにて処理される。この画像平滑化処理工程により、取得したサンプル画像において、光源の単一波長化に起因するスペックルの影響が排除される。

エッジ強調処理工程（ステップＳ７）及びピント評価値算出処理工程（ステップＳ８）は、ピント評価値算出回路３４Ｃにて実行される。これらの工程では、先の平滑化処理工程（ステップＳ６）で平滑処理されたサンプル画像に基づいて、例えば上記［数１］で示したエッジ強調処理式によって特徴部・輪郭部の画素間の輝度データ差を計算する。

以上のステップＳ２〜Ｓ８によってオートフォーカスループ（ＡＦループ）が構成される。このＡＦループでは、取得される各フォーカス位置におけるサンプル画像それぞれに対して上述と同様な処理が実行される。

ＣＣＤカメラ１０のレンズ総移動長が全検索範囲に達すると、ＡＦループは終了し、各サンプル画像のピント評価値の画面平均輝度による規格化処理が実行される（ステップＳ９，Ｓ１０）。ピント評価値の輝度規格化処理工程（ステップＳ１０）では、上記［数３］式で示した演算式で各サンプル画像のピント評価値Ｐｖがそれぞれ算出される。

なお、この輝度規格化処理工程（ステップＳ１０）は、本例のようにＡＦループ終了後に行う場合に限らない。すなわち、ＡＦループ内において各サンプル画像のピント評価値算出処理と同時に行うようにしてもよい。この場合、上記［数２］式で示した演算式で各サンプル画像のピント評価値Ｐｖを算出することができる。

図５に、平滑化処理（ステップＳ６）及び輝度規格化処理（ステップＳ１０）を行って得られるフォーカスカーブ（ＦＣ１）を実線で、平滑化処理のみ行って得られるフォーカスカーブ（ＦＣ２）を一点鎖線でそれぞれ示す。また比較のため、図３Ｂに示したフォーカスカーブ（ＦＣ３）を破線で示す。

図５から明らかなように、本実施の形態によれば、光学系の影響部を大きく改善し、最適フォーカス位置（ピント位置）として検出されるべきピント評価値のピークを顕在化させることができる。これにより、短波長、単一波長の光学系においても安定かつ正確なオートフォーカス動作を実現することができる。

また、サンプル画像の平滑化処理だけでも光学系影響部の改善が見られるので、必要に応じて輝度規格化処理工程を省略してもよいが、この輝度規格化処理を行うことによって光学系影響部の更なる改善が図られ、ピント位置のより正確な検出が可能となる。

続いて、ピント位置算出工程が行われる（ステップＳ１１）。このピント位置算出処理は、フォーカス軸制御回路３４Ｄにて実行される。ピント位置の算出には、図６を参照して説明したように、ピント評価値の最大値とその近傍の複数のピント評価値の各点を通る近似曲線を求め、その頂点を検出してこれをピント位置とする。

これにより、従来より広く適用されている山登り法と比較して効率的かつ高精度にピント位置を検出することができるので、オートフォーカス動作の高速化に大きく貢献することができる。

一方、図６において、横軸のレンズ−ワーク間距離が総検索範囲とした場合、動作中にピント位置を通過したことが判断できれば、Ｐv(m+3)以降の画像取得は不要となり、その分の動作時間を削減することができるので、オートフォーカス動作の更なる高速化を実現することが可能となる。なお、ピント位置通過の判断手法としては、ある一定以上のピント評価値（パラメータとして与える、或いはこれまでのフォーカス動作結果から学習する）を超える山を通過して、近似に必要なサンプル数を取得する方法等が挙げられる。

そして最後に、ＣＣＤカメラ１０のレンズをピント位置へ移動させる移動工程（ステップＳ１２）を経て、ＡＦモジュール２４による画像オートフォーカス制御が完了する。

以上のようにして、短波長、単一波長の光学系に起因する影響を排除して高精度な画像オートフォーカス制御を安定して行うことができ、これにより例えば半導体ウェーハ等の表面に形成された微細な構造体を分解能高く観察、検査することができる。

以上、本発明の実施の形態について説明したが、勿論、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々の変形が可能である。

例えば以上の実施の形態では、対象ワークとして、部品自動組立ラインの検査工程における部品の良否判定用画像処理システムを例に挙げて説明したが、勿論、これに限らず、例えば、部品の組立状態を複数の評価基準に従ってランク分けする評価システムにも本発明は適用可能である。
この場合、画像処理装置６からＰＬＣ２１へ供給される出力信号としては、当該画像処理装置６にて検査結果を評価する場合にはその評価結果が含まれ、他方、ＰＬＣ２１（ＣＰＵモジュール２２）にて検査結果を評価する場合にはその評価を行うのに必要な情報が含まれることになる。

また、以上の実施の形態では、フォーカス軸駆動ユニット１２の駆動制御をＰＬＣ２１のＡＦモジュール２４で直接的に行うようにしたが、これに限らず、多様なフォーカス軸駆動形態に応じて適宜変更可能である。
例えば、フォーカス軸駆動ユニット１２の駆動制御を、ＡＦモジュール２４からＣＰＵモジュール２２、Ｉ／Ｏモジュール２５（又はその他の専用モジュール）を介して行うようにしてもよい。また、フォーカス軸座標を位置センサ等によって取得することも容易に行うことができる。

本発明の実施の形態によるプログラマブルロジックコントローラ２１を備えた画像処理システム２０の概略構成を示すブロック図である。 ＡＦモジュール２４の内部構成を示すブロック図である。 Ａはレンズ−ワーク間距離（フォーカス位置）とピント評価値との関係を示すフォーカスカーブの一例を示し、Ｂは光学系の影響を受けたフォーカスカーブの一例を示す図である。 ＡＦモジュール２４の動作を説明する工程フロー図である。 ＡＦモジュール２４の一作用を説明するフォーカスカーブの一例であり、ＦＣ１は画像平滑化処理及びピント評価値の輝度規格化処理を行ったときの例、ＦＣ２は画像平滑化処理のみ行ったときの例、ＦＣ３は図３Ａに示したフォーカスカーブ例である。 ピント位置をピント評価値最大値近傍で曲線近似することにより算出する方法を説明する図である。 オートフォーカス機能を備えていない従来の画像処理システムの一構成例を示す概略構成図である。 オートフォーカス機能を備えた従来の画像処理システムの一構成例を示す概略構成図である。

符号の説明

６…画像処理装置、７…センサ、８…表示装置、９…シリンダ機構、１２…フォーカス軸駆動ユニット、２０…画像処理システム、２１…ＰＬＣ（プログラマブルロジックコントローラ）、２２…ＣＰＵモジュール、２３…通信モジュール、２４…ＡＦ（オートフォーカス）モジュール、２５…Ｉ／Ｏモジュール、２６…内部バス、３４Ａ…平滑化回路、３４Ｂ…平均輝度算出回路、３４Ｃ…ピント評価値算出回路、３４Ｄ…フォーカス軸制御回路。

Claims (6)

1. 撮像手段により撮影された対象ワークの映像を画像処理手段を介して観察又は検査し、その結果得られる出力信号に基づいて制御対象機器を制御するプログラマブルロジックコントローラであって、
   ＣＰＵモジュールと、
   前記画像処理手段からの出力信号が入力されると共に前記制御対象機器に対して制御信号を出力する入出力モジュールと、
   前記撮像手段から供給される前記対象ワークの画像データに基づいて、前記撮像手段を最適フォーカス位置へ駆動制御する画像オートフォーカスモジュールとが、
   それぞれ互いに内部バスを介して接続されてなる
   ことを特徴とするプログラマブルロジックコントローラ。
2. 前記画像オートフォーカスモジュールは、
   複数のフォーカス位置で取得した前記対象ワークの各画像データを平滑化処理する画像平滑化手段と、
   前記平滑化処理した各画像データについて各々ピント評価値を算出する評価値算出手段と、
   前記算出した各ピント評価値のうちその最大値に基づいてピント位置を算出するピント位置算出手段と、
   前記算出したピント位置を最適フォーカス位置として前記撮像手段を駆動する駆動手段とを備えた
   ことを特徴とする請求項１に記載のプログラマブルロジックコントローラ。
3. 前記画像オートフォーカスモジュールは、前記取得した各画像データの画面平均輝度を算出する平均輝度算出手段を有し、前記ピント評価値として前記算出した画面平均輝度による除算値を用いる
   ことを特徴とする請求項２に記載のプログラマブルロジックコントローラ。
4. 前記評価値算出手段は、前記取得した各画像データにおける隣接画素間の輝度データ差を算出するエッジ強調処理手段でなる
   ことを特徴とする請求項２に記載のプログラマブルロジックコントローラ。
5. 前記ピント位置算出手段は、前記算出したピント評価値の最大値及びその近傍の複数のピント評価値に基づいて前記ピント位置を算出する
   ことを特徴とする請求項２に記載のプログラマブルロジックコントローラ。
6. 撮像手段により撮影された対象ワークの映像を画像処理手段を介して観察・検査し、その結果得られる出力信号に基づいて制御対象機器を制御するプログラマブルロジックコントローラ用の画像オートフォーカスモジュールであって、
   ＣＰＵモジュールと、前記画像処理手段からの出力信号が入力されると共に前記制御対象機器に対して制御信号を出力する入出力モジュールとに対し、それぞれ互いに内部バスを介して接続され、
   前記撮像手段から供給される前記対象ワークの画像データに基づいて、前記撮像手段を最適フォーカス位置へ駆動制御する
   ことを特徴とする画像オートフォーカスモジュール。
   

Images