JP2006090921A - 外観検査装置、閾値決定方法、外観検査方法、およびコンピュータを外観検査装置として機能させるためのプログラム - Google Patents

Abstract

【課題】 欠陥の検出精度が向上する閾値を決定できる外観検査装置を提供する。
【解決手段】 外観検査装置の制御部が実行する処理は、画像の入力を受けるステップ（Ｓ４１０）と、第１の閾値で２値化処理を実行するステップ（Ｓ４２０）と、対象領域を決定するステップ（Ｓ４３０）と、各領域に対応する第２の閾値を決定するステップ（Ｓ４４０）と、第２の閾値と第１の閾値との間を解析するステップ（Ｓ５００）と、第３の閾値を決定するステップ（Ｓ４６０）と、各領域において第３の閾値で２値化処理を実行するステップ（Ｓ４７０）とを含む。
【選択図】 図４

Description

本発明は、被検査物を検査するための技術に関する。より特定的には、本発明は、被検査物の撮影により得られた画像データに対する２値化処理を実行して被検査物の外観を検査するための外観検査装置、当該２値化処理のための閾値を決定するための閾値決定方法、外観検査方法、およびコンピュータを外観検査装置として機能させるためのプログラムに関する。

従来、検査対象に光を照射して、検査員による肉眼や外観検査装置により、検査対象に含まれる欠陥を検出することが行なわれている。外観検査装置には、検査対象の外観を撮像した画像データに対し、特定の画像処理を実行することによって、欠陥を自動検出するものもある。たとえば、半導体や液晶基板などの外観を検査する装置は、輝度ヒストグラムを用いた画像処理によって、基板の表面に生じた割れ、かけ、異物付着、ムラなどの欠陥を自動的に検出することができる。

外観検査装置は、欠陥の位置、面積、形状などの特徴量を測定するための画像処理の過程で、背景と欠陥を分離するために２値化処理を実行する。２値化処理の方法には、固定閾値２値化手法、判別分析法、パーセントタイル法などがある。なお、ここで特徴量とは、処理の対象となる画像の特徴を表わすためのデータをいう。特徴量は、たとえば基準の位置に対する画像の位置、画像の形状、画像の面積などを含む。

たとえば、特開２００２−３１９０２１号公報（特許文献１）は、多様に分布するデータを正確に２値化することができる外観検査装置を開示する。この外観検査装置は、検査対象の外観を撮像する撮像部と、上記撮像部によって撮像された画像の輝度データを２値化して、２値化画像を作成する２値化画像作成部と、上記２値化画像に基づいて、上記検査対象の欠陥を判断する欠陥判断部とを備える。上記２値化画像作成部は、上記画像の輝度データに対してＫ−ｍｅａｎｓ法を実行して、上記輝度データを所定個数のグループに分割し、各グループの代表値を算出するグループ化部と、輝度レベルが隣り合う上記代表値の差が最大となる最大距離区間内に２値化閾値を設定する２値化閾値設定部とを含む。

特許文献１に開示された装置によると、画像データに対してＫ−ｍｅａｎｓ法が施されることにより、所定のグループに分割して各グループの代表値が算出される。ヒストグラム上において、隣り合うグループの代表値の間隔が最大となる区間内に閾値が設定されることにより、背景と検出すべき像との面積比率が不明瞭な画像に対しても正確に２値化処理が実行される。

また、特許第２９４８３１０号公報（特許文献２）は、検出対象物の形状、面積その他の図形的性質の違い、あるいは対象物数の変化に依存することなく画像から安定して検出対象物を抽出するための２値化しきい値の決定を可能にする方法を開示する。この方法は、入力された画像を、しきい値を順次変化させて２値化処理し、得られた２値画像の各画素について画素状態の解析を行ない、それぞれの２値画像について、上記解析された画素状態の種類別出現頻度を累積するとともに、その累積結果を上記しきい値別に記録し、該累積結果記録の中の各データを基に１または複数の最適２値化しきい値を決定する。この方法は、上記解析された画素状態の種類別出現頻度の累積が、対象画素のうち当該２値化処理に用いた２値化しきい値以上の値をとるものについて、２値化しきい値以上の値をとる画素の集まりの縁を形成する画素である平点、その画素の集まりの内部に位置する画素である内部点、当該画素の周囲の画素がすべて上記２値化しきい値未満の値をとる画素である孤立点を含むその他の画素の３種類に分け、それぞれの出現頻度を累積する。

特許文献２に開示された方法によると、検出対象物の形状が未知の場合でも、形状、面積などの図形的性質の違いを用いた、対象物数の変化に依存しない画像から安定して検出対象物を測定することができる。
特開２００２−３１９０２１号公報 特許第２９４８３１０号公報

特許文献１に開示された技術によると、背景とそれ以外の対象物を分離できる２値化閾値は得られる。しかし、当該技術では、検出したい対象物と、その周辺にあるノイズや照明によるムラ等とを分離できない。特に、ムラのような低輝度で面積の大きい対象物は、周辺の欠陥や背景のコントラストの影響を受ける。そのため、分離が困難であり、的確な２値化閾値を決定することは難しいという問題があった。また、当該技術でこれらを検出しようとした場合、状況に応じて少なくとも一度は対象物を測定し、対象物と判定するためのデータを蓄積する必要があった。

また、特許文献２に開示された技術によると、画像全体に対して２値化処理する閾値を順次変化させるため、効率が悪い。また、画像全体に対して、任意のサイズの領域で画素状態の解析を行なうため、効率が悪く、１つの画像に対する画像処理時間が長くなるという問題があった。

本発明は、上述の問題点を解決するためになされたものである。その目的は、外観検査における検出精度が向上する２値化処理のための閾値を決定する外観検査装置を提供することである。

本発明の他の目的は、未知の入力画像に対して事前のパラメータ設定が必要なく特徴量測定を可能にするために、２値化処理のための閾値を決定して被検査物を検査することができる外観検査装置を提供することである。

本発明の他の目的は、外観検査に要する検出精度の向上と、未知の入力画像に対しても、事前のパラメータ設定が必要なく、特徴量の測定を行なうことができる外観検査装置を提供することである。

本発明の他の目的は、外観検査における検出精度を向上させるために、２値化処理のための閾値を決定することができる閾値決定方法を提供することである。

本発明の他の目的は、外観検査に要する検出精度の向上と、未知の入力画像に対しても、事前のパラメータ設定が必要なく、特徴量の測定を行なうことができる外観検査方法を提供することである。

本発明のさらに他の目的は、外観検査における検出精度が向上する２値化処理のための閾値を決定する外観検査装置としてコンピュータを機能させるためのプログラムを提供することである。

上記の課題を解決するために、この発明のある局面に従うと、外観検査装置は、被検査物を撮影する撮像手段により生成された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行する第１の２値化処理手段と、２値化処理の実行により生成されたデータに基づいて、画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別手段と、画像において、識別された閉領域の数の対象領域を決定する決定手段とを備え、対象領域は、識別された閉領域を含む。外観検査装置は、さらに、画像データに対して、対象領域ごとに、第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行する第２の２値化処理手段と、反復して実行された２値化処理により生成された各々のデータに基づいて、識別された閉領域の識別される安定性を表わすための各々の評価量を算出する算出手段と、各評価量に応じて、決定された対象領域に対応する第３の閾値を決定する閾値決定手段とを備える。

好ましくは、外観検査装置は、予め定められた規則に基づいて第２の閾値を変更することにより、新たな第２の閾値を算出する変更手段をさらに備える。第２の２値化処理手段は、新たな第２の閾値に基づいて２値化処理を実行する。

好ましくは、変更手段は、第２の閾値に予め定められた変更量を加算することにより、新たな第２の閾値を算出する。

好ましくは、外観検査装置は、予め定められた規則に基づいて第１の閾値を変更することにより新たな第１の閾値を算出する閾値変更手段と、新たな第１の閾値を用いた２値化処理により生成される画像データに基づいて、識別された閉領域の識別される安定性を表わすための評価量を算出する評価量算出手段と、評価量に基づいて、第１の閾値を決定する第１の閾値決定手段とをさらに備える。

好ましくは、評価量は、識別される閉領域の数の変化量である。外観検査装置は、変化量の最小値を算出する手段をさらに備える。第１の閾値決定手段は、変化量の最小値に対応する閾値を第１の閾値として決定する。

好ましくは、外観検査装置は、予め定められた直交２次元の各座標に基づいて閉領域の範囲を測定する範囲測定手段をさらに備える。決定手段は、閉領域の範囲に対応する各座標に基づいて対象領域を決定する範囲決定手段を含む。

好ましくは、範囲決定手段は、閉領域の範囲が含まれる各座標を有する矩形領域を対象領域として決定する。

好ましくは、外観検査装置は、第２の閾値を用いた２値化処理の結果に基づいて、対象領域に含まれる閉領域の数を計測する手段と、閉領域の数が複数である場合に、各閉領域の面積をそれぞれ算出する面積算出手段と、各閉領域の各々の面積から最大の面積を有する閉領域を抽出する手段とをさらに備える。

好ましくは、評価量算出手段により算出される評価量は、対象領域における背景と分離された閉領域の数の変化量である。

好ましくは、外観検査装置は、第３の閾値を用いた２値化処理の結果に基づいて、識別された閉領域の特徴量を算出する特徴量算出手段と、特徴量に基づいて、被検査物を検査する検査手段とをさらに備える。

好ましくは、検査手段は、算出された特徴量と予め定められた特徴量とを比較することにより、被検査物における欠陥の有無を判定する判定手段を含む。

この発明の他の局面に従うと、閾値決定方法は、被検査物を撮影する撮像手段から出力された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行するステップと、２値化処理の実行により生成されたデータに基づいて、入力された画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別ステップと、画像において、識別された閉領域の数の対象領域を決定する決定ステップとを備え、対象領域は、識別された閉領域を含む。外観検査方法は、さらに、画像データに対して、対象領域ごとに、第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行するステップと、反復して実行された２値化処理により生成された各々のデータに基づいて、識別された閉領域の識別される安定性を表わすための各評価量を算出するステップと、各評価量に応じて、決定された対象領域に対応する第３の閾値を決定する閾値決定ステップとを備える。

この発明の他の局面に従うと、外観検査方法は、上記の閾値決定方法により決定された閾値を用いた２値化処理の結果に基づいて、被検査物に含まれる閉領域の特徴量を算出する特徴量算出ステップと、特徴量に基づいて、被検査物を検査する検査ステップとを備える。

この発明のさらに他の局面に従うと、プログラムは、コンピュータを外観検査装置として機能させる。このプログラムは、コンピュータに、被検査物を撮影する撮像ステップにより生成された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行する第１の２値化処理ステップと、２値化処理の実行により生成されたデータに基づいて、画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別ステップと、画像において、識別された閉領域の数の対象領域を決定する決定ステップとを実行させる。対象領域は、識別された閉領域を含む。プログラムは、さらに、画像データに対して、対象領域ごとに、第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行する第２の２値化処理ステップと、反復して実行された２値化処理により生成された各々のデータに基づいて、識別された閉領域の識別される安定性を表わすための各々の評価量を算出する評価量算出ステップと、各評価量に応じて、決定された対象領域に対応する第３の閾値を決定する閾値決定ステップとを実行させる。

本発明に係る外観検査装置によると、背景としてのムラやノイズの影響を受けにくい閾値が決定される。したがって当該閾値を使用することにより、精度の高い特徴量の測定を行なうことができる。また、対象物に応じたデータを蓄積する必要がないため、対象物の形状が未知である場合には、特徴量を正確に測定することができる。一方、対象物の形状が既知である場合には、条件をその形状に応じて変更することにより、特徴量を正確に測定することができる。

本発明に係る外観検査装置によると、特徴量を正確に測定するための閾値に基づいて検査することができるため、対象物の外観を正確に検査することができる。

本発明に係る閾値決定方法によると、背景としてのムラやノイズの影響を受けにくい閾値が決定される。したがって当該閾値を使用することにより、精度の高い特徴量の測定を行なうことができる。また、対象物に応じたデータを蓄積する必要がないため、対象物の形状が未知である場合には、特徴量を正確に測定することができる。一方、対象物の形状が既知である場合には、条件をその形状に応じて変更することにより、特徴量を正確に測定することができる。

本発明に係る外観検査方法によると、特徴量を正確に測定するための閾値に基づいて検査することができるため、対象物の外観を正確に検査することができる。

本発明に係るプログラムによると、コンピュータは、外観検査装置として機能することができる。すなわち、コンピュータは、背景としてのムラやノイズの影響を受けにくい閾値を決定する。したがって当該閾値を使用することにより、精度の高い特徴量の測定を行なうことができる。また、対象物に応じたデータを蓄積する必要がないため、対象物の形状が未知である場合には、特徴量を正確に測定することができる。一方、対象物の形状が既知である場合には、条件をその形状に応じて変更することにより、特徴量を正確に測定することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

図１を参照して、本発明の実施の形態に係る外観検査装置について説明する。図１は、外観検査装置１００の構成を表わすブロック図である。この外観検査装置は、たとえば、液晶ディスプレイの製造工程におけるガラス基板の外観を検査するための装置であるが、その他の物を検査する装置、たとえば、シリコン基板を検査する装置等であってもよい。あるいは、当該外観検査装置は、上記のような検査のため以外に、たとえば、印刷物に形成された図形、文字等を検査する装置にも適用可能である。

図１に示されるように、外観検査装置１００は、ステージ１０１と、照明器１０３と、カメラ１０４と、コントローラ１０５と、画像処理部２００と、装置制御部９００とを含む。照明器１０３は、たとえばリング型照明器である。ステージ１０１には、検査対象ワーク１５０が配置される。

コントローラ１０５は、ステージ１０１に制御信号を送信することにより、ステージ１０１の位置を制御する。ステージ１０１は、その信号に応じて、Ｘ方向、Ｙ方向、およびＺ方向に移動する。コントローラ１０５は、照明器１０３に、ステージ１０１を照射するための光を発信する制御を実行する。照明器１０３は、コントローラ１０５からの信号に基づいて光の照射方向および光量を調節する。コントローラ１０５は、カメラ１０４に制御信号を送信することにより、検査対象ワーク１５０の撮影を制御する。カメラ１０４は、たとえばＣＣＤ（Charge Coupled Device）カメラである。カメラ１０４は、その信号に基づいて検査対象ワーク１５０の全体もしくは予め定められた範囲を撮影し、画像データを画像処理部２００に出力する。

装置制御部９００は、外部から入力される指示に基づいて、あるいは予め定められた条件が成立する場合に、所定の制御信号をコントローラ１０５に送信し、前述した各部の動作をコントローラ１０５に制御させる。画像処理部２００は、装置制御部９００からの指令に基づいて、カメラ１０４により出力される画像データに対した予め定められた画像処理を実行し、その結果を装置制御部９００に出力する。

図２を参照して、本実施の形態に係る画像処理部２００について説明する。図２は、画像処理部２００のハードウェア構成を表わすブロック図である。

画像処理部２００は、入力部２１０と、制御部２３０と、出力部２５０と、データ記憶部３００とを含む。制御部２３０は、２値化処理部２３２と、識別部２３４と、決定部２３６と、閾値算出部２３８と、評価量算出部２４０と、閾値決定部２４２と、特徴量算出部２４４と、判定部２４６とを含む。

入力部２１０は、外部からデータの入力を受付ける。このデータには、カメラ１０４により出力される画像データと装置制御部９００により出力される制御データとが含まれる。出力部２５０は、装置制御部９００に画像処理の結果を出力する。データ記憶部３００は、予め定められた画像処理を実行するためのデータ、カメラ１０４により入力された画像データ、その他画像処理に必要なデータを格納する。このデータ構造については後述する。

２値化処理部２３２は、閾値を用いて、画像データに対する２値化処理を実行する。当該閾値は、予め定められた閾値と、後述する算出処理により算出された閾値とのいずれであってもよい。

識別部２３４は、上記２値化処理の実行により生成されたデータに基づいて画像データに基づく画像における背景から少なくとも１つ以上の対象物を識別する。決定部２３６は、検査対象ワーク１５０に基づいて少なくとも１つ以上の対象領域を決定する。閾値算出部２３８は、入力された画像データに基づいて決定部２３６により決定された対象領域に対する第２の閾値を算出する。評価量算出部２４０は、第２の閾値を用いた２値化処理により生成されたデータに基づいて識別された検査対象ワーク１５０における安定性を表わすための評価量を算出する。閾値決定部２４２は、算出された評価量に基づいて決定された対象領域に応じた第３の閾値を決定する。

特徴量算出部２４４は、当該２値化処理の結果に基づいて検査対象ワーク１５０に含まれる対象物（たとえば欠陥）の特徴量を算出する。判定部２４６は、算出された特徴量とデータ記憶部３００に格納されている特徴量とを比較することにより、検査対象ワーク１５０における欠陥の有無を判定する。

なお、本実施の形態においては、背景から分離される対象物を欠陥として説明しているが、当該対象物は欠陥には限られない。たとえば、光学文字認識装置、いわゆるＯＣＲ（Optical Code Reader）における文字であってもよい。また、本実施の形態においては、検出したい欠陥を白、それ以外を黒と２値化処理する場合を想定して説明するが、逆の場合であってもよい。

図３を参照して、本実施の形態に係る画像処理部２００のデータ構造について説明する。図３は、画像処理部２００が備えるデータ記憶部３００におけるデータの格納の一態様を概念的に表わす図である。

データ記憶部３００において、閾値を決定するために予め作成された閾値決定プログラムは、領域３１０に格納される。予め定められた第１の閾値は、領域３２０に格納されている。閾値決定プログラムと第１の閾値とに基づいて算出される第２の閾値は、領域３３０に格納される。カメラ１０４から入力される画像データは、領域３４０に格納される。

図４および図５を参照して、本実施の形態に係る画像処理部２００の制御構造について説明する。図４は、画像処理部２００の制御部２３０が実行する処理の手順を概念的に表わす図である。図５は、制御部２３０が実行する処理の手順を詳細に表わすフローチャートである。なお、以下の処理において、同一の処理には同一のステップ番号を付し、それらについての説明は繰り返さない。

図４に示されるように、ステップＳ４１０にて、制御部２３０は、カメラ１０４からの画像データの入力を検知する。

ステップＳ４２０にて、制御部２３０は、データ記憶部３００の領域３２０に格納されている第１の閾値を用いて、予め定められた２値化処理を実行する。ここでは、入力された画像データ全体に対して２値化処理が実行される。すなわち背景に応じた２値化処理が行なわれていない。したがって、この時点で測定される特徴量は、当該第１の閾値に依存するものとなる。なお、特徴量とは、画像の形状あるいは位置に基づいて特定される値をいう。なお、第１の閾値による２値化の対象の画像データ全体は、画像データ全体に順ずるものも含むものとする。例えば、画像の周辺部を除いたものであってもよいし、例えば、画像データが大きい場合は、所定数やサイズに応じて幾つかに分割したデータを、当該画像データ全体としてみなして扱ってもよい。

ステップＳ４３０にて、制御部２３０は、２値化処理の結果に基づいて対象領域を決定する。決定される対象領域は、１つであってもよいし複数であってもよい。

ステップＳ４４０にて、制御部２３０は、決定された各領域に対応する第２の閾値を決定する。この決定は、たとえば、画像が与えられれば２値化閾値が決定される方法、例えば、公知の技術である判別分析法に基づいて行なわれる。しかし、この方法で決定された第２の閾値によると、特にムラのような低輝度で面積の大きい対象物に対しては、周辺のノイズや背景のコントラストの影響を受けるため、正確に対象物を検出し、特徴量の測定を行なうことは難しい。

ステップＳ５００にて、制御部２３０は、特徴量を安定して測定するために、予め定められたアルゴリズムに基づいて第２の閾値と第１の閾値との間を解析する。たとえば、対象領域ごとに、第１の閾値から第２の閾値まで、閾値を変化させて、各閾値に対して２値化処理を実行し、安定性を表わす評価値を算出する。

ステップＳ４６０にて、制御部２３０は、解析結果に基づいて、検査対象ワーク１５０に応じた閾値であって各領域に対応する第３の閾値を決定する。すなわち、安定性に関して予め定められた条件を満足する評価値に対応する閾値が、最適な閾値として決定される。

ステップＳ４７０にて、制御部２３０は、各領域において、第３の閾値で２値化処理を実行する。

このようにして、対象領域ごとに定められた第３の閾値を用いて、それぞれの対象領域で２値化処理を行なうことにより、精度の高い特徴量の測定を行なうことができる閾値を得ることができる。

図５を参照して、ステップＳ４２０にて、制御部２３０は、入力画像全体に対して共通の閾値を用いて２値化処理を実行する。ここでの閾値を、第１の閾値とする。第１の閾値は、画像全体に対する閾値であるため、判別分析法やｐタイル法など、事前の設定を必要としないもので決定するものを使用するのが望ましい。本実施の形態においては、第１の閾値として、画像全体に対して判別分析法を用いて得られた２値化閾値が用いられている。

ステップＳ４４２にて、制御部２３０は、各対象領域において２値化処理を実行する。ステップＳ４４４にて、制御部２３０は、第１の閾値Ｔｈを初期化する。その結果、第１の閾値Ｔｈの値は、Ｔｈ２となる。

ステップＳ５０２にて、制御部２３０は、領域内の欠陥の個数、中心にある欠陥のフェレ径を算出する。ステップＳ５０４にて、制御部２３０は、閾値ＴｈとＴｈ１とが同じであるか否かを判断する。これらの閾値が同じであると判断すると（ステップＳ５０４にてＹＥＳ）、処理は、ステップＳ５０８に移される。そうでない場合には（ステップＳ５０４にてＮＯ）、処理は、ステップＳ５０６に移される。

ステップＳ５０６にて、制御部２３０は、閾値Ｔｈを１カウントアップする。ステップＳ５０８にて、制御部２３０は、第１の閾値と第２の閾値との間の範囲における２値化閾値と欠陥個数との関係を導出する。ステップＳ５１０にて、制御部２３０は、導出結果に基づいて上記範囲において欠陥個数のピークがあるか否かを判断する。当該ピークがあると判断すると（ステップＳ５１０にてＹＥＳ）、処理は、ステップＳ５１２に移される。そうでない場合には（ステップＳ５１０にてＮＯ）、処理は、ステップＳ５１４に移される。

ステップＳ５１２にて、制御部２３０は、閾値の定義域を、ピークに対応する閾値から第１の閾値までに設定する。ステップＳ５１４にて、制御部２３０は、閾値の定義域を、第２の閾値から第１の閾値までに設定する。ステップＳ５１６にて、制御部２３０は、閾値の定義域において最も頻度の高い欠陥個数を求め、そのときの閾値を候補に設定する。候補に設定された閾値は、データ記憶部３００の所定の領域３３０（図３）に一時的に格納される。

ステップＳ５１８にて、制御部２３０は、Ｆｘ／Ｒｘ＜１、かつ、Ｆｙ／Ｒｙ＜１であるか否かを判断する。ここで、Ｆは最大面積を有する欠陥のフェレ径、Ｒは対象領域の幅、そして添え字は方向成分をそれぞれ表わす。これらの条件が成立している場合には（ステップＳ５１８にてＹＥＳ）、処理は、ステップＳ４６０に移される。そうでない場合には（ステップＳ５１８にてＮＯ）、処理は、ステップＳ５２０に移される。ステップＳ５２０にて、制御部２３０は、次に頻度の高い欠陥個数の閾値を、候補に設定する。その後、処理は、ステップＳ５１８に戻される。

なお、図５においては、第１の閾値が第２の閾値よりも大きい場合を想定しているが、これらの閾値の大小関係が逆であってもよい。この場合には、ステップＳ５０６にて、Ｔｈ＝Ｔｈ−１とすればよい。また、ステップＳ５０６において、閾値を変更する場合の変化量を「１」として説明しているが、変化量の大きさはこれに限られない。

図６を参照して、本実施の形態に係る画像処理部２００において対象領域が決定される一態様について説明する。図６（Ａ）から図６（Ｃ）は、取得された画像データに基づいて２値化処理前の画像から対象領域が決定されるまでの変化を表わす図である。

図６（Ａ）に示されるように、２値化処理前画像６００には、複数の欠陥６０１〜欠陥６０８が含まれている。これらの欠陥には、検査対象ワーク１５０に生じている欠陥が含まれている場合もあれば、照明器１０３による照明ムラなどに基づく画像ムラあるいはノイズなどが含まれている場合もある。

画像処理部２００の制御部２３０が予め定められた第１の閾値に基づいて画像全体に対して２値化処理を実行すると、図６（Ｂ）に示されるように、たとえば第１の閾値を上回る欠陥が抽出される。すなわち、２値化画像６１０には、当該２値化処理により抽出された２つの欠陥が含まれる。

ここで、制御部２３０は、抽出された画像６１２のｘ軸方向およびｙ軸方向のフェレ径Ｆｘ，Ｆｙおよび対象領域６２２の重心部の座標（Ｃｘ，Ｃｙ）をピクセル単位で測定する。フェレ径Ｆｘは、対象物である欠陥の横幅を表わし、フェレ径Ｆｙは、縦幅を表わす。また、領域６２２は、画像６１２を含むように設定される。たとえば、領域６２２は、２値化画像６１０において２値化画像６１０の重心座標から画像６１２のフェレ径を差し引きすることにより設定される。このようにすれば、画像６１２が含まれる領域を決定することができる。その結果、たとえば図６（Ｃ）に示されるように、画像６１２，６１４に対し各画像を含む対象領域６２２，６２４がそれぞれ設定される。

このようにして求められた各対象領域において、それぞれの領域内の濃淡値から決定される公知の技術である判別分析法に基づいて、各対象領域毎に第２の閾値を決定することができる。

図７を参照して、本実施の形態に係る画像処理部２００における閾値の決定方法について説明する。図７は、第１の閾値および第２の閾値との間における欠陥個数の変化を表わす図である。

図７に示されるように、たとえば第１の閾値に基づいて抽出された画像７１０は、１つの欠陥を含む。第２の閾値に基づいて抽出された画像７７０は、４つの欠陥を含む。画像７２０から画像７６０には、閾値の値に応じて欠陥の数が３つの場合、４つの場合がそれぞれ含まれる。この中で、欠陥個数が安定している画像すなわち個数が３である画像が抽出された閾値が頻度が安定している欠陥を抽出するために適切な閾値とされる。すなわち画像７３０から７５０までを抽出するために使用される閾値が、第３の閾値の候補として選択される。なお、前記記載の欠陥個数は、全ての欠陥個数の合計であってもよいし、所定面積に満たない欠陥を排除した欠陥個数の合計であってもよい。

図８を参照して、閾値の決定の一態様について説明する。図８は、図５におけるステップＳ５１６の処理を説明するための図である。

前述のように、本実施の形態においては、第１の閾値が第２の閾値よりも大きい場合を想定している。この場合に、閾値の定義域が図８に示される範囲に設定された場合には、その範囲内で最も頻度の高い欠陥個数が求められ、そのときの閾値が候補に設定される。たとえば、閾値Ｔｈ（ｘ）に対して欠陥個数ｆ（ｘ）が求められる。このとき抽出される各欠陥についてステップＳ５１８に示される条件式が成立するか否かが判断される。その式が成立しない場合には、閾値の値は、Ｔｈ１の方に向けて所定量ずつ変更される。変更後の閾値に基づいて欠陥の個数が再び算出される。制御部２３０は、この処理を繰り返すことにより、閾値の定義域における最も安定した閾値を算出することができる。

なお、上述の本実施の形態においては、各領域毎の閾値を求める際の評価量として、欠陥個数を元にしているが、その他の評価量を元に閾値を求めてもよく、例えば、欠陥面積を評価量としてもよい。欠陥面積は、その閾値で抽出される欠陥に対し、全ての欠陥の面積の合計であってもよいし、所定面積に満たない欠陥を除外した欠陥の合計面積であってもよい。また、複数の評価量の組み合わせを元に閾値を求めてもよく、例えば、欠陥個数と欠陥面積の組み合わせとしてもよい。

また、第３の閾値を求める閾値の定義域は、第１の閾値に基づいて設定してもよい。例えば、予め定められた第１の閾値に対し所定量を加算・減算した閾値の範囲を閾値域に対して、閾値最小値を第２の閾値、閾値最大値を第１の閾値として初期化し、第１の閾値から第２の閾値までを閾値の定義域として設定し、一定間隔の閾値で２値化処理し、欠陥個数の安定性が一定以上高い範囲として、欠陥個数が所定誤差範囲内となる閾値が、所定数以上連続して続く閾値の範囲を先ず抽出し、その範囲が複数ある場合は、各範囲の各欠陥面積の合計の最小値と最大値を求め、その差が最も少ない範囲を選択し、その範囲の中点を第３の閾値として決定してもよい。

また、予め定められた第１の閾値は複数であってもよい。例えば、予め定められた複数の第１の閾値によりそれぞれの対象領域を抽出し、その中から所定の方法（例えば、全ての対象領域、あるいは位置的に共通する対象領域の最大領域、あるいは複数の第１の閾値で重複して抽出された位置的に共通する対象領域など）により第３の閾値を求めるべき対象領域を決定してもよい。

また、予め定められた第１の閾値の変更は、上述のように当初から設定してもよいし、必要が生じた場合に変更してもよい。例えば、予め定められた第１番目の第１の閾値で２値化処理して対象領域を決定し、ある対象領域で２値化処理を行なう第３の閾値を決定した際に、重複した領域を持つ対象領域もしくは対象領域の重心距離が所定距離以内の異なる対象領域などについて決定された第３の閾値と比較し、閾値の差が所定値以上の場合に、予め定められた第２番目の第１の閾値で２値化処理して対象領域を決定し直して、再決定された対象領域に対して第３の閾値を求める処理を行なってもよく、また、第１番目の第１の閾値で２値化処理して対象領域を決定し、各領域毎の閾値を求める際の安定性の評価量が所定の値未以下の場合は、第２番目の第１の閾値に変更して２値化処理して対象領域を決定し直してもよい。

図９を参照して、画像処理部２００のデータ構造についてさらに説明する。図９は、画像処理部２００が備えるデータ記憶部３００におけるデータの格納の態様を概念的に表わす図である。なお、当該データは、図３に示される領域３０２とは別の領域に格納されている。

データ記憶部３００において、図３に示される各データは、領域３０２に格納されている。予め定められた２値化処理を実行するための２値化処理プログラムは、領域１０１０に格納されている。２値化処理の結果に基づいて対象物の特徴量を算出するための特徴量算出プログラムは、領域１０２０に格納されている。特徴量に基づいて被写体を検査するための検査プログラムは、領域１０３０に格納されている。画像処理部２００から入力された第３の閾値は、領域１０４０に格納される。判定部９３６による判定結果は、領域１０６０に格納される。なお、上記のデータの格納の態様は、図９に示されるものに限られない。

図１０を参照して、画像処理部２００の制御構造についてさらに説明する。図１０は、画像処理部２００の制御部２３０が実行する外観検査処理の手順を表わすフローチャートである。この処理は、たとえば入力部２１０を介して外観検査処理の実行指令が入力された場合に、外観検査処理プログラムが実行されることにより実現される。

ステップＳ１１１０にて、制御部２３０は、入力部２１０を介して画像データの入力を検知する。ステップＳ１１２０にて、制御部２３０は、データ記憶部３００の領域１０４０から予め格納されている第１の閾値を読み出す。ステップＳ１１３０にて、制御部２３０は、図４に示される２値化処理（Ｓ４００）を実行する。ステップＳ１１４０にて、制御部２３０は、２値化処理の結果に基づいて検査対象ワーク１５０における欠陥の特徴量を算出する。

ステップＳ１１５０にて、制御部２３０は、算出された特徴量が予め定められた特徴量よりも大きいか否かを判断する。算出された特徴量が予め定められた特徴量よりも大きい場合には（ステップＳ１１５０にてＹＥＳ）、処理は、ステップＳ１１６０に移される。そうでない場合には（ステップＳ１１５０にてＮＯ）、処理は、ステップＳ１１７０に移される。

ステップＳ１１６０にて、制御部２３０は、検査対象ワーク１５０から抽出された画像は欠陥であると判定する。この判定結果は、たとえばデータ記憶部３００の領域１０６０に格納される。ステップＳ１１７０にて、制御部２３０は、検査対象ワーク１５０から抽出された画像は、欠陥ではないと判定する。

ステップＳ１１８０にて、制御部２３０は、判定結果と、検査対象ワーク１５０を識別するためのデータとを関連付けて、データ記憶部３００の領域１０６０に格納する。これにより、当該データに基づいて検査結果が異常となったワークの加工条件を特定することができるため、加工条件の見直し、加工工程の保守その他のフィードバック処理を詳細に実行することができる。

以上のようにして、本実施の形態に係る外観検査装置１００によると、検査対象ワーク１５０の背景の影響を受けにくい閾値が算出される。この閾値を用いて２値化処理を実行することにより、ムラやノイズの影響を受けにくい特徴量を算出することができる。また、第１の閾値のみを予め準備すればよいため、未知の形状を有する対象物であっても、正確な特徴量を算出することができる。一方、対象物が既知の形状を有するものであれば、閾値を決定するための条件をその形状に応じて変更することにより、特徴量を正確に算出することができる。

なお、本発明に係る外観検査装置１００あるいは画像処理部２００は、たとえば、所定の処理を実現する回路その他のハードウェアを組み合せることにより実現されるが、コンピュータシステムによって実現してもよい。

ここで、図１１を参照して、外観検査装置１００あるいは画像処理部２００を実現するコンピュータシステム１２００について説明する。図１１は、コンピュータシステム１２００のハードウェア構成を表わすブロック図である。

コンピュータシステム１２００は、相互にデータバスにより接続されたＣＰＵ１２１０と、使用者が指示を入力するためのマウス１２２０およびキーボード１２３０と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを格納するＲＡＭ１２４０と、大容量のデータを格納可能なハードディスク１２５０と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）駆動装置１２６０と、モニタ１２８０と、通信ＩＦ（Interface）１２９０とを含む。ＣＤ−ＲＯＭ駆動装置１２６０には、ＣＤ−ＲＯＭ１２６２が装着される。

このようにして、外観検査装置１００あるいは画像処理部２００として機能するコンピュータシステム１２００における処理は、各ハードウェアおよびＣＰＵ１２１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＡＭ１２４０あるいはハードディスク１２５０に予め記憶されている場合もあれば、ＣＤ−ＲＯＭ１２６２その他の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ駆動装置１２６０その他の読取装置によりその記憶媒体から読み取られて、ハードディスク１２５０に一旦格納される場合もある。そのソフトウェアは、ＲＡＭ１２４０あるいはハードディスク１２５０から読み出されて、ＣＰＵ１２１０によって実行される。図１１に示されるたコンピュータシステム１２００のハードウェア自体は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１２４０、ハードディスク１２５０、ＣＤ−ＲＯＭ１２６２その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム１２００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、画像処理装置、たとえば外観を検査するための検査装置に適用可能である。

本発明の実施の形態に係る外観検査装置の構成を表わすブロック図である。 本発明の実施の形態に係る外観検査装置に含まれる画像処理部の機能的構成を表わすブロック図である。 図２に示される画像処理部が備えるデータ記憶部におけるデータの格納の一態様を概念的に表わす図（その１）である。 本発明の実施の形態に係る画像処理部が実行する処理の手順を表わすフローチャート（その１）である。 本発明の実施の形態に係る画像処理部が実行する処理の手順を表わすフローチャート（その２）である。 本発明の実施の形態に係る画像処理部において対象領域が決定される一態様について説明するための図である。 本発明の実施の形態に係る画像処理部における閾値の決定方法について説明するための図（その１）である。 本発明の実施の形態に係る画像処理部における閾値の決定方法について説明するための図（その２）である。 図２に示される画像処理部が備えるデータ記憶部におけるデータの格納の一態様を概念的に表わす図（その２）である。 本発明の実施の形態に係る画像処理部が実行する処理の手順を表わすフローチャート（その３）である。 コンピュータシステムのハードウェア構成を表わすブロック図である。

符号の説明

１００ 外観検査装置、１０１ ステージ、１０３ 照明器、１０４ カメラ、１０５ コントローラ、１５０ 検査対象ワーク、２００ 画像処理部、２１０ 入力部、２３０ 制御部、２３２ ２値化処理部、２３４ 識別部、２３６ 決定部、２３８ 閾値算出部、２４０ 評価量算出部、２４２ 閾値決定部、２４４ 特徴量算出部、２４６ 判定部、２５０，９４０ 出力部、３００ データ記憶部、９００ 装置制御部、１２００ コンピュータシステム、１２１０ ＣＰＵ、１２２０ マウス、１２３０ キーボード、１２４０ ＲＡＭ、１２５０ ハードディスク、１２６０ ＣＤ−ＲＯＭ駆動装置、１２６２ ＣＤ−ＲＯＭ、１２８０ モニタ、１２９０ 通信ＩＦ。

Claims (14)

1. 被検査物を撮影する撮像手段により生成された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行する第１の２値化処理手段と、
   前記２値化処理の実行により生成されたデータに基づいて、前記画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別手段と、
   前記画像において、前記識別された閉領域の数の対象領域を決定する決定手段とを備え、前記対象領域は、前記識別された閉領域を含み、
   さらに、
   前記画像データに対して、前記対象領域ごとに、前記第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行する第２の２値化処理手段と、
   前記反復して実行された２値化処理により生成された各々のデータに基づいて、前記識別された閉領域の識別される安定性を表わすための各々の評価量を算出する算出手段と、
   前記各評価量に応じて、前記決定された対象領域に対応する第３の閾値を決定する閾値決定手段とを備える、外観検査装置。
2. 前記外観検査装置は、予め定められた規則に基づいて前記第２の閾値を変更することにより、新たな第２の閾値を算出する変更手段をさらに備え、
   前記第２の２値化処理手段は、前記新たな第２の閾値に基づいて２値化処理を実行する、請求項１に記載の外観検査装置。
3. 前記変更手段は、前記第２の閾値に予め定められた変更量を加算することにより、新たな第２の閾値を算出する、請求項２に記載の外観検査装置。
4. 前記外観検査装置は、
   予め定められた規則に基づいて前記第１の閾値を変更することにより新たな第１の閾値を算出する閾値変更手段と、
   前記新たな第１の閾値を用いた２値化処理により生成される画像データに基づいて、前記識別された閉領域の前記識別される安定性を表わすための評価量を算出する評価量算出手段と、
   前記評価量に基づいて、前記第１の閾値を決定する第１の閾値決定手段とをさらに備える、請求項１に記載の外観検査装置。
5. 前記評価量は、前記識別される閉領域の数の変化量であり、
   前記外観検査装置は、前記変化量の最小値を算出する手段をさらに備え、
   前記第１の閾値決定手段は、前記変化量の最小値に対応する閾値を第１の閾値として決定する、請求項４に記載の外観検査装置。
6. 前記外観検査装置は、予め定められた直交２次元の各座標に基づいて前記閉領域の範囲を測定する範囲測定手段をさらに備え、
   前記決定手段は、前記閉領域の範囲に対応する前記各座標に基づいて前記対象領域を決定する範囲決定手段を含む、請求項１に記載の外観検査装置。
7. 前記範囲決定手段は、前記閉領域の範囲が含まれる各座標を有する矩形領域を前記対象領域として決定する、請求項６に記載の外観検査装置。
8. 前記外観検査装置は、
   前記第２の閾値を用いた２値化処理の結果に基づいて、前記対象領域に含まれる閉領域の数を計測する手段と、
   前記閉領域の数が複数である場合に、各前記閉領域の面積をそれぞれ算出する面積算出手段と、
   各前記閉領域の各々の面積から最大の面積を有する閉領域を抽出する手段とをさらに備える、請求項１〜７のいずれかに記載の外観検査装置。
9. 前記評価量算出手段により算出される評価量は、前記対象領域における背景と分離された閉領域の数の変化量である、請求項１に記載の外観検査装置。
10. 前記外観検査装置は、
    前記第３の閾値を用いた２値化処理の結果に基づいて、前記識別された閉領域の特徴量を算出する特徴量算出手段と、
    前記特徴量に基づいて、前記被検査物を検査する検査手段とをさらに備える、請求項１に記載の外観検査装置。
11. 前記検査手段は、前記算出された特徴量と予め定められた特徴量とを比較することにより、前記被検査物における欠陥の有無を判定する判定手段を含む、請求項１０に記載の外観検査装置。
12. 被検査物を撮影する撮像手段から出力された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行するステップと、
    前記２値化処理の実行により生成されたデータに基づいて、前記入力された画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別ステップと、
    前記画像において、前記識別された閉領域の数の対象領域を決定する決定ステップとを備え、前記対象領域は、前記識別された閉領域を含み、
    さらに、
    前記画像データに対して、前記対象領域ごとに、前記第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行するステップと、
    前記反復して実行された２値化処理により生成された各々のデータに基づいて、前記識別された閉領域の識別される安定性を表わすための各評価量を算出するステップと、
    前記各評価量に応じて、前記決定された対象領域に対応する第３の閾値を決定する閾値決定ステップとを備える、閾値決定方法。
13. 請求項１２に記載の閾値決定方法により決定された閾値を用いた２値化処理の結果に基づいて、前記被検査物に含まれる閉領域の特徴量を算出する特徴量算出ステップと、
    前記特徴量に基づいて、前記被検査物を検査する検査ステップとを備える、外観検査方法。
14. コンピュータを外観検査装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
    被検査物を撮影する撮像ステップにより生成された画像データに対して、予め定められた第１の閾値を用いた２値化処理を実行する第１の２値化処理ステップと、
    前記２値化処理の実行により生成されたデータに基づいて、前記画像データに応じた画像における背景から、閉曲線で囲まれた閉領域を識別する識別ステップと、
    前記画像において、前記識別された閉領域の数の対象領域を決定する決定ステップとを実行させ、前記対象領域は、前記識別された閉領域を含み、
    さらに、
    前記画像データに対して、前記対象領域ごとに、前記第１の閾値と異なる第２の閾値に基づく２値化処理を反復して実行する第２の２値化処理ステップと、
    前記反復して実行された２値化処理により生成された各々のデータに基づいて、前記識別された閉領域の識別される安定性を表わすための各々の評価量を算出する評価量算出ステップと、
    前記各評価量に応じて、前記決定された対象領域に対応する第３の閾値を決定する閾値決定ステップとを実行させる、プログラム。

Images