JP2004170374A

JP2004170374A - 表面欠陥検出装置、及び表面欠陥検出方法

Info

Publication number: JP2004170374A
Application number: JP2002339653A
Authority: JP
Inventors: Akira Sakano; 明阪野
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-11-22
Filing date: 2002-11-22
Publication date: 2004-06-17

Abstract

【課題】精度よく鋳物等の供試体表面の表面欠陥を検出する。
【解決手段】表面欠陥検出装置は、供試体と同種の鋳物サンプルを複数撮像することにより、予め、参照用画像を取得する（Ｓ２０１）。次に、供試体表面を撮像して検査対象画像を取得する（Ｓ２０２）。この検査対象画像に対してガウス平均化処理を行い、鋳物表面の凹凸による輝度差を平滑化する（Ｓ２０３）。次に、パターンマッチングを行い、検査対象画像を参照用画像に適合させる（Ｓ２０４）。このパターンマッチングにより、検査対象画像と参照用画像の輝度値の傾向が一致する。次に、検査対象画像を正像化処理して、傾き、枠、画素の配列を一致させる（Ｓ２０５）。最後に、検査対象画像に対して統計的な処理を行い、表面欠陥を検出する（Ｓ２０６〜Ｓ２０９）。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、供試体の表面欠陥を検出するための表面欠陥検出装置及び表面欠陥検出方法、特に、供試体表面の画像を取得し、この画像に対して欠陥検出処理を行う表面欠陥検出装置及び表面欠陥検出方法に関する。
【０００２】
【従来の技術】
従来、鋳物部品等の表面欠陥の検出は、作業者による目視検査に頼っているのが実情であった。しかし、目視検査では、作業者が欠陥を見逃す可能性があり、信頼性に問題があった。また、鋳物部品等は重量物が多く、これを手に持ち検査する作業者の負担が大きいため、重筋（エルゴ）対策の面でも、目視検査の機械化が要望されている。
【０００３】
このような背景から、昨今では、光学計測により、鋳造部品の機械加工面に発生する欠陥（鋳巣）の検出が行われるようになってきている。このような光学計測による欠陥検出技術としては、ラインセンサを用いて円筒内面の表面欠陥を検出する技術（特開平１１−２３４７７号公報）があった。
【０００４】
また、鋳肌表面に発生する表面欠陥を検出する試みも行われており、このような欠陥検出技術としては、特徴量を計測することにより欠陥を検出する技術や、複数の鋳物サンプルの表面画像を参照用画像として撮像し、この参照用画像に基づき統計的処理を行うことにより欠陥を検出する技術（特開平１０−１０３９３８号公報）があった。
【０００５】
【特許文献１】
特開平１１−２３４７７号公報
【特許文献２】
特開平１０−１０３９３８号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、鋳肌表面のように細かな凹凸を持つ面の画像を撮像すると、凹凸に対応して画像の輝度差が大きく、上記従来技術を適用しても、表面欠陥を検出できなかったり、正常な表面部位を表面欠陥として誤検出してしまう、といった問題があった。なお、このような問題は、鋳物表面において顕著であるが、同様に表面に凹凸を持つ製品、例えば、鍛造部品、粗い機械加工がされた部品などにおいても生じうる問題である。
【０００７】
また、鋳物の表面画像は、鋳物自体の形状、撮像を行うカメラに対する表面の傾き具合などにより、鋳物の部位ごとに輝度の傾向が変化する。したがって、鋳物サンプルの参照用画像を用いて統計的処理を行ったり、検査対象となる鋳物の表面画像を参照用画像と比較することにより欠陥を検出する場合には、検査対象となる鋳物、及び鋳物サンプルの同じ部位に対して統計的処理などを行うべきである。しかし、実際には、鋳物を撮像するごとに鋳物の傾き、向きなどの状況が変化するため、検査対象の鋳物の画像は、参照用画像に対して多少ずれてしまう。そして、このずれにより輝度値の傾向が異なる部位に対して統計的処理、比較などが行われることとなるため、結果として、表面欠陥を精度よく検出できない、といった問題が生じていた。なお、この問題も、鋳物だけでなく、他の種類の製品においても生じうる問題である。
【０００８】
上述の課題を解決するために、本発明は、精度よく供試体表面の表面欠陥を検出する表面欠陥検出装置、及び表面欠陥検出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、供試体の表面欠陥を検出するための表面欠陥検出装置であって、前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を取得する撮像手段と、前記検査対象画像に対してガウス平均化処理を行う前処理部と、前記ガウス平均化された検査対象画像に対して欠陥検出処理を行う欠陥検出処理部と、を備えるものである。
【００１０】
このように検査対象画像に対してガウス平均化処理を行うことにより、表面画像は平滑化され、輝度値のバラツキを抑えることができる。そして、この平滑化された画像に対して欠陥検出処理を行うことにより、輝度値のバラツキに影響されずに表面欠陥の検出を行うことができる。なお、ここで欠陥検出処理とは、表面欠陥を検出するために、検査対象画像に対して行う様々な画像処理のことである。例えば、供試体と同種の鋳物サンプル表面を撮像して得られた参照用画像を用いて統計的な処理を行ったり、参照用画像と比較処理を行う画像処理である。また、検査対象画像自体から欠陥を検出する画像処理などでもよい。なお、検査対象画像に対して単なる平均化処理を行った場合には、画素の輝度値のバラツキは平滑化されない。よって、ガウス平均化処理は、単なる平均化処理と比較しても、効果がある処理である。
【００１１】
また、本発明は、供試体の表面欠陥を検出するための表面欠陥検出装置であって、前記供試体と同種の基準サンプル表面を撮像して得られた参照用画像を記憶する参照用画像記憶部と、前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を取得する撮像手段と、前記検査対象画像と前記参照用画像を適合させるパターンマッチング処理を行うマッチング処理部と、前記マッチング処理後の検査対象画像と前記参照用画像に基づき、欠陥検出処理を行う欠陥検出処理部と、を備えるものである。
【００１２】
このように、パターンマッチングを行い、検査対象画像と参照用画像を適合させることにより、検査対象画像と参照用画像のずれが修正される。このため、検査対象画像と参照用画像の輝度値の傾向を一致させることができ、表面欠陥を精度よく検出することができる。
【００１３】
また、上述の表面欠陥検出装置は、前記マッチング処理された検査対象画像と前記参照用画像の画素マトリクスを一致させる正像化処理を行う正像化処理部を備えることが好ましい。このように画素マトリクスを一致させることにより、互いの画素が対応するため、検査対象画像と参照用画像の統計的処理、比較処理などを迅速に行うことができる。
【００１４】
また、本発明の一態様においては、前記撮像手段は、前記供試体を回転する手段と、回転する供試体の表面を撮像するラインセンサカメラと、を有するものとして構成されてもよい。撮像手段を、このような構成とすることにより、供試体周囲の全表面を一枚の画像として一度に撮像することができる。
【００１５】
また、本発明は、供試体の表面欠陥を検出するための表面欠陥検出方法であって、前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を撮像する撮像ステップと、前記検査対象画像に対してガウス平均化処理を行う前処理ステップと、前記ガウス平均化された検査対象画像に対して欠陥検出処理を行う欠陥検出ステップと、を含む方法である。
【００１６】
また、本発明は、供試体の表面欠陥を検出するための表面欠陥検出方法であって、前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を撮像する撮像ステップと、前記検査対象画像と、前記供試体と同種の基準サンプル表面を撮像して得られた参照用画像を適合させるパターンマッチング処理を行うマッチングステップと、前記マッチング処理後の検査対象画像と前記参照用画像に基づき、欠陥検出処理を行う欠陥検出ステップと、を含む方法である。
【００１７】
また、上述の表面欠陥検出方法は、さらに、前記マッチング処理された検査対象画像と前記参照用画像の画素マトリクスを一致させる正像化処理を行う正像化ステップを含み、この正像化された検査対象画像及び前記参照用画像に基づき、欠陥検出処理を行うことが好ましい。
【００１８】
【発明の実施の形態】
以下に、図面を参照して、本発明の実施形態について説明する。
【００１９】
［装置構成］
まず、本実施形態に係る表面欠陥検出装置１０の構成について説明する。図１は、本実施形態に係る表面欠陥検出装置１０の構成の概略を示す図である。表面欠陥検出装置１０は、モータ２４により回転駆動されるターンテーブル１４を備え、鋳物である供試体１２がこのターンテーブル１４上に載置される。供試体１２の表面は、照明１６により照らされ、この照らされた供試体１２の表面上の１直線の画像がラインセンサカメラ１８により撮像される。供試体１２の回転と同時にラインセンサカメラ１８が撮像を行うことにより、供試体１２表面の展開画像が撮像される。画像処理部２０は、ラインセンサカメラ１８より出力される展開画像を取り込み、欠陥検出処理を行う。表示部２２は、ユーザの指示に応じて、撮像された展開画像、欠陥検出処理後の画像などを表示する。また、モータ２４の回転角は、エンコーダ２６により計測され、画像処理部２０に出力される。画像処理部２０では、このエンコーダ２６からの出力により、ラインセンサカメラ１８により撮像された１直線の画像が、供試体１２の表面のどの位置の直線であるかを認識する。なお、画像処理部２０及び表示部２２には、一般的に用いられているコンピュータを用いればよい。
【００２０】
次に、本実施形態に係る表面欠陥検出装置１０の画像処理部２０が行う表面欠陥を検出する処理について説明する。図２は、その処理の流れを示すフローチャートである。図２に示される処理Ｓ２０３〜Ｓ２０９は、画像処理部２０内でプログラムにより実行される処理である。よって、各処理を機能ブロックで表現すれば、前処理部、欠陥検出処理部、パターンマッチング処理部、正像化処理部、欠陥検出処理部を備えていることと等価である。
【００２１】
［参照用画像の取り込み］
画像処理部２０は、まず、後の統計的処理で用いるための参照用画像を取り込む処理を行う（Ｓ２０１）。この処理のために、ユーザは供試体１２と同じ鋳造型を用いて製造された、供試体と同種の鋳物サンプルを複数個（ｎ個）用意し、各鋳物サンプルをターンテーブル１４上にセットし、展開画像の取り込みを行う。この展開画像の中で、欠陥検出を行いたい供試体の部分のみを切り出し、後の説明で詳述するガウス平均化処理、パターンマッチング処理、及び正像化処理を行う。そして、後の処理で用いるための参照用画像として、画像処理部２０内のメモリに格納する。また、格納とともに、次の処理が行われる。
【００２２】
画像処理部２０は、参照用画像に対して、下記の式１の演算を行い、複数の展開画像の互いに対応する画素の画素値を平均して、その平均値を新たな画素値とした平均画像を演算する。また、複数の展開画像の互いに対応する各画素について、下記の式２の演算を行い、標準偏差σを演算する。そして、３σ＋Ｙ（Ｙは安全率）を各画素の画素値とするバラツキ画像を演算する。これらの平均画像及びバラツキ画像も、後の処理において用いるために、画像処理部２０内のメモリに格納される。
【００２３】
【数１】

なお、式１において、Ｘｎはｎ番目の鋳物サンプルの画素値である。
【数２】

この式２におけるＳは、次の式３の演算を行うことにより得られる。
【数３】

【００２４】
以上の処理は、欠陥検出を行うにあたっての予備的な処理であり、上述した参照用画像、平均画像、及びバラツキ画像を得るために行われる。したがって、実際の生産ラインでは、例えば週に一度、又は一日に一度行えばよい。なお、展開画像が撮像される鋳物サンプルの個数は、多数であるほどよいが、一つでも以降の欠陥検出処理を行うことは可能である。また、鋳物サンプルは、できるだけ表面欠陥のない健全なものを用いることが好ましい。
【００２５】
［ガウス平均化処理］
次に、表面欠陥の検査を行う供試体１２をターンテーブル１４上にセットし、展開画像の取り込みを行う（Ｓ２０２）。この供試体１２の展開画像が、画像処理部２０において欠陥検出処理が行われる検査対象画像である。画像処理部２０は、この検査対象画像に対してガウス平均化処理を行う（Ｓ２０３）。
【００２６】
ここで、図３を参照して、ガウス平均化処理について説明する。ガウス平均化処理では、検査対象画像の各画素に対して、以下に説明する処理が行われる。まず、図３（ａ）に示すように、検査対象画像の１つの画素（以下、注目画素という）３０と、この注目画素３０の周囲の領域に存在する周辺画素３２，３４とを含む領域を、ガウス平均化処理を行う対象領域３６として設定する。図３（ａ）では、対象領域３６は、注目画素３０に隣接する８つの周辺画素３２，３４を含む領域とされているが、より広い範囲の周辺画素を含む領域としてもよい。なお、各画素３０〜３４の中に記載された数値は、その画素３０〜３４の画素値である。
【００２７】
次に、図３（ｂ）に示すように、このようにして設定された対象領域３６の各画素３０〜３４に対して、ガウス分布に応じて重み付け値を与える。つまり、対象領域３６の横方向及び縦方向に応じたガウス分布曲線３８，４０を生成し、各画素３０〜３４の横方向位置、縦方向位置に対応した分布値を積算して、重み付け値を計算する。この結果、注目画素３０には重み付け値１／４が与えられ、注目画素３０の上下左右に位置する周辺画素３２には重み付け値１／８が与えられ、注目画素３０の斜め方向に位置する周辺画素３４には重み付け値１／１６が与えられる。なお、重み付け値は、対象領域３６の全画素３０〜３４について合計すると１となるように値が決められている。
【００２８】
そして、図３（ｃ）に示すように、対象領域３６の各画素３０〜３４について、上記の重み付け値と画素値を積算し、各積算値を加算した値を、注目画素３０の新しい画素値として設定する。以上、説明した処理を検査対象画像の全画素について行うことにより、ガウス平均化処理が行われた画像が得られる。
【００２９】
上述した検査対象画像に対するガウス平均化処理が、本実施形態の第一の特徴事項である。欠陥検出処理の前処理として、撮像された展開画像に対してガウス平均化処理を行うことにより、鋳肌表面の凹凸により生じた輝度差が平滑化される。このため、欠陥検出処理において、輝度差による欠陥の検出漏れ、及び誤検出を防止することができる。
【００３０】
［パターンマッチング処理］
次に、画像処理部２０は、ガウス平均化処理された検査対象画像に対してパターンマッチングを行い（Ｓ２０４）、検査対象画像の中からを参照用画像に適合した領域を探索する処理を行う。このパターンマッチング処理を、図４を参照して説明する。図４（ａ）は参照用画像４２であり、図４（ｂ）は検査対象画像４４である。なお、図４では、説明の便宜のために、鋳物サンプル、供試体１２の形状を星印４６，４８で表している。撮像ごとに供試体１２のターンテーブル上における位置、傾きなどが変化するため、検査対象画像４４に示される供試体４８は、参照用画像４２に示される鋳物サンプル４６に対して傾いている。
【００３１】
パターンマッチング処理では、検査対象画像４４上に、参照用画像４２と同じ大きさの窓枠５０を設定し、この窓枠５０内の検査対象画像４４と参照用画像４２の相関計数ｒを計算する。そして、計算された相関係数ｒが所定の閾値（０．８）より小さい場合には、窓枠５０の位置、傾きを変更し、再度、相関係数ｒの計算を行う。相関係数ｒが閾値（０．８）以上である場合、すなわち、図４（ｃ）のように窓枠５０内の検査対象画像４４が参照用画像４２とほぼ一致した場合には、窓枠５０内の領域を参照用画像４２に適合した領域として選択する。この相関係数ｒを計算する処理は、相関係数ｒが０．８以上となるまで繰り返される。なお、本実施形態では、閾値を、一般的に相関度が高いとされる０．８に設定しているが、勿論この値に限られない。参照用画像４２との適合精度を高くしたければ、閾値をより高い値とすればよく、適合精度が低くてもよいのであれば、閾値をより低い値とすればよい。
【００３２】
ここで、本実施形態における相関係数ｒの計算について、図５を参照して説明する。相関係数ｒの計算方法としては、数種類の方法が公知であるが、本実施形態では特に次の計算方法を用いている。
【００３３】
図５（ａ）は参照用画像４２であり、図５（ｂ）は窓枠５０内の検査対象画像４４である。各画像４２，４４内の記号Ｘ_１１〜Ｘ_３３，Ｙ_１１〜Ｙ_３３は、各画像４２，４４内の画素値を表している。図５では、説明の便宜のため、各画像４２，４４内に含まれる画素を合計９個として簡略化しているが、実際には各画像４２，４４内には多数の画素が含まれている。相関係数ｒは次の式４により計算される。
【数４】

【００３４】
ここで、Ｓ（ｘｙ），Ｓ（ｘｘ），Ｓ（ｙｙ）は、それぞれ次の式５〜７により計算される。
【数５】

【００３５】
上述のパターンマッチング処理が、本実施形態における第二の特徴事項である。検査対象画像４４を参照用画像４２に適合させるようにパターンマッチングを行うことにより、検査対象画像４４と参照用画像４２の輝度値の傾向を一致させることができる。そして、輝度値の傾向が一致した検査対象画像４４と参照用画像４２に基づき、後に説明する欠陥検出処理を行うことにより、表面欠陥を精度よく検出することができる。
【００３６】
［正像化処理］
次に、画像処理部２０は、パターンマッチング処理された窓枠５０内の検査対象画像４４の画素マトリクスを、参照用画像４２に適合させる正像化処理を行う。この正像化処理について、図６を参照して説明する。
【００３７】
この処理では、まず、図６（ａ）に示されるような窓枠５０の参照用画像４２に対する傾きを修正し、互いの枠を平行にする。次に、検査対象画像４４の供試体１２の形状４８と、参照用画像４２の鋳物サンプルの形状４６が一致するように、検査対象画像４４と参照用画像４２を重ね合わせ、図６（ｂ）に示される状態とする。そして、窓枠５０を参照用画像４２の枠に変更し、枠のずれを解消する。最後に、変更された枠内において、画素５２の配列を参照用画像に一致させる変換処理を行い、図６（ｃ）に示される状態とする。
【００３８】
本実施形態では、上述の正像化処理を行うことにより、検査対象画像４４と参照用画像４２の画素マトリクス、すなわち傾き、枠、画素５２の配列を一致させることができ、これにより次に説明する欠陥検出処理を迅速に行うことができる。
【００３９】
［欠陥検出処理］
次に、画像処理部２０は、上述のように正像化された検査対象画像４４に対して統計的な処理を行うことにより、欠陥の検出を行う。この欠陥検出処理について説明する。
【００４０】
この処理では、まず、検査対象画像４４の各画素値から、メモリに格納されている平均画像の各画素値を減算する処理を行う。この処理により得られた画像が、差分画像である。そして、この差分画像の各画素値から、メモリに格納されたバラツキ画像の各画素値を減算し、特徴画像を得る。そして、この特徴画像の各画素値を所定の閾値（例えば３０）と比較し、この閾値以上の画素の画素値を１とし、この閾値以下の画素の画素値を０として、２値化された画像を得る。
【００４１】
この処理を、本質的に説明する。すなわち、各画素について、複数撮像された参照用画像４２を標本として画素値の標準正規分布を作成する。そして、検査対象画像の画素値が、この標準正規分布において、発生頻度の高い範囲内であれば正常値であると判定して、新たな画素値として０を設定する。一方、画素値が発生頻度の低い所定閾値以上であれば異常値であると判定して、新たな画素値として１を設定する。画素値１が設定された部分が、欠陥と思われる部分である。
【００４２】
次に、２値化された画像から、欠陥を判定する処理を行う。本実施形態では、画素値１の画素が２ｍｍ以上連続する箇所を表面欠陥として検出する。すなわち、本実施形態では、１ピクセルの長さが０．１３ｍｍ程度であるため、画素値１が１６画素以上連続した場合に欠陥として判定する。なお、検出する欠陥の大きさを変更したい場合には、上述の画素値１が連続する画素数を変化させればよい。
【００４３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、等価な範囲で様々な変形が可能である。例えば、本実施形態では、鋳造部品の鋳肌面を対象としているが、表面が粗い鍛造部品や、切削が粗く表面に凹凸の多い切削部品などの表面検査に適用しても同様な効果を得ることができる。また、欠陥検出処理として参照用画像４２を用いた統計的処理を行ったが、単に検査対象画像４４を参照用画像４２と比較して欠陥を検出してもよい。
【図面の簡単な説明】
【図１】本実施形態に係る表面欠陥検出装置１０を示す構成図である。
【図２】表面欠陥検出装置１０が行う処理を示すフローチャートである。
【図３】ガウス平均化処理を説明するための説明図である。
【図４】パターンマッチング処理を説明するための説明図である。
【図５】パターンマッチング処理を説明するための説明図である。
【図６】正像化処理を説明するための説明図である。
【符号の説明】１０表面欠陥検出装置、１２供試体、１４ターンテーブル、１６照明、１８ラインセンサカメラ、２０画像処理部、２２表示部、２４モータ、２６エンコーダ、３０注目画素、３２，３４周辺画素、３６対象領域、３８，４０ガウス分布曲線、４２参照用画像、４４検査対象画像、４６鋳物サンプル、４８供試体、５０窓枠、５２画素。

Claims

供試体の表面欠陥を検出するための表面欠陥検出装置であって、
前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を取得する撮像手段と、
前記検査対象画像に対してガウス平均化処理を行う前処理部と、
前記ガウス平均化された検査対象画像に対して欠陥検出処理を行う欠陥検出処理部と、
を備えることを特徴とする表面欠陥検出装置。
供試体の表面欠陥を検出するための表面欠陥検出装置であって、
前記供試体と同種の基準サンプル表面を撮像して得られた参照用画像を記憶する参照用画像記憶部と、
前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を取得する撮像手段と、
前記検査対象画像と前記参照用画像を適合させるパターンマッチング処理を行うマッチング処理部と、
前記マッチング処理後の検査対象画像と前記参照用画像に基づき、欠陥検出処理を行う欠陥検出処理部と、
を備えることを特徴とする表面欠陥検出装置。
請求項２に記載の表面欠陥検出装置であって、
前記マッチング処理された検査対象画像と前記参照用画像の画素マトリクスを一致させる正像化処理を行う正像化処理部を備えることを特徴とする表面欠陥検出装置。
請求項１〜３のいずれか１に記載の表面欠陥検出装置であって、
前記撮像手段は、前記供試体を回転する手段と、回転する供試体の表面を撮像するラインセンサカメラと、を有することを特徴とする表面欠陥検出装置。
供試体の表面欠陥を検出するための表面欠陥検出方法であって、
前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を撮像する撮像ステップと、
前記検査対象画像に対してガウス平均化処理を行う前処理ステップと、
前記ガウス平均化された検査対象画像に対して欠陥検出処理を行う欠陥検出ステップと、
を含むことを特徴とする表面欠陥検出方法。
供試体の表面欠陥を検出するための表面欠陥検出方法であって、
前記供試体表面を撮像して、欠陥検出の対象となる検査対象画像を撮像する撮像ステップと、
前記検査対象画像と、前記供試体と同種の基準サンプル表面を撮像して得られた参照用画像を適合させるパターンマッチング処理を行うマッチングステップと、
前記マッチング処理後の検査対象画像と前記参照用画像に基づき、欠陥検出処理を行う欠陥検出ステップと、
を含むことを特徴とする表面欠陥検出方法。
請求項６に記載の表面欠陥検出方法であって、
さらに、前記マッチング処理された検査対象画像と前記参照用画像の画素マトリクスを一致させる正像化処理を行う正像化ステップを含み、
この正像化された検査対象画像及び前記参照用画像に基づき、欠陥検出処理を行うことを特徴とする表面欠陥検出方法。