JP2006177852A - 表面検査装置、およびその方法 - Google Patents

Abstract

【課題】 薄鋼板や、厚鋼板の移動表面の凹凸キズと汚れとの識別能力を向上させた表面検査装置、及びその方法を提供することを目的とする。
【解決手段】 検査領域Ａに光を照射する照明手段３と、表面５からの反射光を受光する受光手段１及び第２の受光手段２と、受光手段１及び受光手段２からの画像信号に基づいて、凹凸キズと汚れとを識別処理する画像処理手段７とを有し、画像処理手段７は、受光手段１からの第１の画像と受光手段２からの第２の画像との画像の位置ずれを、いずれかを一方の元画像の位置に補正して補正画像とし、この補正画像と元画像との差を求める座標変換処理部７ｂと、差分から凹凸キズの候補領域を抽出する凹凸候補抽出処理部７ｃと、候補領域について元画像と補正画像との相関値を求める正規化相関演算部７ｄと、相関値の大小から凹凸キズと汚れを識別する凹凸判定部７とを備える。
【選択図】 図１

Description

本発明は、移動する被検査物の表面のキズを光学的に検出して、画像処理により凹凸キズと汚れとを識別検出する表面検査装置、およびその方法に関する。

圧力容器、タンカー、建材などに使用される厚鋼板や、自動車、家電、缶などに使用される薄鋼板などは、これらの鋼板の製造プロセスに起因するなんらかの異常が原因でその表面にキズや汚れが発生する。

厚鋼板や薄鋼板の表面のキズは、２種に大別される。その一つは、鋼板の表面が割れたり、剥離したり、または、異物が混入することが原因で発生する凹凸キズで、他の一つは酸化膜のムラや、圧延油等痕跡が模様状に発生する汚れである。

これらの鋼板の表面のキズを検査する表面検査装置においては、通常、製品の品質保証と歩留まり向上の観点から、凹凸キズと汚れ識別して、特に有害な凹凸キズを確実に検出し、汚れをキズとして検出しないことが要求される。

従来このような表面検査装置として、スペクトルの異なる３種類の光束を被検査物表面に照射し、１つの光束は明視野、他の２つの光束は暗視野とする検出光学系を構成して、３種類の反射光を１台のカメラで時分割検出する方法が開示されている(例えば、特許文献１参照。)。

この方法では、左右対称に照射される暗視野条件での２種の反射光の画像信号の差から勾配を検出し、明視野条件の反射光の画像信号と暗視野条件の反射光の画像信号との差および和から、夫々、光沢と反射性を検出するように構成している。

ここで、勾配の検出は主に凹凸キズの検出を、反射性の検出は主に汚れの検出を想定したものである。

また、画像認識による不良検出方法として、所定の分割メッシュ単位の良品のテンプレート画像と、撮像された画像信号との正規化相関係数を求めて、この係数値が所定の値以下の場合を不良と判定するパターンマッチング法が開示されている(例えば、特許文献２参照。)。
特表２００１−５１４３８６号公報（第２ページ、図１１） 特開２００４−１７７１７０号公報（第３ページ、図２）

上述した特表２００１−５１４３８６号公報による勾配と反射性の夫々の検出系は、時分割で３種類の光束を照射し、その反射光からの３種類の画像を使用して、その差の画像、及びその和の画像から特徴を抽出するもので、３系統の時分割信号から検出するため構成が複雑となる問題がある。

また、凹凸キズと汚れとの識別は、夫々の光学条件で撮像されたカメラ信号から生成された画像の特徴量の相違で判別することになるが、その識別アルゴリズムや、識別性能向上のための手段については開示されたものがない。

すなわち、左右の暗視野画像の差や、明視野画像と暗視野画像の和で求められる画像信号から特徴を抽出し、その画像の特徴量から凹凸キズと汚れを識別する方法においては、凹凸キズの程度、汚れの程度が軽度になってくると、その差、和信号に差異が無く、特徴が抽出できないために識別できなくなる問題がある。

そこで、特徴量を統計的に捉えて識別する方法も採用されるが、軽度になればその特徴量の統計的特徴にも差異がなくなるため、識別性能には問題がある。

次に、上述した特開２００４−１７７１７０号公報による凹凸キズの検出については、良品表面のテンプレート画像と予め定義された凹凸キズ画像との正規化相関値を求める、パターンマッチング法により凹凸キズを認識しようとするもので、不特定のパターンの凹凸キズを検出する場合には、多数の凹凸キズのテンプレートを用意することが必要で、認識処理が複雑になり処理に時間がかかるため、被検査物が高速で移動する場合には検査できなくなる問題がある。

また、被検査物の良品表面は固定されたものでなく、良品表面にもばらつきがあるため、テンプレートの固定表面に対して識別閾値を固定する方法では問題がある。

本発明は上記問題点を解決するためになされたもので、厚鋼板や、薄鋼板の移動表面の凹凸キズと汚れとの識別能力を向上させた表面検査装置、表面検査の方法を提供することを目的とする。

上記目的を達成するために、本発明に係る請求項１による表面検査装置は、移動する被検査物の表面の凹凸キズと汚れを識別検出するための表面検査装置であって、前記被検査物表面の所定の検査領域に光を照射する照明手段と、前記被検査物表面からの反射光を前記被検査物の移動方向の両側端上部から前記照明手段の投光角度と異なる受光角度で受光する第１の受光手段及び第２の受光手段と、前記第１の受光手段及び前記第２の受光手段からの画像信号に基づいて、凹凸キズと汚れとを識別処理する画像処理手段とを有し、前記画像処理手段は、前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、いずれかを一方の元画像の位置に補正して補正画像とし、この補正画像と前記元画像との差を求める座標変換処理手段と、前記座標変換処理手段からの差の出力を２値化して凹凸キズの候補領域を抽出する凹凸候補抽出処理手段と、抽出された前記凹凸キズの候補領域についての前記元画像と前記補正画像との相関値を求める相関演算手段と、前記相関演算手段で求めた相関値の大小から凹凸キズと汚れとを識別する凹凸判定手段とを備えたことを特徴とする。

上記目的を達成するために、本発明に係る請求項４による表面検査の方法は、移動する被検査物の表面の凹凸キズと汚れを識別検出する表面検査の方法であって、前記被検査物表面の所定の検査領域に光を照射する照明手段と、前記被検査物表面からの反射光を前記被検査物の移動方向の両側面上部から前記照明手段の投光角度と異なる受光角度で受光する第１の受光手段及び第２の受光手段と、前記第１の受光手段及び前記第２の受光手段からの画像信号に基づいて、凹凸キズと汚れとを識別処理する画像処理手段とを有し、前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、いずれかを一方の元画像位置に補正するための座標変換パラメータを求めるステップと、前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、前記元画像位置に前記座標変換パラメータで補正して補正画像を生成するステップと、位置補正された前記補正画像と前記元画像との差を求めるステップと、前記差の出力を２値化して凹凸キズの候補領域を抽出するステップと、前記凹凸キズの候補領域についての前記元画像と前記補正画像との相関値を求めるステップと、求めた前記相関値の大小から凹凸キズと汚れとを識別するステップとからなることを特徴とする。

以上述べた様に、本発明によれば、左右の暗視野受光となる受光手段によって、表面の凹凸を位置のズレとして検出し、左右の受光手段からの検出画像の位置ずれを補正した後、夫々の画像の差分を求め、抽出された凹凸キズ候補を差信号で予め抽出し、抽出された所定の領域についての正規化相関値から凹凸キズと汚れとを識別して検出するようにしたので、処理する箇所が全面で無く抽出条件で限定されるので処理速度が速く、且つ、抽出は左入の信号の差で検出するので、良品表面のばらつきは相殺されやすく、且つ相対的な検出が行える。

更に、抽出された凹凸キズ候補の箇所についての正規化相対値によって、凹凸キズと汚れの識別を行うようにしたので、信号のレベルだけでなく、信号の位置の相違によって凹凸キズと汚れとの相関値に差が発生する。

したがって、軽度の凹凸キズと、軽度の汚れとの識別性能が向上された表面検査装置、表面検査の方法を提供することができる。

以下、図面を参照して本発明の実施例を説明する。図１は、本発明による表面検査装置の構成図である。表面検査装置は、薄鋼板など高速で移動する被検査物５の表面を光源から帯状の光束で照射する照明部３と、被検査物５からの反射光を受光する被検査物５の両側端上部で、左右対称に配置されたカメラ１及びカメラ２と、被検査物５の移動速度を検出する速度検出器６と、カメラ１のカメラ信号ｓ１、カメラ２からのカメラ信号ｓ２を速度検出器６からの移動速度信号に同期して所定の移動量単位で受信し、これらのカメラ信号で形成された画像信号から凹凸キズを識別処理する画像処理部７とから構成される。

画像処理部７は、カメラ信号ｓ１及びカメラ信号ｓ２を所定の検査領域Ａ毎に画像を形成して記憶する画像入力部７ａ、カメラ１とカメラ２からの形成される画像の位置を一方の画像に座標変換して画像の位置ズレを補正して重ね合わせ、それらの画像の差分を求める平面投影ステレオ処理部７ｂ、この差分の大きいところを凹凸キズ候補箇所として判定する凹凸候補検出部７ｃ、重ね合わせた２つの画像の相関値を求める正規化相関演算部７ｄ、及びこの正規化相関値の値から凹凸キズであるか否かを判定する凹凸判定処理部７ｅとから構成される。

このように構成された本発明の検出原理について、図２を参照して説明する。この検出原理は、被検査物５を左右のカメラ１及びカメラ２で撮像し、左右のカメラ１、カメラ２の視差で凹凸の変化を位置の変化として捉え、夫々の画像信号の差分を所定の判定レベルで検出し、更に、検出された箇所の近傍について２つの画像の相関値を求めて、所定の相関値以下の箇所を凹凸キズとして判定するものである。

図２（ａ）は、被検査物５の表面を１次元表示したもので、凹部キズと汚れをカメラ１とカメラ２で撮像している様子を示す。図２（ｂ）及び図２（ｃ）は、被検査物５の表面の凸部と汚れ箇所を走査したときのカメラ１及びカメラ２の信号の１つの走査信号を図示したものである。

凹凸測壁面からの反射光、汚れからの反射光は何れも減衰する。しかし、図２（ｂ）、（ｃ）に示すように、カメラ１及びカメラ２の視差があるため、凸部の信号の位置は変化するが、汚れは凹凸がないため信号の位置は変わらない。

次に、カメラ１とカメラ２の画像信号の差分(図２（ｄ）)を求め、２つの画像の相関値（図２（ｅ））をその差分の発生箇所近傍の所定のキズ判定領域について求める。

すると、差分検出されたキズ判定領域に凸部と汚れが混在する場合であって、凸部は信号の位置ズレがあるため相関値は小さく、逆に汚れは位置が変わらないため相関値は大きな値となるので、この相関値が所定の値以下の箇所を凹凸キズありとして、汚れと識別して判定する。

汚れは、差分検出で検出されない場合は問題が無いが、実際には、画像の量子化時の量子化誤差によって±１画素のズレは発生するので、その箇所は図２(ｄ)に示すように差分が発生する。しかし、相関演算はこの量子化を見込んだ量を移動相関演算とすることで、大きな値となり、凹凸部との識別が容易に行える。

次に、このような検出原理による検出系を構成するカメラ１、カメラ２及び照明部３の詳細構成について図３を参照して説明する。図３（ａ）は被検査物５の上部から見た平面図で、同図（ｂ）は、被検査物５の移動方向正面から見た正面図、同図（ｃ）はその移動方向か見た側面図である。

カメラ1及びカメラ２は、ラインセンサカメラ、エリアセンサカメラのいずれでも良い。カメラ１、カメラ２の光学条件の設定は、幅方向には被検査物５の最大測定幅Ｗ以上の間隔Ｌで、被検査物５の検査幅を夫々、常に鋭角受光する位置に対称配置する。

また、カメラ1、カメラ２の夫々の受光角度範囲θ1、受光角度範囲θ２は、受光信号が所定のレベル以上で検出され、且つ、凹凸の高さの変化が所定の分解能以上で検出できるように深い斜角に設定しておく。

そして、照明部３は、検査領域Ａ全面を極力均一な明るさで照明し、幅方向全域をカバーできる、例えば、蛍光灯のような棒状光源を並べて配置する。また、移動方向側面から見た受光角度θｒは、被検査物５の法線方向に近い位置で受光し、撮像した左右の画像が平行平面となるように設定し、２次元アフィン変換処理で行えるようにすることが望ましい。

このように配置設定することによって、小さな凹凸部の検出が位置変化として高分解能で検出され、抽出部のみの処理とできるので処理時間が短縮できる。

次に、左右のカメラ画像の位置合わせ（キャリブレーション）の方法について図４及び図５を参照して説明する。このキャリブレーションは、検査を開始する前に実施され、カメラ１とカメラ２の画像間の位置ズレが大きな場合に、座標変換パラメータを予め求めておくものである。

カメラ１とカメラ２の平行性が不十分な場合には、座標変換パラメータは、射影変換処理によって求める場合もある。

先ず、図４に示すように、カメラ1、カメラ２から一定距離の平面上を移動する被検査物５の母材表面に、例えば、正三角形同じ平面状位置と見なせる厚さで、母材と異なる反射率の校正片Ｄｍを固定して搬送する（図５、ｓ１１）。

カメラ１、カメラ２で撮像される画像は、予め互いに平行な平面上の画像として撮像されるように設定されているので、一方の画像を平行移動すれば、他方の画像になる。しかしながら、上述したように光学条件の差によって画像は同じ形状とならない。

そこで、三角形の校正片Ｄｍの各頂点の画像位置データ一致するように、例えば、カメラ２の画像をカメラ１の画像の位置に合うように、予め幾何学上の座標変換を行って、この座標変換パラメータを予め算出しておく（図５、ｓ１２）。

詳細には、互いの画像が平行で、平行移動、回転、拡大／縮小で変換できる場合、例えば、カメラ２で撮像された画像の３角形の校正片Ｄｍの頂点の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、(ｘ３、ｙ３)をカメラ１で撮像された画像の位置（ｘ_ｒ１、ｙ_ｒ１）、（ｘ_ｒ２、ｙ_ｒ２）、(ｘ_ｒ３、ｙ_ｒ３)に座標変換する座標変換パラメータ（ａ乃至ｆ）を、下記のアフィン変換によって数学的に求めておく。

次に、このように設定された表面検査装置の画像処理部７での凹凸キズの識別処理について図６、図７及び図１を参照して説明する。画像処理部７の処理動作を分かりやすくするため、凹凸キズの形状、汚れの形状を３角形のモデルパターンであるとして説明する。

図６において、先ず、カメラ１及びカメラ２からの信号を画像入力部７ａで所定の分解能の画素サイズ単位で形成、記憶する（ｓ２１）。この入力は、カメラ１及びカメラ２からの信号をもれなく全面処理されるように、被検査物５の速度検出器６からの移動速度信号に同期して所定の長さ単位で入力されるように予め設定される。

次に、入力された２つのカメラ画像について、予め求められた座標変換パラメータによって、カメラ２の画像データの座標をカメラ１の画像データの座標に座標変換し（ｓ２２）、変換されたカメラ２の画像とカメラ１の画像の差分（重ね合わせ処理）を求める（ｓ２３）。この座標変換処理及び重ねあわせ処理は平面投影ステレオ処理部７ｂで実行される。

図７には、このときの凹凸キズ及び汚れの平面投影ステレオ処理フローをモデルパターンで図示したものである。図７（ａ）汚れの場合、カメラ１の変換処理後の画像（１点破線）からカメラ２の実線位置に座標変換され、重ね合わせ処理されるとその差は検出されない。

一方、図７(ｂ)に示す凹凸キズの場合、カメラ１とカメラ２の画像は、破線で示した汚れの検出位置に対して、カメラ１とカメラ２の視差の相違量だけ左右にずれる。したがって、重ね合わせ処理された画像は、その位置ズレ分だけ差信号として検出される。

この差分処理は、良品面との差を求めるので、良品面のランダムなばらつきも平均化され、Ｓ／Ｎが改善されるとともに、後述する正規化演算処理時間は、検査領域Ａ内の凹凸キズ候補の発生箇所のみを限定検出するので、検査領域Ａ内の全域を処理する場合に比べて処理時間が短縮される効果がある。

次に、このように重ね合わせ処理された濃淡信号を所定のレベルで判定して、凹凸キズ候補の発生箇所を検出する（ｓ２４）。凹凸キズ候補は、凹凸キズ部だけでなく、汚れの発生箇所でも同時に検出される場合がある。

例えば、図７(ｃ)に示すように、汚れの見え方は、左右のカメラでまったく同一ではなく、相違が発生する。その理由、画像の量子化時の±１画素の量子化誤差によるものや、汚れキズの反射パターンが不定形で不規則に変化するため、カメラ１とカメラ２で検出された汚れの形状が異なることによる。

そこで、カメラ１とカメラ２の相関値を求める場合には、量子化誤差の発生を予測して少なくとも±１ビットの位置を移動させた移動正規化相関値を求めることによって汚れの微笑形状の差分Δｄの相関値は大きくなり、発生位置の異なる凹凸キズの相関値との差が顕著になる（ｓ２５）。

ここで、凹凸キズ候補として検出されたカメラ１の画像の所定のキズ検出領域（ｗ、ｈ）(マスク画像Ｎ_ｉｊと称する)とし、対応するカメラ２の座標変換された対象画像（Ｏ_ｉｊ）とすると、正規化相関値ｃは、下記式から求められる。

但し、このカメラ１とカメラ２のキズ検査領域Ａの平均の明るさは同じとした。

そして、この正規化相関値ｃの大きさを予め設定される閾値と比較判定して、汚れと凹凸キズとを識別する（ｓ２６）。

次に、このように構成された、本実施例について微小凹凸キズの場合の動作図８（Ｂ）を参照して説明する。図８（Ａ）左側の図は、図２で説明した内容と同じ図で、図８（Ａ）と対応する図の説明を省略する。凹凸キズと汚れ差分ｖのレベルが小さく、且つ、その信号の間隔ｐが狭くなったときの様子を示したものである。

微小な凹凸キズを検出するために、凹凸キズ候補領域を検出する両カメラの差分の判定閾値Ｅａを下げると、微小な汚れの差分ｖも検出しやすくなる。しかし、発生する信号間隔に量子化誤差以上の距離差があれば、汚れの相関値ｃとの差は識別できるので、判定閾値Ｅｃ最適値を選択して、その限界値を設定することができる。

すなわち、本実施例によれば、凹凸キズを信号のレベルから検出する場合に比べて、同一の信号レベルであっても画像信号の発生位置に差があれば、微小凹凸キズと微小汚れを識別することができる。

本発明は、上述したような各実施例に何ら限定されるものではなく、座標変換は、カメラ１とカメラ２の画像が平行な場合のアフィン変換として説明したが、射影変換で補正されても良く、また、カメラ１、カメラ２、及び照明部は高さの相違を検出位置の差として検出される構成ものであれば良く、本発明の主旨を逸脱しない範囲内で種々変形して実施することができる。

本発明による表面検査装置の構成図。 本発明の凹凸キズの識別検出の原理説明図。 本発明による表面検査装置の検出系（カメラ、照明部）の説明図。 本発明の（画像の位置ずれを補正）キャリブレーションの説明図。 本発明のキャリブレーションのフロー図。 本発明の画像処理部の処理フロー図。 本発明の平面投影ステレオ出処理フロー図。 本発明の微笑凸キズの識別処理動作説明図。

符号の説明

１ カメラ１
２ カメラ２
３ 照明部
５ 被検査物
６ 速度検出
７ 画像処理部
７ａ 画像入力部
７ｂ 平面投影ステレオ処理部
７ｃ 凹凸候補検出部
７ｄ 正規化相関演算部
７ｅ 凹凸判定処理部

Claims (4)

1. 移動する被検査物の表面の凹凸キズと汚れを識別検出するための表面検査装置であって、
   前記被検査物表面の所定の検査領域に光を照射する照明手段と、前記被検査物表面からの反射光を前記被検査物の移動方向の両側端上部から前記照明手段の投光角度と異なる受光角度で受光する第１の受光手段及び第２の受光手段と、前記第１の受光手段及び前記第２の受光手段からの画像信号に基づいて、凹凸キズと汚れとを識別処理する画像処理手段とを有し、
   前記画像処理手段は、前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、いずれかを一方の元画像の位置に補正して補正画像とし、この補正画像と前記元画像との差を求める座標変換処理手段と、
   前記座標変換処理手段からの差の出力を２値化して凹凸キズの候補領域を抽出する凹凸候補抽出処理手段と、
   抽出された前記凹凸キズの候補領域についての前記元画像と前記補正画像との相関値を求める相関演算手段と、
   前記相関演算手段で求めた相関値の大小から凹凸キズと汚れとを識別する凹凸判定手段とを備えたことを特徴とする表面検査装置。
2. 前記第１の受光手段及び前記第２の受光手段の光軸中心は、夫々前記被検査物の両エッジの搬送平面に対する法線位置よりも外側に配置したことを特徴とする請求項１に記載の表面検査装置。
3. 前記第１の受光手段及び前記第２の受光手段は、ラインセンサカメラまたはエリアセンサカメラとし、前記被検査物の移動速度に同期して夫々の画像信号を形成するようにしたことを特徴とする請求項１に記載の表面検査装置。
4. 移動する被検査物の表面の凹凸キズと汚れを識別検出する表面検査の方法であって、
   前記被検査物表面の所定の検査領域に光を照射する照明手段と、前記被検査物表面からの反射光を前記被検査物の移動方向の両側端上部から前記照明手段の投光角度と異なる受光角度で受光する第１の受光手段及び第２の受光手段と、前記第１の受光手段及び前記第２の受光手段からの画像信号に基づいて、凹凸キズと汚れとを識別処理する画像処理手段とを有し、
   前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、いずれかを一方の元画像位置に補正するための座標変換パラメータを求めるステップと、
   前記第１の受光手段からの第１の画像と前記第２の受光手段からの第２の画像との画像の位置ずれを、前記元画像位置に前記座標変換パラメータで補正して補正画像を生成するステップと、
   位置補正された前記補正画像と前記元画像との差を求めるステップと、
   前記差の出力を２値化して凹凸キズの候補領域を抽出するステップと、
   前記凹凸キズの候補領域についての前記元画像と前記補正画像との相関値を求めるステップと、
   求めた前記相関値の大小から凹凸キズと汚れとを識別するステップとからなることを特徴とする表面検査の方法。

Images