JP2005043222A - 物体の表面検査装置および表面検査方法 - Google Patents

Abstract

【課題】物体表面の美麗度を人の目から見たそれに近い判定が可能となる物体の表面検査装置および表面検査方法を提供することを課題とするものである。
【解決手段】移動する車両外壁６２を棒状蛍光灯１により照明し、照明個所をラインセンサカメラ２により撮影し、画像処理装置３ではラインセンサカメラ２からの撮影の入力信号を一定の時間ごとに記録して２次元画像データとして蓄積する。画像処理装置３において、車両外壁６の移動速度、被撮影面の角度を考慮して平滑化フィルターのサイズを調整し、抽出したキズや汚れなどの欠陥部分の面積、輝度体積、数量を考慮することにより人の判断に近い判定結果を得る。
【選択図】図１

Description

本発明は、物体の表面状態を検査する表面検査装置および表面検査方法に関し、特に物体表面に存在する瑕や汚れなどの欠陥部の存在状態を検査する表面検査装置および表面検査方法に関するものである。

従来から、被検査表面上の検査部を照明し、被照明部の像を読取装置により読み取って信号化し、この信号を閾値処理することにより検査部における異常を検出する方法において、検査部を異なる２以上の方向から順次照明して、照明を行うごとに被照明部の像を読み取り信号化して閾値処理を行い、閾値処理された各照明ごとの画像データをアンド演算して異状個所を検出する面検査方法は、後記の特許文献１から公知である。

また、真珠のような球体の表面の微小な欠陥などの検査を含む外観検査方法として、被検査試料を取り囲んでリング光源を配置し、前記リング光源の中心軸と同軸にカメラを配置して前記被検査試料上に映る前記リング光源の像を撮影し、撮影された２次元画像データの各ピクセルの明るさについて所定の閾値を適用し前記被検査試料輪郭を背景部分から分離したのち、前記輪郭によって囲まれる領域の面積重心を極座標原点として前記輪郭を表す極座標データを求め、得られた極座標データの性質から前記被検査試料の形状を判別する球体外観検査方法も後記の特許文献２から公知である。

特開平６−２０１６０８号公報（請求項１、図１） 特開平８−２０１０３３号公報（請求項１、段落番号００８０〜０１０１、図１２〜２８） 前記特許文献１および特許文献２とも、カメラで撮影された被検査物体の表面画像に基づいて当該画像上における欠陥部の２次元画像の面積の大小にて当該欠陥部の大きさを判定するものである。ところで欠陥部なるものは、一般的に欠陥の広がり範囲と凹凸の程度が問題となり、欠陥部の広がり範囲と凹凸度の両方とも大きいもの、欠陥の広がり範囲と凹凸度の両方とも小さいもの、欠陥の広がり範囲は大きいが凹凸度は小さいもの、その逆のものなど種々様々である。物体表面の凹凸度に就いては、その判定の尺度は、凹凸問題の取り上げ方により異なってくるが、例えば列車の外壁や真珠の表面の美麗度などを問題にする場合には、人の目から見た美麗度の判定が重要となる。物体表面の照明された個所に存在する欠陥部のうちで、欠陥の広がり範囲は大きくても凹凸度は小さいものは、照明光に対する反射光が一般的に弱いのであまり目立たない。その逆に欠陥の広がり範囲は小さくても凹凸度が大きいのは、反射光が一般的に強いでその存在が目立つ。したがって、前記特許文献１および特許文献２とも欠陥の広がり範囲のみを問題としているので、人の目から見た美麗度とは異なる判定を行っている問題がある。

解決しようとする問題点は、従来技術における如上の問題に鑑みて、物体表面の美麗度を人の目から見たそれに近い判定が可能となる物体の表面検査装置および表面検査方法を提供することを課題とするものである。

本発明の物体の表面検査装置は、物体の被検査表面を照明する照明装置、上記照明装置により照明された上記被検査表面を撮影する撮影装置、上記撮影装置により撮影された上記被検査表面の画像または上記画像を加工した加工画像中に存在する欠陥部分の画像の面積と上記照明に基づく上記欠陥部分における輝度分布を計測すると共に、上記面積と上記輝度分布のピーク値または上記ピーク値の近傍値との積である輝度体積を算出する画像処理装置を備えたことを特徴とするものである。

本発明の物体の表面検査方法は、照明装置により照明された移動する物体の被検査表面をラインセンサカメラにより撮影する第一工程、上記ラインセンサカメラからの撮影信号を画像処理装置に入力して２次元画像として記録する第二工程、上記２次元画像をフィルターサイズの異なる２種類の平滑化フィルターにより平滑化処理し、上記平滑化処理で得られた２種類の画像間の差をとって上記被検査表面上に存在する欠陥部分における輝度分布を示す差分画像を得る第三工程、上記差分画像に適当な２値化閾値を適用して輝度分布の２値化画像を得る第四工程、上記２値化画像上での上記欠陥部分の上記２値化閾値における面積と上記輝度分布のピーク値または上記ピーク値の適当な近傍値との積である輝度体積を算出する第五工程を含むことを特徴とするものである。

列車、真珠、あるいはその他の物体、就中、移動する物体の表面の欠陥の程度（あるいは美麗度）を人の目から見た美麗度の判定に近い状態で判定が可能となる。

実施の形態１．

図１〜図６は、本発明の表面検査装置および表面検査方法に就いての実施の形態１を説明するものであって、図１は表面検査装置の概略平面図、図２は図１の側面図、図３は前記撮影装置の一例としてのラインセンサカメラにより撮影された、移動する被検査表面の２次元画像、図４〜図６は図３に就いての前記画像処理装置による画像処理過程を説明する説明図である。

図１および図２において、本発明の表面検査装置は、前記照明装置の一例としての通常の細長い棒状蛍光灯１、上記ラインセンサカメラ２、画像処理装置３、遮光板４、および速度センサ５から構成されている。車両６は、車輪６１と被検査表面となる車両外壁６２とを有し、矢印Ａの方向に一定の速度で移動する。

ラインセンサカメラ２は、列マトリックス状に配置された複数の画素を内蔵するものであって、車両６の移動方向Ａに対して垂直方向の、点線で示す縦長の撮影範囲２１を撮影し、棒状蛍光灯１は、撮影範囲２１およびその近傍を、換言すると撮影範囲２１より少し広い縦長の部分のみを照明する。図１の符号２２で示す線は、ラインセンサカメラ２の光軸を示す。遮光板４（図２では、図示を省略）は、ラインセンサカメラ２の背後に設置されて、背景光が車両外壁６２に反射して撮影されないようにする機能をなすものであるが、撮影装置として狭い撮影範囲２１を有するラインセンサカメラ２を採用することにより、遮光板４としては細幅の小さいもので済む利点がある。画像処理装置３は、通常の中央演算部に加えて、ラインセンサカメラ２から入力される車両外壁６２の二次元画像を平滑化処理するための、フィルターサイズの異なる複数の平滑化フィルターおよび上記二次元画像を２値化処理して前記した欠陥部の輝度体積を算出する機能をなす。速度センサ５は、車輪６１の傍に設置されていて、車輪６１の回転速度、即ち車両６の移動速度を検出する機能をなす。

つぎに、実施の形態１の表面検査装置の動作について説明する。棒状蛍光灯１およびラインセンサカメラ２は、ともに一定個所に固定設置されているが、車両６が移動することによりラインセンサカメラ２は、その撮影範囲２１の長さ幅内で被検査表面たる車両外壁６２の移動方向における全長の撮影が可能となり、画像処理装置３ではラインセンサカメラ２からの撮影の入力信号を一定の時間ごとに記録して２次元画像データとして蓄積する。図３は、かく蓄積された車両外壁６２の横長の２次元画像である。図３において、縦がラインセンサカメラ２の撮影視野方向、横が記録データの時間方向である。この画像の横方向サイズは、車両６の移動速度に反比例し、その速度が速いときは短く、その速度が遅いときは長い画像として記録される。図３に示す符号７は、車両外壁６２に存在した汚れや瑕などの多数の欠陥部分を含む欠陥部を示す。

図４（ａ）は、上記２次元画像の一部の拡大図であって、欠陥部７中の一部の欠陥部分７１１および欠陥部分７１２を含む個所を示すものであり、図４（ｂ）〜図４（ｅ）は、図４（ａ）に就いての画像処理方法を説明図する説明図である。図４（ａ）の画像において、画像上のＸ−Ｘ’間の輝度分布が図４（ｂ）のようになっているとする。図４（ｂ）におけるごく小さい凹凸８は、撮影時のノイズ成分であり、それより大きい凹み７１１ａおよび凹み７１２ａは、それぞれ欠陥部分７１１および欠陥部分７１２における輝度分布であり、さらに大きい傾斜は車両外壁６２の反射率など状態の違いによるものである。図４（ｂ）に対して小さいサイズの平滑化（例えば３×３）を行なうと、図４（ｃ）のようにノイズ分（凹凸８）が除かれた画像になる。また図４（ｂ）に対してサイズの大きい平滑化（例えば２１×２１）を行なうと、図４（ｄ）のように車両外壁６２の反射状態など大きな変化だけが残った画像になる。そこで図４（ｃ）と図４（ｄ）の差の絶対値を取ると、４（ｅ）のように検出すべき欠陥部分７１１および欠陥部分７１２における輝度分布だけが残る差分画像が得られる。

平滑化画像図４（ｂ）および図４（ｃ）を求める際のフィルターサイズは、検出すべき欠陥部分７１１、７１２などの実寸および車両外壁６２の状態の変化の実寸に従って最適な値が存在する。図５（ａ）、（ｂ）は、車両６の移動速度と記録画像の関係を示したもので、移動が速い場合は、図５（ａ）の画像が得られ、移動が遅い場合は図５（ｂ）の画像が得られる。図５（ａ）の画像の寸法Ｌ1と図５（ｂ）の画像の寸法Ｌ2は、ともに車両６の実寸法に対応している。このような場合、図５（ａ）における欠陥部分７１３、７１４は、図５（ｂ）においてはそれぞれ７１３’、７１４’のように横方向サイズがＬ2／Ｌ1に伸びたものになる。

図５（ａ）におけるフィルターのサイズを基準とした場合、図５（ｂ）に対する平滑化のフィルターの横方向サイズをＬ2／Ｌ1倍にすることで図５（ａ）に対する平滑化と同じ効果が得られる。この結果、２種類の平滑化の差の絶対値をとった画像として検出される欠陥部の感度は同じものとなる。ただし、図５（ｂ）のサイズは、横方向にＬ2／Ｌ1倍になっているので、検出された欠陥部分の大きさは、Ｌ2／Ｌ1倍に換算して評価する。

次に検出された個々の欠陥部分の程度を評価する量について図６（ａ）、（ｂ）により説明する。図６（ａ）は、上記の移動速度に基づいて横方向のサイズを修正した差分画像であって、図６（ａ）に示す欠陥部分７１５、７１６の各輝度分布は、図６（ｂ）に示すようになっている。欠陥部分７１５の輝度ピークはｂ1であり、欠陥部７１６の輝度ピークはｂ2である。ここで適当な２値化閾値ｂLを用いて２値化したとき、欠陥部分７１５、７１６の面積（請求項１および請求項５における欠陥部分の画像の面積）は、それぞれＳ1、Ｓ2となり、上記面積の大きさで評価する限りでは欠陥部分７１５の方が欠陥部分７１６より大きいが、輝度ピークの観点からでは欠陥部分７１６のほうが欠陥部分７１５より大きいために、人の目では欠陥部分７１６のほうが欠陥部分７１５より目立つ。よって本発明では、かかる点を考慮するために輝度体積という量を導入する。輝度体積は、欠陥部分７１５については、面積Ｓ1と輝度分布のピーク値ｂ1の積Ｓ1・ｂ1で表される。同様に欠陥部分７１６の輝度体積は、面積Ｓ２と輝度分布のピーク値ｂ２の積Ｓ２・ｂ２で表される。

つぎに個々の欠陥部分の輝度体積の量から車両６全体の欠陥度（あるいは美麗度）のランクを判定する方法について説明する。欠陥部分の個数、および個々の欠陥部分の輝度体積に就いて、大きさの範囲ごとのクラスに分類し、それぞれのクラス中での欠陥部分の数量と輝度体積合計を計算する。これらの数値は、車両６全体の欠陥度を表現する量であるが、それを人の目が判断する欠陥度と可及的に一致させるために、ニューラルネットワークを使用して学習を行なう。すなわち、上記クラスごとの欠陥部分の数量と輝度体積合計をニューラルネットワークの入力とし、出力を車両６の欠陥度のランク判定とする。かくすることにより、人間の目によるランク判定結果を教師データとしてニューラルネットワーク学習させる。

その際、ニューラルネットワークの出力、即ち車両６の欠陥度のランク判定と人の目によるランク判定とが不一致である場合、上記２値化閾値を他の２値化閾値に修正して修正された２値化閾値における各欠陥部分の修正面積、および／または上記輝度分布の上記ピーク値より少し大きいあるいは少し小さい他の値（修正近傍値）に修正し、それらの積である修正輝度体積を再算出して、ニューラルネットワーク学習を繰り返す。かくすることによって、車両６の欠陥の程度を自動判定できる。なお上記においては、車両６全体の欠陥度を表現する量として、欠陥部分の個数と個々の欠陥部分の輝度体積の２点を採用したが、欠陥部分の個数、個々の欠陥部分の面積、および個々の欠陥部分の輝度体積の３点を採用してもよい。

なお、車両６の被検査表面に塗装などに基づく色違い部分が存在し、且つその色違い部分の反射率が、他の部分に比べて非常に低い場合、撮影画像上でその部分の輝度が極端に低くなり画像処理で明暗変化を充分検出できなくなる。このようなとき、反射率の低い塗装色の帯域だけを透過させる光学フィルターを棒状蛍光灯１および／またはラインセンサカメラ２のレンズに取付けると、他の反射率の高い部分の受光量が低下し、相対的な光量差が小さくなって、両者がバランス良く撮影できる効果がある。

実施の形態２．

図７および図８は、本発明の表面検査装置および表面検査方法に就いての実施の形態２を説明するものであって、図７は、表面検査装置の概略側面図、図８は、前記ラインセンサカメラにより撮影された被検査表面の２次元画像である。図７において、実施の形態２の表面検査装置は、前記照明装置の一例としての通常の細長い棒状蛍光灯１、ラインセンサカメラ２、画像処理装置３、および回転駆動装置９から構成されている。８は、被検査表面となる球形外面８１を有する真珠である。被検査物体が真珠のような球体である場合、一般的に、それを回転させることにより表面を移動させ、記録された２次元画像に対して平滑化処理を行なうフィルターサイズを上記球体上の各位置における回転方向の移動量と、上記球体上の各位置における面の垂線と上記ラインセンサカメラの光軸のなす角の余弦値に基づいて、画像上の各位置ごとに調整される。以下、その詳細を説明する。

真珠８は、回転駆動装置９によって一定の角速度で回転せしめられ、実施の形態１の場合と同様に、棒状蛍光灯１で照明された真珠８の球形外面８１をラインセンサカメラ２で撮影し、撮影信号を一定の時間ごとに記録して蓄積し、２次元の画像データとする。図８は、かくして得られた球形外面８１の２次元画像を示したものであって、回転速度を一定に保って撮影された画像では、横軸（ｘ）は回転角φに比例した量であり、縦軸（ｙ）は球形外面８１をラインセンサカメラ２から見た見かけの寸法に対応した量である。７２１〜７２５は、球形外面８１の表面にあるキズなどの欠陥部分に対応する画像である。

図８の画像に対して、実施の形態１で説明した方法で画像処理を行なって欠陥部分７２１〜７２５７など抽出し、品質ランクを判定する。その際、適用する平滑化フィルターのサイズは、球形外面８１の実寸に比例して調整するが、その調整係数について以下に説明する。

いま、球形外面８１上の任意の点の画像上の座標（ｘ，ｙ）を真珠９の半径ｒ、緯度θ、回転角（経度）φで表わすと、下式（１）および下式（２）となる。
ｘ＝ｋ1・ｒ・φ・・・・・・・・・・・・（１）
ｙ＝ｋ2・ｒ・ｓｉｎθ・・・・・・・・・（２）
ここに、ｋ1、ｋ2は、比例定数である。
一方、画像上のｘ、ｙ方向に対応する実際の球形外面８１上の寸法座標をＬx、Ｌyとすると、下式（３）および下式（４）となる。
Ｌx＝ｒ・φ・ｃｏｓθ・・・・・・・・・（３）
Ｌy＝ｒ・θ・・・・・・・・・・・・・・（４）
このため、画像上の各点におけるフィルターサイズのような小さい区域を考えたとき、実寸に換算する係数は、下式（５）および下式（６）のようになる。
ｄＬx／ｄｘ＝ｃｏｓθ／ｋ1・・・・・・（５）
ｄＬy／ｄｙ＝１／（ｋ2・ｃｏｓθ）・・・（６）
ここで、θを画像上の寸法ｙで表現すると、下式（７）となる。
θ＝ａｒｃｓｉｎ｛ｙ／（ｋ2・ｒ）｝・・・（７）
すなわち、画像上の位置ｙから対応する緯度θを求め、θの関数として得られる式（５）、（６）の値を基準の平滑化フィルターの縦横サイズに乗じたサイズを適用すると、球体全体に同じ感度の平滑化および差分画像が得られる。

なお、被検査表面が曲面または傾斜面であるときは、上記曲面または上記傾斜面上の各位置における面の垂線と上記ラインセンサカメラの光軸のなす角の余弦値を補正係数とし、平滑化処理を行なう上記フィルターサイズを上記補正係数に基づいて各位置ごとに調整すればよい。かくすることにより、上記曲面または上記傾斜面上の表面にある欠陥部分ついて欠陥度の評価が可能となる。

本発明の物体の表面検査装置および表面検査方法は、列車や真珠以外にも、各種の乗り物、建造物、工芸美術品、宝石類、あるいはその他の物体に就いて、各表面の欠陥の程度（あるいは美麗度）を人の目から見た美麗度の判定に近い状態で判定が可能となる。

実施の形態１の表面検査装置を示す概略平面図である。 図１の側面図である。 ラインセンサカメラにより撮影された、移動する被検査表面の２次元画像を示す図である。 図３に就いての画像処理装置による画像処理過程を説明する他の説明図である。 図３に就いての画像処理装置による画像処理過程を説明する他の説明図である。 図３に就いての画像処理装置による画像処理過程を説明する他の説明図である。 実施の形態２の表面検査装置を示す概略平面図である。 ラインセンサカメラにより撮影された被検査表面の２次元画像を示す図である。

符号の説明

１ 棒状蛍光灯、２ ラインセンサカメラ、３ 画像処理装置、４ 遮光板、
５ 速度センサ、６ 車両、６１ 車輪、６２ 車両外壁６２、７ 欠陥部、
７１１〜７２５ 欠陥部分、８ 真珠、８１ 球形外面、９ 回転駆動装置。

Claims (10)

1. 物体の被検査表面を照明する照明装置、上記照明装置により照明された上記被検査表面を撮影する撮影装置、上記撮影装置により撮影された上記被検査表面の画像または上記画像を加工した加工画像中に存在する欠陥部分の画像の面積と上記照明に基づく上記欠陥部分における輝度分布を計測すると共に、上記面積と上記輝度分布のピーク値または上記ピーク値の近傍値との積である輝度体積を算出する画像処理装置を備えたことを特徴とする物体の表面検査装置。
2. 上記画像処理装置は、上記輝度分布を計測し易くするための、上記被検査表面の画像を平滑化処理するフィルターサイズの異なる複数の平滑化フィルターと上記被検査表面の画像を２値化処理する機能を有し、上記加工画像は２値化画像であることを特徴とする請求項１記載の物体の表面検査装置。
3. 上記撮影装置は、ラインセンサカメラであることを特徴とする請求項１または請求項２記載の物体の表面検査装置。
4. 上記照明装置および／またはラインセンサカメラは、所定の波長帯だけを通す光学フィルターを備えたことを特徴とする請求項３記載の物体の表面検査方法。
5. 照明装置により照明された移動する物体の被検査表面をラインセンサカメラにより撮影する第一工程、上記ラインセンサカメラからの撮影信号を画像処理装置に入力して２次元画像として記録する第二工程、上記２次元画像をフィルターサイズの異なる２種類の平滑化フィルターにより平滑化処理し、上記平滑化処理で得られた２種類の画像間の差をとって上記被検査表面上に存在する欠陥部分における輝度分布を示す差分画像を得る第三工程、上記差分画像に適当な２値化閾値を適用して輝度分布の２値化画像を得る第四工程、上記２値化画像上での上記欠陥部分の上記２値化閾値における面積と上記輝度分布のピーク値または上記ピーク値の適当な近傍値との積である輝度体積を算出する第五工程を含むことを特徴とする物体の表面検査方法。
6. 上記第一工程〜第五工程を経て検査された上記被検査表面の２値化画像における複数の欠陥部分の個数と各欠陥部分の上記輝度体積の大きさにより複数のクラスにクラス分けし、各クラス毎の総輝度体積を算出して上記被検査表面の欠陥度をランク判定し、得られた上記ランク判定と人の目による上記被検査表面の欠陥度のランク判定とを対比する第六工程、上記第六工程での対比に基づいて、必要に応じて上記被検査表面の上記総輝度体積によるランク判定が人の目によるランク判定に近づくように、上記第四工程における上記２値化閾値を他の２値化閾値に修正して修正された２値化閾値における各欠陥部分の修正面積および／または上記輝度分布の上記ピーク値の他の修正近傍値との積である修正輝度体積を再算出する第七工程を含むことを特徴とする請求項５記載の物体の表面検査方法。
7. 上記被検査表面の移動量または移動速度をラインセンサカメラの撮影信号と共に記録し、記録された上記２次元画像に対して平滑化処理を行なう上記平滑化フィルターの縦横サイズのうち、上記被検査表面の移動方向に対応するサイズを画像上の各位置ごとに上記記録された移動量または移動速度に基づいて調整することを特徴とする請求項５または請求項６記載の物体の表面検査方法。
8. 上記被検査表面が曲面または傾斜面であるとき、上記曲面または上記傾斜面上の各位置における面の垂線と上記ラインセンサカメラの光軸のなす角の余弦値を補正係数とし、平滑化処理を行なう上記フィルターサイズを上記補正係数に基づいて各位置ごとに調整することを特徴とする請求項５または請求項６記載の物体の表面検査方法。
9. 上記物体が球体であって、それを回転させることにより表面を移動させ、記録された２次元画像に対して平滑化処理を行なう上記フィルターサイズを上記球体上の各位置における回転方向の移動量と、上記球体上の各位置における面の垂線と上記ラインセンサカメラの光軸のなす角の余弦値に基づいて、画像上の各位置ごとに調整することを特徴とする請求項５または請求項６記載の物体の表面検査方法。
10. 上記照明装置および／または上記ラインセンサカメラは、所定の波長帯だけを通す光学フィルターを備えたことを特徴とする請求項５または請求項６記載の物体の表面検査方法。

Images