JP2002257534A - 画像処理装置及びその処理方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】検査対象面の形状や傷などの形成方向などに左
右されずに精度良く欠陥部分を検出する。 【解決手段】複数個の正六角形のパターンが隙間なくハ
ニカム状に印刷されて、これら正六角形の個々のパター
ンに同心円状のグラデーションパターンが印刷されたス
クリーン３を介して検査対象面を投影して得られるグラ
デーションパターンの明暗勾配の変化率から欠陥部分を
検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、塗装面や
金属表面などの検査対象面に投影された明暗パターン像
を撮影し、その撮影画像に所定の画像処理を施すことに
よって当該検査対象面の表面状態を検出する画像処理装
置及びその処理方法に関する。

【０００２】

【従来の技術】従来の表面検査のための画像処理方法と
しては、検査対象面に白黒のゼブラパターンを投影し、
その投影されたゼブラパターンの白黒の境界線に生じる
ずれ量に基づいて当該検査対象面の歪みや傷の凹凸部分
（欠陥部分）を検出する手法、或いは、特開平６−２４
２０１９号には、検査対象面に正方形を基本要素とする
グラデーションパターンを投影し、その投影されたグラ
デーションパターンの境界線に生じるずれ量に基づいて
当該検査対象面の欠陥部分を検出する手法などが提案さ
れている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
方法では、検査対象面の欠陥部分の有無は検出できる
が、その欠陥部分の高さ（つまり、欠陥の度合い）を検
出することができないと共に、検査対象面に存在する欠
陥部分と投影されたパターンとの位置関係、例えば、一
方向に線状に伸びる傷などが明暗勾配に対して垂直に位
置すると、欠陥部分に明暗勾配の変化が現われないた
め、検出精度に差が生じる、或いは欠陥部分を検出でき
ないという問題がある。

【０００４】本発明は、上述の課題に鑑みてなされ、そ
の目的は、検査対象面の形状や傷などの形成方向などに
左右されずに精度良く欠陥部分を検出できる画像処理装
置及びその処理方法を提供することである。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る画像処理装置は、対象物の表面を撮影
し、当該撮影画像により当該対象物の表面状態を検出す
る画像処理装置であって、同心円状の明度パターンの一
部が形成された基本要素が三角形のスクリーンと、前記
スクリーンの明度パターンを対象物に投影する投影手段
と、前記投影された明度パターンを撮影し、当該撮影画
像により前記対象物の表面状態を検出する検出手段とを
具備する。

【０００６】また、好ましくは、前記検出手段は、平面
近似処理により求められる回帰平面から所定量外れて現
われる明暗部分を欠陥部分として検出する。

【０００７】また、好ましくは、前記検出手段は、前記
対象物の曲率半径と領域分割サイズに基づいて前記明度
の勾配幅を設定する。

【０００８】また、好ましくは、前記スクリーンは、六
角形のパターンの中に前記同心円状の明度パターンが形
成されるように、前記三角形のパターンを組み合わせて
構成される。

【０００９】本発明に係る画像処理装置は、対象物の表
面を撮影し、当該撮影画像により当該対象物の表面状態
を検出する画像処理方法であって、同心円状の明度パタ
ーンの一部が形成された基本要素が三角形のスクリーン
を対象物に投影し、前記投影された明度パターンを撮影
し、当該撮影画像により前記対象物の表面状態を検出す
る。

【００１０】

【発明の効果】以上のように、請求項１又は５の発明に
よれば、対象物の表面を撮影し、当該撮影画像により当
該対象物の表面状態を検出する際に、同心円状の明度パ
ターンの一部が形成された基本要素が三角形のスクリー
ンを対象物に投影し、投影された明度パターンを撮影
し、当該撮影画像により対象物の表面状態を検出するこ
とにより、検査対象面の形状や傷などの形成方向などに
左右されずに精度良く欠陥部分を検出できる。

【００１１】請求項２の発明によれば、平面近似処理に
より求められる回帰平面から所定量外れて現われる明暗
部分を欠陥部分として検出することにより、精度良く欠
陥部分を検出できる。

【００１２】請求項３の発明によれば、対象物の曲率半
径と領域分割サイズに基づいて明度の勾配幅を設定する
ことにより、検査対象面の形状に合わせて精度良く欠陥
部分を検出できる。

【００１３】請求項４の発明によれば、スクリーンは、
六角形のパターンの中に同心円状の明度パターンが形成
されるように、三角形のパターンを組み合わせて構成さ
れることにより、検査対象面の形状や傷などの形成方向
などに左右されずに精度良く欠陥部分を検出できる。

【００１４】

【発明の実施の形態】以下、本発明の一実施形態として
の明暗勾配法による表面欠陥検査について、添付図面を
参照して詳細に説明する。尚、図２、図３、図５、図１
０並びに図１３は、グラデーションの表現上の制約から
複数段階の濃淡表現となっているが、本実施形態におけ
る後述する説明の通り、グラデーションの明度は連続的
に変化しているものとする。 ［パターン投影用スクリーン］はじめに、本実施形態に
おいて採用するパターン投影用スクリーンについて説明
する。

【００１５】図１は、本実施形態に係るパターン投影用
スクリーンを使用した表面検査に用いる画像処理装置の
基本型を示す図である。図２は、本実施形態に係るパタ
ーン投影用スクリーンの一部を示す図である。

【００１６】図１及び図２において、４は、パターン投
影用スクリーン（以下、スクリーン）３を照明するラン
プであり、本実施形態においては、白色光を発光する蛍
光灯を一例として使用する。スクリーン３の表面には、
図２に示す同心円状のグラデーションパターン（後述す
る明暗勾配パターン）がすき間なく隣接して複数印刷さ
れている（尚、図２には図示の関係から３つの正六角形
が配置された例を示す）。

【００１７】また、５は、ランプ４によって背照された
スクリーン３のパターンが投影される検査対象面（本実
施形態では塗装面）である。２は、ＣＣＤ(Charge Coup
ledDevice)カメラ等であり、当該パターンが投影された
検査対象面５を撮影する。そして１は、カメラ２が撮影
した画像（以下、撮影画像）に後述する画像処理を施す
画像処理装置である。画像処理装置１としては、撮影画
像を表わす信号を入力可能な一般的なインタフェースボ
ードが搭載されたコンピュータを採用すれば良い。

【００１８】本実施形態において採用するスクリーン３
は、図２に示すように複数個の正六角形のパターン３ａ
が隙間なくハニカム状に印刷されており、これら正六角
形の個々のパターンには同心円状のグラデーションパタ
ーンが印刷されており、それら個々の正六角形は、図３
に示す正三角形を基本要素としている。

【００１９】図３は、本実施形態に係るパターン投影用
スクリーンを構成する基本要素としての正三角形のグラ
デーションパターンを示す図である。

【００２０】同図に示す正三角形には、同心円状の円弧
となるグラデーションパターンの一部が印刷されてお
り、６つの正三角形を組み合わせて正六角形のパターン
３ａとしたときに、同心円状のグラデーションパターン
となるように、その一底辺から対向する頂点に向かって
黒から白（或いは白から黒としても良い）に次第に明度
が変化する、同心円状の一部となるグラデーションパタ
ーンが施されている。

【００２１】本実施形態では、カメラ２の撮影画像を表
わすデジタル多値画像データ（ピクセル値）に合わせ
て、濃度値０（黒）から濃度値２５５（白）の２５６階
調の明暗勾配が印刷されており、互いに隣接する正三角
形の一辺の長さ（即ち、明暗の勾配幅）は、例えば、５
０ｍｍであるが、後述するように検査対象面の曲率半径
によって適切な値に可変に設定可能である。そして、図
２に示す個々の正六角形は、図３に示す正三角形の基本
要素を、グラデーションが白の当該頂点を共通にして６
つ並べることによって形成されている。

【００２２】尚、図４に示すように、直角２等辺三角形
を基本要素とする正方形のグラデーションパターンを用
いてもよい。

【００２３】ここで、本実施形態にて採用する正三角形
の基本要素の特徴、並びにそれら正三角形を６つ組み合
わせた正六角形のグラデーションパターンの特徴につい
て、図５を参照して説明する。

【００２４】図５は、検査対象面Ｐに存在する欠陥部分
Ｄ１にグラデーションパターンＧａ，Ｇｂを投影したと
きに検出される濃度分布を説明する図である。

【００２５】同図において、図５（ａ）のグラデーショ
ンパターンＧａは、図５（ｂ）のグラデーションパター
ンＧｂと比較して明暗勾配の変化率が大きく、それらグ
ラデーションパターンに投影された欠陥部分Ｄ１を表わ
す明暗勾配は、同じ欠陥部分であるにも関らず異なる濃
度分布を表わすことが判る。これは、撮影画像に含まれ
る欠陥部分Ｄ１の明暗勾配に基づいて検査対象面Ｐを検
査する場合において、欠陥部分Ｄ１に対して投影される
グラデーションパターンの明暗勾配の方向（単位長さ当
たりの明暗勾配の変化率）に応じて検出結果が変化して
しまい、同じ欠陥部分でも異なる大きさに検出されるこ
とを表わしており、この検出性能の違いは、検査対象面
に投影されるグラデーションパターンの形状の違いによ
っても発生する。 ［明度変化の平均値の算出］次に、上述したスクリーン
３に印刷された所定のパターンが投影された検査対象面
５をカメラ２によって撮影した撮影画像から、その撮影
画像の明度変化の平均値に相当する近似平面（回帰平
面）を、以下に説明する手順で算出する。

【００２６】まず、一般的な統計解析手法について概説
する。統計における独立変数が２つ以上を考える場合の
分析手法としては、重回帰分析が知られており、２個の
独立変数（説明変数）を持つデータ集合を取り扱う場合
には回帰平面が適用される（図６参照）。

【００２７】回帰平面の定義は、データ集合｛ｘi｝，
｛ｙi｝，｛ｚi｝に最も近い平面であり、式（１）で表
される。ここで、「データ集合｛ｘi｝，｛ｙi｝，｛ｚ
i｝に最も近い平面」とは、各点と算出する平面までの
距離の２乗の合計値が最も小さくなる平面である。

【００２８】

【数１】

【００２９】そして、一般の平面を上記の式（２）で表
わし、それら２平面の距離の２乗の合計値をＤとする
と、

【００３０】

【数２】 であり、式（１）で表される回帰平面は、式（３）で表
されるＤを最小にする平面である。そして、当該Ｄをそ
れぞれＡ，Ｂ，Ｃで偏微分した結果をイコール０とおい
て３元連立方程式を作り、それを解いて得られる値が回
帰平面の係数ａ，ｂ，ｃとなる。

【００３１】これらの係数ａ，ｂ，ｃについては、式
（４）から式（６）の回帰係数の一般公式が成り立つ。

【００３２】

【数３】 ［算出した近似平面と撮影画像との比較］次に、上述し
た回帰平面を、スクリーン３を用いた撮影画像の明暗勾
配を表わす画像データに適用する。

【００３３】図７は、撮影画像の明暗勾配を回帰平面に
適用した場合を示すモデル図である。また、図８は、本
実施形態における不良箇所の検出方法を説明する図であ
る。

【００３４】撮影画像の画像データにおいて、Ｘ−Ｙ平
面を当該撮影画像の撮影面として捉えると共に、そのＸ
−Ｙ平面に直交するＺ軸を当該画像データに含まれる濃
度値（画素値）とする３次元座標を考えると、理想的に
は図７（ａ）に示す濃度平面（回帰平面）Ｐｄが得られ
る。

【００３５】そして、図７（ｂ）に示すように、当該３
次元座標の空間に回帰平面Ｐｄと撮影画像の画像データ
（実データ）とを配置したときに、回帰平面Ｐｄ上から
外れる実データの濃度値（ｚ値）の部分は、撮影画像に
含まれる欠陥部分（塗装不良部分）と判断することがで
きる。より具体的な計算としては、撮影画像の画像デー
タに対して、上記の式（４）から式（６）を適用するこ
とによって回帰平面Ｐｄを算出し、その算出した回帰平
面Ｐｄと、当該撮影画像の画像データ（濃度値）との差
分を求める。このとき算出した濃度値の差分は、検査対
象面に存在する凹凸面の高さに応じた値であり、この算
出した差分の絶対値が、回帰平面Ｐｄから所定値（閾
値）だけ離れたフィルタ平面Ｆａ及びＦｂを越える大き
さであれば、その点（領域）は、回帰平面Ｐｄ（即ち、
スクリーン３に施されたグラデーションパターンと、検
査対象面５の形状とを含む正常な明暗勾配）から外れた
塗装不良部分と判断することができる（図８参照）。

【００３６】尚、算出した回帰平面Ｐｄと実データとの
差分が設定した閾値（フィルタ平面Ｆａ及びＦｂ）より
大きい部分のみ塗装不良部分であると認識すると、図９
に示すように、不良部分の濃度分布の谷の部分から山の
部分へ移り変わる箇所においては、撮影画像の実データ
がフィルタ平面Ｆａ及びＦｂに挟まれた回帰平面付近に
分布することになるため、欠陥部分であるにもかかわら
ず正常な部分として扱われてしまい好ましくない。そこ
で、実データの濃度値が谷から山へと移り変わる部分に
おいては、図１０に示すように隣り合う画素の濃度差Ｇ
を検出することにより、その濃度差Ｇが予め設定した所
定ギャップ値より大きい場合には欠陥部分と判断する。 ［撮影画像の領域分割］また、上述した欠陥箇所の検出
方法を実際の装置に適用するに際しては、カメラ２のレ
ンズやランプ４による照明等の周囲の撮影環境が起因し
て、撮影画像の撮影面全体を１つの回帰平面Ｐｄとして
扱うと、欠陥部分の検出精度が低下することが予想され
る。そこで、好適な実施形態においては、撮影画像を複
数の部分画像に分割すると共に、それら分割した個々の
部分画像に対して上述した検査を行うと良い。ここで、
撮影画像を部分画像に分割する際の大きさについて説明
する。

【００３７】上述したように、スクリーン３に施された
グラデーションパターンが投影された検査対象面（塗装
面）の撮影画像を１つの平面として近似すると、実際の
濃度勾配を正確に表わす回帰平面を求めることができな
い。そこで、撮影画像の撮影面をある大きさに分割し
て、その１つの分割領域のサイズが図３に示す正三角形
より小さくなるように構成することにより、算出した回
帰平面Ｐｄと、実際の部分画像の濃度勾配とのずれ量を
少なくすることができる。よって、撮影画像を部分画像
に分割する際の領域サイズの最大値は、当該正三角形を
構成する３辺の中に納まるサイズを部分画像の領域サイ
ズとすれば良い。

【００３８】次に、部分画像の最小サイズについて説明
する。部分画像の領域サイズは、小さければ小さいほ
ど、理論的にはグラデーションの明暗勾配の境界部等に
おける平面近似の誤差を少なくすることができ、対象と
する部分画像の明暗勾配平面を適切に表わすことができ
る。従って、部分画像の大きさは、その部分画像に欠陥
部分が含まれる場合に算出される回帰平面Ｐｄに影響を
与えない程度に小さい方が良い。ここで、欠陥部分が回
帰平面Ｐｄに平面近似する際に影響を与える程度につい
て検討する。

【００３９】まず、欠陥部分が存在しない大きさがｓ×
ｔの平面を考える。この平面の平均濃度をａとし、説明
を単純化するために当該この平面がＺ平面に平行な面で
あるとすると、大きさｓ×ｔの当該平面は、濃度平均値
ａのｚ軸の切片であると考えられる。次に、この平面の
中に大きさｍ×ｎ（但し、ｓ×ｔ＞ｍ×ｎ）の欠陥部分
が存在しており、その欠陥部分の平均濃度値はｂである
とすると、この欠陥部分が存在する際の当該平面の濃度
平均値μ’は以下のようになる。

【００４０】 μ’＝｛ａ×ｓ×ｔ−（ａ−ｂ）×ｍ×ｎ｝／｛ｓ×ｔ｝ ＝ａ−（ａ−ｂ）×ｍ×ｎ／ｓ×ｔ ＝ａ＋Ｄ， ここでＤ＝−（ａ−ｂ）×ｍ×ｎ／ｓ×ｔ， 上記の式に含まれるＤは、分割領域がＺ平面に平行な面
であると考えた場合に欠陥部分が存在するときの近似平
面に与える影響を表している。本実施形態において、実
データの濃度値の取り得る値は０〜２５５の２５６階調
であるため、この影響を、例えば濃度値の±１％まで認
めるとすると、｜Ｄ｜＜２．５６であれば妥当な数値で
ある。

【００４１】実際の装置においては、カメラ２に採用す
る撮像素子の分解能や、検出すべき欠陥部分の大きさに
応じて、スクリーン３の基本要素である正三角形の大き
さや、回帰平面Ｐｄを算出する際の部分画像の分割サイ
ズを決定する必要が有るが、領域分割された部分画像の
サイズを３２×３０画素とし、検出すべき平均的な欠陥
部分の大きさを１０×１０画素とした場合には、例えば
３２×３０画素の部分画像の平均濃度値が１２８で、欠
陥部分の平均濃度値が１１０だとするとＤ＝−１．８７
５となる。また、部分画像の分割サイズを１６×１５画
素として同条件で計算を行うとＤ＝−７．５となり、こ
の場合は欠陥部分が部分画像の分割サイズに占める割合
（面積率）が４１％と大きくなるので妥当ではない。こ
のようにして最小領域サイズを決定すれば良い。

【００４２】このように、図３に示すグラデーションパ
ターンを基本要素とするパターン投影用スクリーン（図
２）により検査対象面にパターン像を投影し、そのパタ
ーン像の撮影画像に上述した如く画像処理を施すことに
より、検査対象面をより均一な検出精度で且つ効率良く
検査することができる。

【００４３】また、グラデーションパターンの正三角形
の接続部分においては、回帰平面に近似誤差が現われ、
例えば、図１１（ａ）に示す正六角形状に明暗勾配（グ
ラデーション）を付けるよりも、図１１（ｂ）に示すよ
うに同心円状に付けたほうがその近似誤差は小さくな
る。 ［明暗勾配パターンによるシミュレーション］次に、図
１９に示す明暗勾配法において得られた表面欠陥の３次
元形状データを元にして明暗勾配照明で得られる画像デ
ータをシミュレーションする方法について説明する。

【００４４】レイトレーシング（光線追跡）では、図２
０に示すように、始点Ｅｙｅ，光源ＬＳは夫々一点で表
現され、画像が結像するスクリーンを定義し、その２次
元スクリーンを通過する光線（視線）の痕跡を描画して
いき、３次元空間内の視点の位置ベクトルをＥｙｅとす
ると、Ｅｙｅとスクリーン上の点ＳＰとを結ぶ直線が視
線となり、この直線と対象物表面での交点ＣＰを求め
る。この交点と光源ＣＰでの法線ベクトルＲＶを求め、
この光線ベクトルＲＶと交点ＣＰでの法線ベクトルＮＶ
の内積を計算することによって対象物の表面の明るさが
決定され、この明るさが点ＳＰでの画素の濃度値とな
り、シミュレーション画像を得ることができる。

【００４５】図２１は、シミュレーションの原理を示
し、入射してくる光は撮像系の光軸に平行な光のみと考
え、撮像系から光線追跡する際に、撮像系つまりカメラ
の方向は一定の視線方向ベクトル（ｅｘ，ｅｙ，ｅｚ）
に固定する。形状データより得られる四辺形パッチの法
線を求めて、その法線に対して視線ベクトルを１８０度
反転させたものを光線ベクトル（光線直線）とし、その
ベクトル（直線）と明暗勾配の平面の交点を求める。そ
の交点の明暗平面内の位置関係より明暗濃度を求め、そ
の濃度を対象パッチの濃度値として形状データの高さ情
報と置き換えて保存する。これより形状データの高さ情
報は明暗の濃度値に置き換わり、そのデータを表示する
ことで濃度画像を得ることができる。

【００４６】本実施形態の座標系には左手座標系を採用
し、図２１に示すようにシミュレーション空間の原点ｏ
は形状データの原点位置とした。初期設定では明暗勾配
平面の中心はｚ軸上に位置しており、パラメータとして
原点からの距離ｄと明暗勾配平面を通る中心軸の回転角
（θ、φ、ψ）、中心軸のｘ−ｙ平面状での位置（ｌ、
ｍ、ｎ）を設定することで明暗勾配平面のシミュレーシ
ョン空間での位置を決定する。視線方向は平行光レンズ
を利用しているため一定とし、（ｅｘ，ｅｙ，ｅｚ）と
して設定する。

【００４７】図２２に形状データの要素例を示す。この
ように形状データの四辺形の平面パッチ夫々に対して図
示のようにベクトルａとベクトルｂを選択し、パッチの
法線ベクトルｖを求める。ベクトルｖの始点はベクトル
ａとベクトルｂの始点と同一点と考える。Ｄｘ、Ｄｙは
形状データのｘ方向間隔とｙ方向間隔である。

【００４８】四辺形パッチの法線ベクトルを求めた後、
夫々に対して図２３のように光線方向ベクトルを求め
る。具体的には、四辺形パッチの法線ベクトルの始点を
四辺形パッチ代表点ｏｐとしてその点を通り視線方向ベ
クトルに平行な直線を考える。その直線上の１点を視線
直線上点ｅｐとしてその点と法線ベクトルｖに対して対
称な点を光線直線上の点ｒｐとする。これら３点の間に
は、ｏｐ，ｅｐ，ｒｐは夫々同一平面上にあり、ｅｐ，
ｒｐはベクトルｖに対して対称であるという条件があ
る。点ｏｐから点ｒｐへのベクトルが光線方向ベクトル
となる。この一連の操作で四辺形パッチの面に対する視
線の正反射成分である光線が特定できる。

【００４９】光線が特定できれば、次に六角形パターン
の明暗勾配平面との交点を求めることで正反射光として
入射される光の濃度を得ることができる。六角形パター
ンの明暗勾配照明平面は、図２４のように定義され、必
要とされるパラメータは２５６階調の濃度勾配を配置す
る長さＬ（シミュレータの設定時パラメータＢＤ）と図
２１のようなシミュレーション空間内での平面の位置情
報である。平面と光線の交点から濃度は以下のように決
定される。

【００５０】（１）明暗勾配平面上のある点Ｘが、六角
形パターン内の６つの正三角形領域Ｉ〜ＶＩのどの部分
に属するのかを特定する。

【００５１】（２）中心点ＢＯから領域の外形辺に下し
た垂線に対する点Ｘの写像位置を求め、中心からの距離
Ｌ’とする。

【００５２】（３）（Ｌ／Ｌ’）×２５６によって領域
内での点Ｘの濃度が決定される。

【００５３】（４）この濃度を対象点ｏｐの高さデータ
領域に対象パッチに入射する照明の濃度として保存す
る。

【００５４】以上の処理で、形状データは濃度値（０〜
２５５）に置き換えられ、このデータを３次元形状デー
タの表示の時と同様に擬似的に平面で表示すると、明暗
勾配照明シミュレーション画像が得られる。

【００５５】上記説明では明暗勾配法によるシミュレー
ション画像を得るアルゴリズムを述べたが、本実施形態
ではシミュレーション画像を得ること以外に以下の機能
がある。

【００５６】明暗勾配パターンについて検討する際に問
題になるのは明暗勾配パターンの形状や濃度勾配である
が、それとは別に大きさや配置が問題となる。ここで、
これらを検討する機能としてシミュレーション画像を作
成する際に、どのシートの照明が写り込んでいるのか特
定する必要がある。

【００５７】例えば、図２５のように７つのシートを配
置し、中心シートで明暗勾配平面のシミュレーション空
間内での位置を決定している。シミュレータでは図２６
に示すように明暗勾配照明を定義し、光線追跡の結果、
パッチに入射してくる光の所属しているシートを特定
し、そのシート内の６つの明暗勾配領域の特定を行う。
前述の図１０（ａ）及び図１１（ａ）は、レーザ変位計
をｘ−ｙ平面にスキャンして得られた十分な平面を持つ
精密定盤の３次元形状データに対して、図２６に示すよ
うな明暗勾配平面でシミュレーションを行った結果得ら
れた画像である。このシミュレーションにより明暗勾配
平面の設定などの確認を行うことができる。

【００５８】図２７に示す２つのブツ型の山が隣接して
いる表面欠陥例に対して、以下のパラメータでシミュレ
ーションを行うと図２８に示す結果が得られる。

【００５９】 原点から明暗勾配平面までの距離：ｄ＝４００ｍｍ 明暗勾配平面の傾き：φ＝３０° 明暗勾配距離（２５６階調）：ＢＤ＝６０ｍｍ 視線方向：ｅｙｅ（ｘ，ｙ，ｚ）＝（１，０，２） 図２８（ａ）は形状データに対して上記方法にてシミュ
レーションを行い得られた画像であが、図２８（ａ）の
ままでは形状計測の際のサンプリング周期などの影響で
パッチが粗いため、欠陥以外の滑らかな平面部分にも濃
度の凹凸が出てしまっているため、図２８（ｂ）のよう
に、図２８（ａ）の画像にスムージングを施す。

【００６０】図２８（ｂ）の画像に対して、回帰平面処
理を施した結果を図２９に示す。この回帰平面処理で
は、約５．０ｍｍ角の形状データ全体を１つの回帰平面
として処理した。これは、明暗勾配方法で得られる実施
の画像（約８０．０ｍｍ×７５．０ｍｍの範囲を５１２
×４８０ｐｉｘｅｌの大きさで撮影）を、３２×３０の
小領域に分割して回帰平面を求めて処理すると、１つの
小領域の大きさが約５．０ｍｍ×４．７ｍｍであるの
で、０．０１ｍｍ／ｐｉｘｅｌのピッチとなり、シミュ
レーション画像（５１２×５０５ｐｉｘｅｌ）を１つの
回帰平面領域と考えると、０．０１ｍｍ／ｐｉｘｅｌの
ピッチとなり、略等しい条件となるためである。

【００６１】また、本シミュレーションでは、ｘ−ｙ平
面内において明暗勾配照明を自由に移動させることがで
き、明暗勾配照明と欠陥、カメラの位置関係の評価、適
切な濃度幅や階調の検討、平面の回転や欠陥との距離の
設定などが行える。

【００６２】本実施形態のシミュレーションでは、図２
５のように７つの六角形の明暗勾配パターンを１つの平
面としてシミュレーション空間内に配置している。欠陥
部分で急な勾配を持つ部分では、中心のシート外に光線
が外れ異なるシートの濃度値を示す。この影響が大きい
と実際の欠陥の形状サイズや形と異なる画像が得られる
ことが考えられる。そこで、どのシートの明暗濃度値が
正反射しているか特定することが重要であり、本シミュ
レーションではシートの特定が可能である。また、シー
トとシート内の領域とを組み合わせて形状データの高さ
情報と置き換えることも可能である。

【００６３】通常、３次元表面粗さ形状解析により得ら
れた３次元形状データは、粗さの高周波成分が乗ってお
り、シミュレーションの結果画像が欠陥部分以外でも四
角形パッチの面方向が激しく変わるため、濃度値の変化
の激しい結果が得られる。

【００６４】そこで、シミュレーション画像作成時に表
面粗さの影響をなくし、欠陥の形状からの理想的な照明
反射画像を得るために、新たに形状データのｘ軸方向に
ＦＦＴをかけて周波数分解し、ローパスフィルタをかけ
て表面粗さの影響をカットする。

【００６５】図３０は、ローパスフィルタリングする前
のｘ軸方向の断面曲線とフィルタリングした後の断面曲
線を示す。これにより、表面粗さはなくなり、基本的な
形状のみが残ることになる。 ［明暗勾配パターンの勾配幅の決定］明暗勾配の幅（勾
配幅）を狭くしていくと、欠陥部分がより強調して現わ
れることになるが、勾配幅を狭くしすぎると、図１２に
示すように欠陥部分として現われる幅と回帰平面との差
が現われ難くなって欠陥部分の検出ができなくなる。回
帰平面処理は、各点との誤差の二乗和（残差平方和）が
最小となるように回帰平面を設定することであるので、
図１２に示すように、勾配幅を狭くしていくことによ
り、この残差平方和が急激に大きくなると、欠陥が検出
できないことになる。

【００６６】そして、この現象は検査対象面の曲率半径
が小さい場合にも起こる。

【００６７】図１３（ａ）から図１３（ｄ）は、曲率半
径Ｒを無限大、６００、４００、２００に小さくした場
合のシミュレーションにより得られる明暗パターンを示
している。図１３からわかるように、曲率半径Ｒが小さ
くなるほど勾配幅が狭くなっている。つまり、明暗勾配
パターンの勾配幅は、検査対象面が曲面の場合でも回帰
平面処理を用いて欠陥部分を検出できるように設定する
必要がある。

【００６８】例えば、自動車のボディの場合には、曲率
半径Ｒが２００ｍｍ以上のものが多く、勾配幅を変化さ
せ、曲率半径Ｒが２００ｍｍの曲面に写り込んだ明暗勾
配パターンを回帰平面処理し、残差平方和を求めると、
図１４に示すような結果が得られる。

【００６９】図１４の残差平方和と勾配幅との関係を示
す結果から、残差平方和は勾配幅が５０ｍｍを境界とし
て急激に大きくなっていることがわかる。

【００７０】従って、検査対象面の曲率半径が２００ｍ
ｍ程度の場合に設定される勾配幅は５０ｍｍが好ましい
ことになる。検査対象面の曲率半径が変化した場合で
も、同様の手法によりシミュレーションで勾配幅を設定
することにより、検査対象面が様々な曲率を持った形状
であっても、適切な勾配幅を設定できることになる。そ
して、明暗勾配パターンの勾配幅を設定して、これを用
いて上述のように領域分割して欠陥部分を検出すれば、
検査対象面の形状や傷などの形成方向などに左右されず
に精度良く欠陥部分を検出できる。 ［塗装面欠陥検出装置］次に、上述した表面欠陥検査方
法を、自動車の製造ラインにおける塗装面の検査工程に
適用した場合について図１５から図１８を参照して説明
する。

【００７１】尚、以下に説明する塗装面欠陥検出装置
（図１５乃至図１７）においては、より現実的な検査処
理として、上記の如く算出した濃度値の差分だけでな
く、更に、欠陥候補部分の面積（画素数）が所定の面積
より大きいか否かも判断要素としている。

【００７２】図１５から図１７は、本実施形態における
塗装面欠陥検出装置の構成を示す図であり、図１５は当
該塗装面欠陥検出装置の上面図、図１６は図１５のＸ−
Ｘ平面における断面図、そして図１７は図１５のＩＸ−
ＩＸ平面における断面図である。

【００７３】図１５から図１７において、Ｗは、検査対
象面である自動車のボディを表し、７１及び７２は、検
査用ガントリーである。ボディＷは、検査用ガントリー
７１及び７２のなすトンネル状の検査領域を、コンベア
Ｖにより移送される。

【００７４】検査用ガントリー７１の内側には、図１の
ランプ４及びスクリーン３に相当する塗装面欠陥検査用
照明装置２９が、図１７に示すように複数配設されてお
り、その投光面には、図１のスクリーン３に相当する不
図示のグラデーションパターンが設けられている。

【００７５】また、検査用ガントリー７１の内側には、
図１のカメラ２に相当する複数のカメラ２１から２３が
設けられており、塗装面欠陥検査用照明装置２９によっ
てボディＷに投影されたパターンを、個々のカメラ２１
から２３により撮影する。本実施形態において、これら
複数のカメラの撮像面は、採用するカメラの解像度と検
出対象（塗装面に存在するキズ、ほこり、ピンホール
等）の大きさとの関係より、１００ｍｍ×１００ｍｍ程
度に設定されており、当該複数のカメラによってボディ
Ｗの幅方向の外周面を死角なく撮影可能に配置されてい
る。また、これら複数のカメラ２１から２３は、コンベ
アＶによってボディＷが所定距離だけ進む度に撮影を行
う。ここで、所定距離は、当該複数のカメラが１回の撮
影で撮影可能な、ボディＷの進行方向の画角（本実施形
態では１００ｍｍ程度）に相当する距離である。また、
これら複数のカメラには所謂テレセントリックレンズが
装着されており、コンベアＶによって移送されるボディ
Ｗの位置のばらつきによって撮影画像の焦点が塗装面か
ら外れることを防止している。

【００７６】そして、複数のカメラ２１から２３により
撮影された画像信号（画像データ）は、図１の画像処理
装置１に相当する画像処理装置１０にそれぞれ入力さ
れ、上述した表面検査方法によって検査が行われる。こ
こでは、当該複数のカメラによる撮影画像に対してそれ
ぞれ行われる処理について、図１８を参照して説明す
る。

【００７７】図１８は、本実施形態における塗装面欠陥
検出装置の画像処理装置が行う表面検査処理のフローチ
ャートを示す図である。

【００７８】同図において、ステップＳ１：複数のカメ
ラ２１乃至２３の何れかの撮影画像を、アナログ画像信
号またはデジタル画像データとして読み込む。このと
き、読み込んだ撮影画像がアナログ画像信号のときに
は、一般的な手法により、当該撮影画像を構成する各画
素の画素値を含むデジタル画像データに変換する。

【００７９】ステップＳ２：ステップＳ１で読み込んだ
撮影画像を、予め設定されてる所定の分割サイズ（本実
施形態では３２×３０画素）に分割する。

【００８０】ステップＳ３：ステップＳ２にて分割した
部分画像のうち、未だ表面検査を行っていない部分画像
を１つ抽出する。

【００８１】ステップＳ４：ステップＳ３にて抽出した
部分画像について、上述した回帰平面Ｐｄを算出するこ
とにより、当該部分画像を平面に近似する。

【００８２】ステップＳ５：算出した回帰平面Ｐｄに対
して平行な位置関係にあり、所定距離だけ離間した位置
に存在するフィルタ平面Ｆａ及びＦｂを設定する。

【００８３】ステップＳ６：算出した回帰平面Ｐｄと、
ステップＳ３にて抽出した部分画像の実データに含まれ
る濃度値（画素値）との差分を算出し、その算出した差
分の絶対値が、フィルタ平面Ｆａ及びＦｂと当該回帰平
面Ｐｄとの距離である所定のしきい値より大きいか否か
を判断し、この判断でＹＥＳ（差分＞しきい値）のとき
にはステップＳ７に進み、ＮＯ（差分≦しきい値）のと
きには、現在検査対象としている部分画像には欠陥部分
が含まれていないと判断できるのでステップＳ１３に進
む。

【００８４】ステップＳ７：ステップＳ６の判断でＹＥ
Ｓのときには、現在検査対象としている部分画像には欠
陥部分が含まれている可能性が有ると判断できるので、
算出した差分が当該しきい値より大きな画素を、塗装欠
陥の候補としてラベリングする。

【００８５】ステップＳ８：ステップＳ７にてラベリン
グされた画素が複数存在する場合には、それらの画素間
の距離を算出し、その算出した距離が所定値Ｌより小さ
いか否かを判断すると共に、それらの画素の濃度値の差
が所定値ＤＳより小さいか否かを判断する。そして、こ
の判断においてＹＥＳ（画素間の距離＜所定値Ｌ、濃度
差＜所定値ＤＳ）のときにはステップＳ９に進み、ＮＯ
（画素間の距離≦所定値Ｌ及び／または濃度差≦所定値
ＤＳ）のときには、欠陥部分とは判断せずにステップＳ
１３に進む。

【００８６】ステップＳ９：ステップＳ８の判断でＹＥ
Ｓのときには、当該複数の画素は同一の欠陥部分と判断
できるので、それら複数の画像よりなる画素群を１つの
欠陥領域として扱うべく一般的な補間処理（例えば、当
該画素群の包絡線を算出すれば良い）を行う。

【００８７】ステップＳ１０：ステップＳ９にて同一の
欠陥部分として扱うと決定したそれぞれの画素群の特徴
量を抽出する。具体的には、同一の欠陥部分をなす画素
群の画素数を一般的な手法によってカウントすることに
より、ステップＳ４にて算出した回帰平面Ｐｄ上におけ
る当該欠陥部分の面積をカウントする。更に、実データ
の濃度値と当該回帰平面Ｐｄとの濃度値の差分は、欠陥
部分の凹凸面の高さ（高低差）に応じた値であるので、
当該欠陥部分をなす画素群の平均濃度値を算出すると共
に、その実データの濃度値の最大濃度値と、当該回帰平
面Ｐｄとの差分を算出する。

【００８８】ステップＳ１１：ステップＳ１０にて算出
した当該欠陥部分の面積、並びに当該欠陥部分と当該回
帰平面Ｐｄとの濃度値の差分を変数とする所定の関数ｆ
が所定値Ｔより大きいか否かを判断し、この判断でＹＥ
Ｓ（関数ｆ＞所定値Ｔ）のときにはステップＳ１２に進
み、ＮＯ（関数ｆ≦所定値Ｔ）のときにはステップＳ１
３に進む。具体的には、画像処理装置１０のメモリ等
に、欠陥部分の面積及び濃度値の差分に応じて異なる数
値を参照可能なテーブル（マップ）を関数ｆとして予め
用意しておき、そのテーブルをステップＳ１０にて算出
した値を基に本ステップにて参照すると共に、その参照
によって入手した関数Ｆの値を所定値Ｔと比較すれば良
い。

【００８９】ステップＳ１２：ステップＳ１１の判断で
ＹＥＳのときには、現在対象としている部分画像には欠
陥部分（塗装不良）が含まれると判断し（このとき、塗
装不良を報知する旨の所定の警報を発報すると良い）、
ステップＳ１３に進む。

【００９０】ステップＳ１３：未だ検査を行っていない
部分画像が有るか否かを判断し、この判断でＹＥＳのと
き（未検査の部分画像が有るとき）にはステップＳ３に
戻って未検査の部分画像の何れかに対して上述した各ス
テップの処理を継続すると共に、ＮＯのとき（未検査の
部分画像無しのとき）には検査処理を終了する。

【００９１】上述した塗装面欠陥検出装置によれば、検
査対象面に存在する欠陥部分を高精度に検出することが
できると共に、その欠陥部分の凹凸面の高さをも判断要
素とする表面検査を行うことができる。

【００９２】尚、上述した本実施形態では、一例として
塗装面を検査対象面としたが、この構成に限られるもの
ではなく、表面形状が半鏡面の物体（例えば、各種金属
表面、合成樹脂成型品等）に広く適用することができ
る。

【００９３】また、本実施形態における塗装面欠陥検出
においては、検査用ガントリー７１の内側に複数のカメ
ラを設けたが、この構成に限られるものではなく、１台
のカメラをボディＷの幅方向の外周面を撮影しながら移
動させても良い。

【図面の簡単な説明】

【図１】本実施形態に係るパターン投影用スクリーンを
使用した検査対象面の検査装置の基本型を示す図であ
る。

【図２】本実施形態に係るパターン投影用スクリーンの
一部を示す図である。

【図３】本実施形態に係るパターン投影用スクリーンを
構成する基本要素としての正三角形のグラデーションパ
ターンを示す図である。

【図４】本実施形態の変形例に係るパターン投影用スク
リーンとして直角二等辺三角形を基本要素とするグラデ
ーションパターンを示す図である。

【図５】検査対象面Ｐに存在する欠陥部分Ｄ１にグラデ
ーションパターンＧａ，Ｇｂを投影したときに検出され
る濃度分布を説明する図である。

【図６】３次元座標空間における回帰平面を例示する図
である。

【図７】撮影画像の明暗勾配を回帰平面に適用した場合
を示すモデル図である。

【図８】本実施形態における不良箇所の検出方法を説明
する図である。

【図９】欠陥箇所にも関らず検出されない実データの部
分を説明する図である。

【図１０】欠陥箇所にも関らず検出されない実データの
部分をなくす方法を説明する図である。

【図１１】本実施形態のシミュレーションによる六角形
の明暗パターン及び回帰平面画像と、同心円状の明暗パ
ターン及び回帰平面画像を示す図である。

【図１２】明暗パターンの勾配幅を狭くすることによる
問題点を説明する図である。

【図１３】曲率の異なる曲面部分に写り込んだ照明パタ
ーンを示す図である。

【図１４】明暗パターンの勾配幅と回帰平面処理におけ
る残差平方和との関係を示す図である。

【図１５】本実施形態における塗装面欠陥検出装置の構
成を示す図である。

【図１６】本実施形態における塗装面欠陥検出装置の構
成を示す要部断面図である。

【図１７】本実施形態における塗装面欠陥検出装置の構
成を示す要部断面図である。

【図１８】本実施形態における塗装面欠陥検出装置の画
像処理装置が行う表面検査処理のフローチャートを示す
図である。

【図１９】明暗勾配法による欠陥検出方法を説明する図
である。

【図２０】一般的なレイトレーシング法を説明する図で
ある。

【図２１】本実施形態のシミュレーションの原理を説明
する図である。

【図２２】本実施形態のシミュレーションに用いる形状
データの四辺形パッチとその法線ベクトルとを示す図で
ある。

【図２３】光線方向ベクトルを示す図である。

【図２４】六角形の明暗勾配平面を示す図である。

【図２５】明暗パターンの配置例を示す図である。

【図２６】図２５のように配置した明暗パターンによる
シミュレーションを説明する図である。

【図２７】ブツ型欠陥の三次元表示例を示す図である。

【図２８】本実施形態のシミュレーションにより得られ
る画像及び欠陥部の１ライン濃度分布と、当該画像にス
ムージングを施したシミュレーション画像と欠陥部の１
ライン濃度分布を示す図である。

【図２９】図２８（ｂ）のシミュレーション画像に回帰
平面処理を施した結果を示す図である。

【図３０】ローパスフィルタリングする前のｘ軸方向の
断面曲線とフィルタリングした後の断面曲線を示す図で
ある。

【符号の説明】

１ 画像処理装置 ２ カメラ ３ パターン投影用スクリーン ４ ランプ ５ 検査対象面 ２９ 塗装面欠陥検査用照明装置 ７１，７２ 検査用ガントリー

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉野 直規 広島県東広島市鏡山一丁目４番１号 広島 大学内 Ｆターム(参考） 2F065 AA49 AA53 BB05 CC11 CC31 DD03 FF06 FF42 GG03 GG24 HH03 HH07 HH12 JJ03 JJ08 JJ26 KK03 LL04 LL41 MM03 PP15 QQ00 QQ03 QQ17 QQ18 QQ24 QQ28 QQ33 QQ42 UU08 2G051 AA89 AB12 BB20 CA04 CA07 DA06 EA08 EA12 EA16 EB01 EC03 ED01 5B047 AA11 AB02 BC07 BC14 5B057 AA01 BA02 BA19 DA03 DB02 DB09 DC02 DC04 DC14 DC22 DC32

Claims (5)

【特許請求の範囲】
1. 【請求項１】 対象物の表面を撮影し、当該撮影画像に
   より当該対象物の表面状態を検出する画像処理装置であ
   って、 同心円状の明度パターンの一部が形成された基本要素が
   三角形のスクリーンと、 前記スクリーンの明度パターンを対象物に投影する投影
   手段と、 前記投影された明度パターンを撮影し、当該撮影画像に
   より前記対象物の表面状態を検出する検出手段とを具備
   することを特徴とする画像処理装置。
2. 【請求項２】 前記検出手段は、平面近似処理により求
   められる回帰平面から所定量外れて現われる明暗部分を
   欠陥部分として検出することを特徴とする請求項１に記
   載の画像処理装置。
3. 【請求項３】 前記検出手段は、前記対象物の曲率半径
   と領域分割サイズに基づいて前記明度の勾配幅を設定す
   ることを特徴とする請求項１又は２に記載の画像処理装
   置。
4. 【請求項４】 前記スクリーンは、六角形のパターンの
   中に前記同心円状の明度パターンが形成されるように、
   前記三角形のパターンを組み合わせて構成されることを
   特徴とする請求項１乃至３のいずれか１項に記載の画像
   処理装置。
5. 【請求項５】 対象物の表面を撮影し、当該撮影画像に
   より当該対象物の表面状態を検出する画像処理方法であ
   って、 同心円状の明度パターンの一部が形成された基本要素が
   三角形のスクリーンを対象物に投影し、 前記投影された明度パターンを撮影し、当該撮影画像に
   より前記対象物の表面状態を検出することを特徴とする
   画像処理方法。