JP2005128635A

JP2005128635A - 画像処理装置

Info

Publication number: JP2005128635A
Application number: JP2003360784A
Authority: JP
Inventors: Kenichi Kanemasa; 賢一兼政
Original assignee: Sumitomo Bakelite Co Ltd
Current assignee: Sumitomo Bakelite Co Ltd
Priority date: 2003-10-21
Filing date: 2003-10-21
Publication date: 2005-05-19

Abstract

【課題】
画像中から、製品の欠陥などの対象物を抽出し、その種類を分類する。
【解決手段】
画像中から対象物の領域を検出する画像処理装置において、対象物の輪郭を構成する閉曲線を抽出する輪郭抽出処理部と、前記閉曲線の周辺の画素値から該閉曲線の方向を推定する輪郭方向推定処理部と、前記閉曲線の方向と前記閉曲線で囲まれた部分の包含関係とから対象物を分類する対象物分類処理部を備えたことを特徴とする画像処理装置。
対象物の輪郭閉曲線の方向は、画像の勾配方向をもとに決定してもよい。
【選択図】図１

Description

本発明は、画像中から対象物を抽出し分類する画像処理装置に関するものである。

各種生産ラインにおける製品の表面欠陥や異物の検査などでは、画像処理による方法、レーザー光の表面散乱光の強度測定による方法、レーザー変位計を用いた形状計測による方法などが使用されているが、コストや処理能力などの面から画像処理による方法が広く用いられている。

製品の表面を撮影した画像中から欠陥や異物などの対象物を抽出する方法としては、画像データが閾値より大きいか小さいかで分類する二値化処理が一般的である。画像中における対象物のコントラストが十分に高い場合には、二値化処理は高速で精度も十分であるが、コントラストが低い不鮮明な画像においては、単純な二値化処理では対象物ではない部分を対象物として検出する誤検出や、対象物を検出しない見逃しが発生し、検査の精度が低下する。

二値化処理とは異なる方法としては、画像データを微分処理することにより対象物の輪郭を抽出する方法（例えば、特許文献１）がある。製品表面に不良とはならないムラや撮影時の照明のムラに比べて、対象物のコントラストが低い場合、二値化処理では対象物の検出は困難であるが、微分処理では、対象物のコントラストが低くても輪郭さえある程度はっきりしていれば検出することが可能である。

微分処理による方法では、微分強度値が所定の閾値より大きい画素を抽出し、それらのうち隣り合う画素を連結することにより、対象物の輪郭を示す閉曲線が得られる。従って、これらの輪郭閉曲線より、画像中における対象物の形状や位置、個数などを把握することが可能である。しかしながら、対象物として複数の種類のものが含まれている場合、形状や位置に特徴が無ければ、検出した対象物の種類を分類することができないという問題があった。
特開平８−１８９９０２号公報（第２−３頁）

本発明は従来の画像処理装置のこのような問題を解決するためになされたもので、その目的とするところは画像中から検出した対象物を精度良く分類することが可能な画像処理装置を提供することにある。

本発明は、画像中から対象物の領域を検出する画像処理装置において、対象物の輪郭を構成する閉曲線を抽出する輪郭抽出処理部と、該閉曲線の周辺の画素値から該閉曲線の方向を推定する輪郭方向推定処理部と、該閉曲線の包含関係と方向から対象物を分類する対象物分類処理部を備えたことを特徴とする画像処理装置である。

本発明によれば、画像中から検出した表面欠陥や異物などの対象物を精度良く分類することができるため、生産ラインにおける製品の外観検査方法として好適である。

本発明は、画像中より検出した対象物の種類を、それらの輪郭を構成する閉曲線の包含関係と方向に基づいて分類する画像処理装置である。
以下、本発明の画像処理装置について詳細に説明する。
図１は本発明の一実施例を示すブロック図である。対象物の画像を輪郭抽出処理部１に入力する。輪郭抽出処理部１では画像に微分処理を行い、輪郭を抽出し、抽出された輪郭同士を連結して輪郭閉曲線を構成する。輪郭方向推定処理部２は、輪郭閉曲線の方向を決める。対象物分類処理部３は、対象物の輪郭閉曲線の方向と囲まれた部分の包含関係から対象物を分類し、対象物分類データを出力する。

輪郭抽出処理部は、画像中から対象物の輪郭を構成する閉曲線を抽出する部分である。対象物の輪郭が明瞭で画像中のノイズが少ない場合には、閉曲線を抽出する方法として、例えば、画像を微分処理することにより得られた微分強度値が所定の閾値より大きい画素を抽出し、抽出された画素のうち隣り合うものを連結する方法を好適に用いることができる。画像の微分処理としては、ソベルフィルタやラプラシアンフィルタなどの方法があるが、特に限定はしない。抽出する閉曲線は画素幅が１であることが好ましいため、微分強度値が所定の閾値より大きい画素を抽出する際には、非極大抑制処理、すなわち、微分強度値が極値となっており、真に対象物の輪郭となっている画素のみ抽出する処理や、幅が１画素より大きい線を幅１画素の線に変換する細線化、骨格化処理などを入れるのが好ましい。

画像中の対象物の輪郭に不明瞭な部分があり、微分強度値が所定の閾値より大きい画素を連結する方法では輪郭を構成する線が切れてしまい、閉曲線を抽出できない場合には、輪郭の切れている部分を補完する方法を使うことにより、閉曲線の抽出が可能となる。切れている輪郭の端点周辺の画素値から輪郭の延長方向を推定し、その方向に端点を延長し、他方の端点や別の輪郭に到達したら、その間を補完するという処理により、輪郭を閉曲線とすることができる。

また、対象物の輪郭を構成する閉曲線を抽出するための別の方法として、遺伝的アルゴリズムによる輪郭抽出法やＨｏｕｇｈ変換による輪郭抽出法がある。いずれの手法も、処理時間はかかるが、対象物の輪郭が一部不明瞭で、画像中にノイズが多い場合でも輪郭を構成する閉曲線を抽出することが可能であり、本発明の輪郭抽出処理部においても使用可能である。

輪郭方向推定処理部は、輪郭抽出処理部で抽出された閉曲線の方向を推定し、決定する。閉曲線の方向を決定する方法としては、例えば、画像の勾配方向をもとに対象物の輪郭閉曲線の方向を決定する方法が考えられる。図２は、その説明図である。画像に対し、例えばソベルフィルタなどの微分処理を行うことにより、画像中の明暗の勾配方向を各画素ごとに計算することができる。輪郭閉曲線上での明暗の勾配方向を常に右側に見るように閉曲線を描くと定義すれば、内側が周辺よりも明るい（画素値が大きい）対象物５の輪郭方向を時計回りと定義することができる。また逆に、内側が周辺よりも暗い（画素値が小さい）対象物６は、反時計回りと定義される。このように、対象物の輪郭閉曲線の方向を決めることは、輪郭閉曲線の内側が外側に比べて、明るいか暗いかを決めることと同義である。
この方法は、輪郭閉曲線付近の画像情報を用いるため、例えば対象物が重なり、輪郭閉曲線の内側にさらに輪郭閉曲線が存在し、その明るさが異なるような場合でも、誤り無く輪郭閉曲線の方向を決定することが可能であり、対象物を区別する情報を得ることができる。

対象物分類処理部は、対象物の輪郭閉曲線の方向と閉曲線で囲まれた部分の包含関係から、対象物を分類する。図３は対象物分類処理部の動作の一例を示す説明図である。図３（ａ）は、撮影対象の断面である。母材９の上にめっき層１０が形成されている。めっき層１０にはピンホール１１があり、また、めっき層１０上には、ほこり、金属酸化物等の黒色異物１２や、樹脂あるいは表面が滑らかな金属等の白色異物１３が存在する。図３（ａ）の断面構造を持つものを上方からの同軸落射照明で撮影すると、図３（ｂ）のような画像となる。ピンホールの画像１４は、ピンホール１１の斜面部分では照明光が斜めに反射するため黒く映り、底面部からはカメラに反射光が入るため白く映る。黒色異物の画像１５は異物１２での光の散乱のため、全体が黒く映る。また、白色異物の画像１６は表面からの反射により周囲よりも白く写る。この時、図３（ｂ）の画像の輪郭方向は図３（ｃ）のようになる。すなわち、ピンホール１１は、方向が時計回りの輪郭閉曲線７が、方向が反時計回りの輪郭閉曲線８に囲まれるという構造となっており、黒色異物１２は方向が反時計回りの輪郭閉曲線８のみ、白色異物１３は方向が反時計回りの輪郭閉曲線７のみで輪郭が構成されている。対象物分類処理部は、このような輪郭閉曲線の方向と囲まれた部分の包含関係の違いから対象物の分類を行う。

輪郭閉曲線で囲まれた部分の包含関係は、輪郭閉曲線で囲まれる画像中の領域に別の輪郭閉曲線が含まれているかどうかを探索するという処理を、全ての輪郭閉曲線に対し行うことにより判定することができる。

輪郭抽出処理部、輪郭方向推定処理部および対象物分類処理部はそれぞれ専用のハードウェアもしくはコンピュータ上のソフトウェアにより実現することができる。

本発明の画像処理装置は、画像中の対象物を抽出し、その種類を分類することができるため、例えば、生産ラインにおける製品の外観検査方法として、製品欠点ごとにその量や面積、分布等の分析に応用する事ができ、工業上極めて有用である。

本発明の一実施例のブロック図である。画像中の対象物と輪郭を構成する閉曲線の方向の説明図であり、（ａ）は対象物の画像を、（ｂ）は輪郭線の方向を示す図である。対象物分類処理部の動作の一例を示す説明図であり、（ａ）は対象物の断面を、（ｂ）は対象物の画像を、（ｃ）は輪郭線の方向を示す図である。

符号の説明

１輪郭抽出処理部
２輪郭方向推定処理部
３対象物分類処理部
４背景
５周辺より明るい対象物
６周辺より暗い対象物
７方向が時計回りの輪郭閉曲線
８方向が反時計回りの輪郭閉曲線
９母材
１０めっき層
１１ピンホール
１２黒色異物
１３白色異物
１４ピンホールの画像
１５黒色異物の画像
１６白色異物の画像

Claims

画像中から対象物の領域を検出する画像処理装置において、対象物の輪郭を構成する閉曲線を抽出する輪郭抽出処理部と、前記閉曲線の周辺の画素値から該閉曲線の方向を推定する輪郭方向推定処理部と、前記閉曲線の方向と前記閉曲線で囲まれた部分の包含関係とから対象物を分類する対象物分類処理部を備えたことを特徴とする画像処理装置。
前記閉曲線の方向を決定する方法が、画像の勾配方向をもとに対象物の輪郭閉曲線の方向を決定する請求項１記載の画像処理装置。