JP2009008563A

JP2009008563A - 画像処理による外観検査方法およびその装置

Info

Publication number: JP2009008563A
Application number: JP2007170897A
Authority: JP
Inventors: Hirotaka Jomi; 弘高上ミ; Mitsuru Shirasawa; 満白澤
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2007-06-28
Filing date: 2007-06-28
Publication date: 2009-01-15
Anticipated expiration: 2027-06-28
Also published as: JP5390754B2

Abstract

【課題】光透過性の材料により形成された物品において、異物の全体または一部が埋入されているか異物が表面に付着しているかを判別することを可能にする。
【解決手段】光透過性の材料により形成された物品ＢをＴＶカメラ１１により撮像し、微分手段２５により微分画像を生成する。第１のエッジ抽出手段２６は物品Ｂの内部に埋入された異物Ｆと物品Ｂの表面に露出する異物Ｆとの輪郭線が併せて抽出される第１の閾値を適用してエッジを抽出し、第２のエッジ抽出手段２７は物品Ｂの表面に露出する異物Ｆの輪郭線が抽出され物品Ｂの内部に埋入された異物Ｆの輪郭線が抽出されないように第２の閾値を適用してエッジを抽出する。判定手段２８は、第１のエッジ抽出手段２６により抽出したエッジの長さと第２のエッジ抽出手段２７により抽出したエッジの長さとの差分が規定した判定閾値以下であるときに物品Ｂの表面に異物Ｆが付着していると判定する。
【選択図】図１

Description

本発明は、光透過性の材料により形成された物品に付着した異物が除去可能な異物か否かを判断する画像処理による外観検査方法およびその装置に関するものである。

一般に、物品の製造時に物品に付着する異物には、図９のように、物品Ｂの表面に付着して除去可能な異物Ｆ１と、物品Ｂの内部に埋入されて除去不能な異物Ｆ２と、物品Ｂの内部に一部が埋入されて除去不能な異物Ｆ３とがある。以下では、異物Ｆ１が物品Ｂの表面に付着して除去可能である状態を「異物付着」、異物Ｆ２の全体が物品Ｂに埋入されて除去不能な状態を「異物混入」、異物Ｆ３の一部が物品Ｂに埋入されて除去不能な状態を「異物部分混入」と呼ぶ。異物混入や異物部分混入は、異物Ｆ２，Ｆ３を除去することができず物品Ｂの品質が損なわれるから、欠陥品として処分することが要求される。

一方、異物付着の場合にはブラシやエアブローによって異物Ｆ１を簡単に除去することができるから、欠陥品と誤認されないように欠陥品とは区別する必要がある。異物付着を異物混入と誤認すれば、良品を欠陥品と判断して処分してしまういわゆる無駄ばねが生じて歩留まりが低下する。

物品Ｂの外観を撮像した濃淡画像を用いて異物の有無を判断する方法としては、検査領域内の画素の微分値を求め、微分値の平均値（平均微分値）と適宜の閾値との大小を比較し、平均微分値が閾値よりも大きいときに異物が存在すると判断する技術が知られている（たとえば、特許文献１参照）。

特許文献１に記載の技術では、異物と刻印とを区別するために、平均微分値に適用する閾値を２段階に設定しており、平均微分値が小さいほうの閾値以下であるときには異物が存在しないと判断し、平均微分値が大きいほうの閾値よりも大きいときには異物が存在すると判断し、平均微分値が両閾値の間であれば異物と刻印とのいずれかが存在すると判断している。
特開平４−３５０５４６号公報

特許文献１に記載の技術を採用すると、撮像した濃淡画像に含まれる情報を用いて物品に異物が付着しているか否かを判断することができる。しかしながら、光透過材料により形成された物品では、物品内に埋入された部分が画像内に含まれるから、異物混入あるいは異物部分混入と、異物付着とを区別することができない。その結果、異物を簡単に除去できるにもかかわらず欠陥品と誤認することによる無駄ばねを防止することができない。

ところで、異物付着、異物混入、異物部分混入に対応してそれぞれ図１０（ａ）〜（ｃ）に示すような濃淡画像が得られる場合に、微分画像では図１１（ａ）〜（ｃ）に示すようにいずれもが微分値を持つ。一方、微分画像のうち適宜の閾値以上の微分値を持つ画素を抽出したエッジ画像では、図１２（ａ）〜（ｃ）に示すように、異物混入でエッジが検出されないようにすると、異物付着と異物部分混入とのいずれにおいてもエッジが検出される。したがって、エッジ画像を用いても異物付着と異物部分混入とは区別することが困難である。

本発明は上記事由に鑑みて為されたものであり、その目的は、光透過性の材料により形成された物品において、異物の全体または一部が埋入されているか異物が表面に付着しているかを判別することを可能にした画像処理による外観検査方法およびその装置を提供することにある。

請求項１の発明は、光透過性の材料により形成された物品を撮像手段により撮像し、撮像により得られた濃淡画像を用いて異物を判別する外観検査方法であって、濃淡画像からエッジを抽出するにあたり、物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出可能となる輪郭線抽出法によりエッジを抽出する第１のエッジ抽出処理と、物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように微分値に対して規定した閾値以上である画素からエッジを抽出する第２のエッジ抽出処理とを行い、第１のエッジ抽出処理により抽出したエッジの長さと第２のエッジ抽出処理により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定することを特徴とする。

請求項２の発明では、請求項１の発明において、前記第１のエッジ抽出処理で用いる輪郭線抽出法は、微分値に対して規定した閾値以上の画素からエッジを抽出する処理を含み、第１のエッジ抽出処理に用いる閾値は前記第２のエッジ抽出処理に用いる閾値よりも小さい値であることを特徴とする。

請求項３の発明では、請求項１または請求項２の発明において、撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする。

請求項４の発明では、請求項１または請求項２の発明において、撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする。

請求項５の発明では、請求項１または請求項２の発明において、撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した外側領域から候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする。

請求項６の発明は、光透過性の材料により形成された物品を撮像する撮像手段と、撮像により得られた濃淡画像を二値化した二値画像を生成する二値化手段と、二値画像の各画素のうち異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域として抽出する候補領域抽出手段と、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した外側領域から候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を検査領域とする検査領域設定手段と、検査領域内の濃淡画像を微分した微分画像を生成する微分手段と、微分画像に対して物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出される第１の閾値を適用して抽出した画素からエッジを抽出する第１のエッジ抽出手段と、微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように第１の閾値よりも大きい値に設定した第２の閾値を適用して抽出した画像からエッジを抽出する第２のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジの長さと第２のエッジ抽出手段により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定する判定手段とを備えることを特徴とする。

請求項１の発明の構成によれば、物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出可能となる輪郭線抽出法によりエッジを抽出する第１のエッジ抽出処理と、物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように微分値に対して規定した閾値以上である画素からエッジを抽出する第２のエッジ抽出処理とを設けているから、第１のエッジ抽出処理では異物の全体または一部が物品に埋入されている異物混入あるいは異物部分混入か表面に付着している異物付着かにかかわらず異物の輪郭線の大部分を含むエッジが抽出され、第２のエッジ抽出処理では物品の表面に露出している異物の輪郭線を含むエッジが抽出される。

すなわち、第１のエッジ抽出処理により検出されたエッジと第２のエッジ抽出処理により抽出されたエッジとの長さを比較すれば、異物が物品に埋入されている程度がわかることになる。異物が物品に完全に埋入されているときには、第２のエッジ抽出処理では異物の輪郭に相当するエッジが抽出されず、異物が物品に埋入されずに付着しているときには、第１のエッジ抽出処理と第２のエッジ抽出処理とで得られるエッジの長さの差が小さく、異物の一部が物品に埋入されているときには、第１のエッジ抽出処理と第２のエッジ抽出処理とで得られるエッジの長さの差が大きくなるのである。

このような性質を利用することにより、除去可能な異物か否かを画像処理により判断することが可能になり、除去可能な異物が付着しているときに、欠陥品として処理する無駄ばねを防止することができ、結果的に歩留まりの向上につながる。

請求項２の発明の構成によれば、第１のエッジ抽出処理と第２のエッジ抽出処理とにおいてエッジを抽出する際に微分値に対する閾値との大小を比較する方法を採用しており閾値を異ならせるだけであるから、第１のエッジ抽出処理と第２のエッジ抽出処理とは閾値を変更するだけで実質的な処理内容の変更がなく実現が容易になる。たとえば、第１のエッジ抽出処理と第２のエッジ抽出処理とを異なる内容の処理とする場合に比較するとプログラムサイズの増加が抑制され、しかも微分演算の後には閾値との大小を比較するだけの軽負荷になるから、処理負荷の増加も抑制できる。

請求項３の発明の構成によれば、異物の存在する候補領域に基づいて検査領域を候補領域が含まれる制限された領域に設定しているから、異物に関するエッジを抽出する際に照度むらや物品の輪郭線などによるエッジが含まれる可能性を低減でき、異物に関するエッジを抽出する精度が高くなる。しかも、検査領域を狭い範囲に制限するから、処理対象となる画素数が制限され、結果的に処理負荷が軽減され処理速度の向上につながる。

請求項４の発明の構成によれば、異物の存在する候補領域に基づいて候補領域の内側の一部を除くように制限された領域を検査領域に設定しているから、異物に関するエッジを抽出する際に異物の表面状態の影響によるエッジが含まれる可能性を低減でき、異物の輪郭付近のエッジを抽出する精度が高くなる。

請求項５の発明の構成によれば、異物の存在する候補領域に基づいて検査領域を候補領域の輪郭付近に制限された領域に設定しているから、異物に関するエッジを抽出する際に照度むらや物品の輪郭線などによるエッジが含まれる可能性を低減できるとともに、異物の内側形状についても無視することができ、異物に関するエッジを抽出する精度が高くなる。しかも、請求項３の発明よりもさらに検査領域が狭い範囲に制限されるから、処理負荷の一層の軽減がなされ、処理速度の向上につながる。

請求項６の発明の構成によれば、請求項１の発明と同様に、異物について物品の表面に露出している部分と物品に埋入されている部分とを判別することができ。したがって、除去可能な異物が物品に付着している場合に欠陥品として処理する無駄ばねを防止することができ、歩留まりの向上につながるという利点がある。また、第１のエッジ抽出手段と第２のエッジ抽出手段とは実質的に同処理であり、比較する閾値が異なるだけであるから、第１のエッジ抽出手段と第２のエッジ抽出手段との構成を共通化することが可能になり構成が簡単になる。さらに、異物の存在する候補領域に基づいて検査領域を候補領域の輪郭付近に制限するから、異物に関するエッジを抽出する際に照度むらや物品の輪郭線などによるエッジが含まれる可能性を低減できるとともに、異物の内側形状についても無視することができ、異物に関するエッジを抽出する精度が高くなる上に、処理対象の画素数が少なく処理負荷の軽減がなされ処理速度の向上につながる。

本実施形態は、図１に示すように、物品Ｂを撮像する撮像手段としてのＴＶカメラ１１と、物品Ｂを照明する照明装置１２とを備える。照明装置１２は、物品Ｂの表面に陰影が形成されないように無影灯（リング照明）を用いるのが望ましい。物品Ｂは光透過性材料からなり、透明な合成樹脂成形品に限らず、不透明に着色された合成樹脂成形品であっても表面付近が光透過性を有するものであれば光透過性材料の物品Ｂに含まれる。たとえば、白色系に着色した合成樹脂成形品は光透過性材料に含まれる。また、合成樹脂材料以外にもガラス材料など光透過性を有する物品Ｂであれば、本発明の技術思想は適用できる。

ＴＶカメラ１１で得られた濃淡画像（明度値を画素値とするデジタル画像）は、画像処理装置２に入力される。画像処理装置２は、画像を取り込むためのインターフェース２９および画像記憶用の画像記憶手段２０を備え、ＴＶカメラ１１からの濃淡画像は画像記憶手段２０に一旦格納される。画像記憶手段２０は後述する処理で生成される各画像の記憶にも用いられる。画像処理装置２は、コンピュータを主構成とする装置であり、適宜のプログラムを実行することにより、以下の処理を可能にする。

画像記憶手段２０に格納された濃淡画像に対して物品Ｂが含まれる範囲に処理対象領域が設定される。処理対象領域は、濃淡画像をモニタ装置の画面に表示して人手で設定することも可能であるが、本実施形態では、濃淡画像を適宜の閾値で二値化することにより物品Ｂと背景とを分離する対象領域抽出手段２１により処理対象領域を物品Ｂを含む領域として自動的に抽出する。

すなわち、物品Ｂと背景とは明度が異なるから、適宜の閾値を設定して二値化し、物品Ｂ側の画素値を持つ連結領域（ここでは、二値画像において各画素に隣接する画素が異物Ｆに相当する画素値を有する画素の集合）を抽出し、各連結領域の画素数を評価すれば、物品Ｂか否かを判別することができる。したがって、物品Ｂとみなせる領域の画素について水平方向（Ｘ方向）と垂直方向（Ｙ方向）との座標値の最大値と最小値とから、物品Ｂを囲むように、矩形状あるいは円状などの処理対象領域を設定することができる。

処理対象領域が決まると、処理対象領域の内部で特徴抽出を行い、異物の存否の可能性を判断する。また、異物が存在する可能性のある領域を候補領域とし、候補領域が存在する場合には、候補領域を囲むように検査領域を設定する。

特徴抽出には、濃淡画像を適宜の閾値で二値化した二値画像を生成する二値化手段２２と、二値画像から背景（物品Ｂ）とは異なる画素値を有しかつ規定した画素数以上の画素からなる連結領域を候補領域として抽出する候補領域抽出手段２３とを用いる。二値化手段２２において設定する閾値は、異物Ｆが物品Ｂに埋入されているか付着しているかにかかわらず、異物の存在範囲を抽出することができるように設定される。

すなわち、物品Ｂと異物Ｆとの反射率および透過率の相違に起因した濃淡画像内での明度の差を利用して物品Ｂと異物Ｆとを区別する。また、異物Ｆは画像内である程度の大きさを有しているから、連結領域の画素数を評価し、画素数が規定した閾値以上であるときに、当該連結領域を異物Ｆが存在する候補領域とみなす。

二値化手段２２と候補領域抽出手段２３とを併せた機能は対象領域抽出手段２１の機能と同様であり、基本的には二値画像を生成する際の閾値と連結領域の画素数に対する閾値とが異なるだけであるから、構成を共通化することが可能である。すなわち、プログラムにおいて共通のサブルーチンを用い、条件判断のための数値のみを引数としてサブルーチンに引き渡せばよい。

候補領域抽出手段２３で候補領域が抽出されると、候補領域の内部を検査領域とし、微分手段２５において検査領域内の濃淡画像を微分した微分画像を生成する。画像処理装置２は、物品Ｂの表面に露出している異物Ｆと物品Ｂに埋入されている異物Ｆとの輪郭線を含むエッジを微分画像から抽出する第１のエッジ抽出手段２６と、物品Ｂの表面に露出している異物Ｆの輪郭線を含み物品Ｂの内部に埋入されている異物Ｆの輪郭線を含まないエッジを微分画像から抽出する第２のエッジ抽出手段２７とを備える。第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とは、微分画像の画素値に対して適宜の閾値を適用することにより、上述の処理を行う。

いま、微分画像が図２（ａ）のような形で得られるものとする。図示例では異物Ｆの輪郭線付近の領域Ｄｍを楕円状に記載しているが、実際には異物Ｆの状態に応じて楕円状に記載している領域Ｄｍの周辺で微分値が変化する。たとえば、図示する楕円の長径方向の両端部付近に着目すると、図２（ｂ）のように、異物付着（実線）、異物混入（破線）、異物部分混入（一点鎖線）では、微分値が異なる分布を示す。異物部分混入は、図の左端部で異物Ｆが物品Ｂの表面に露出し、右端部で異物Ｆが物品Ｂに埋入している状態を示している。要するに、物品Ｂから露出している部位では明度変化が大きくなるから大きな微分値が得られ、物品Ｂに埋入されている部位では明度変化が相対的に小さくなるから微分値も小さくなる。

このことを利用すれば、図２（ｂ）のように、微分値に対して適宜の閾値Ｔｈａ，Ｔｈｂを適用することにより、物品Ｂの表面に露出している部位と埋入されている部位とを分離することができる。ここに、閾値Ｔｈａと閾値ＴｈｂとはＴｈａ＞Ｔｈｂとし、閾値Ｔｈｂは、微分値が閾値Ｔｈｂを超えている画素に、物品Ｂの表面に露出している異物Ｆの輪郭線と物品Ｂの内部に埋入されている異物Ｆの輪郭線とがともに含まれるように設定する。また、閾値Ｔｈａは、微分値が閾値Ｔｈａを超えている画素に、物品Ｂの表面に露出している異物Ｆの輪郭線が含まれ物品Ｂの内部に埋入されている異物Ｆの輪郭線が含まれないように設定する。

第１のエッジ抽出手段２６では、微分値が閾値Ｔｈｂを超える画素に対し、画素幅を１画素幅にする細線化処理を施してエッジを抽出する。また、第２のエッジ抽出手段２７では、微分値が閾値Ｔｈａを超える画素に対し、画素幅を１画素幅にする細線化処理を施してエッジを抽出する。細線化処理には中心線を抽出する処理のほか周知の技術を採用することができる。

後述するエッジ長の比較のために、第１のエッジ抽出手段２６により得られたエッジ上の画素のうちで、第２のエッジ抽出手段２７において設定した閾値Ｔｈａを超える画素を第２のエッジ抽出手段２７で抽出する画素とするのが望ましい。つまり、第２のエッジ抽出手段２７では、第１のエッジ抽出手段２６で得られたエッジ上の画素の範囲内でエッジ上の画素を抽出するのが望ましい。

なお、第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とは微分画像に対して適用する閾値が異なるが、他の処理は共通しているから、両エッジ抽出手段２６，２７として共通のサブルーチンを用い、閾値となる引数をサブルーチンに与えることで実現することができる。つまり、両エッジ抽出手段２６，２７が異なる内容の処理を行う場合に比較するとプログラムサイズの増加が抑制され、しかも微分手段２５で得られた微分値と閾値との大小を比較し、細線化するという軽負荷の処理であるから、処理負荷の増加が抑制でき高速な処理が期待できる。

上述したように、第１のエッジ抽出手段２６では、物品Ｂに埋入されているか否かにかかわらず異物Ｆの輪郭線に相当するエッジを抽出することができ、第２のエッジ抽出手段２７では、物品Ｂの表面に露出する異物Ｆの輪郭線に相当するエッジのみを抽出することができる。したがって、異物付着では両エッジ抽出手段２６，２７でともにエッジが抽出され、異物混入では第１のエッジ抽出手段２６でエッジが抽出されるが、第２のエッジ抽出手段２７ではエッジが抽出されないことになる。

ところで、異物部分混入の場合には、異物付着の場合と同様に、両エッジ抽出手段２６，２７でともにエッジが抽出される。ただし、異物部分混入では、異物Ｆの一部が物品Ｂの表面に露出し、一部が物品Ｂの内部に埋入されているから、第１のエッジ抽出手段２６で抽出したエッジの長さに対して、第２のエッジ抽出手段２７で抽出したエッジの長さが短くなる。

図３〜図５に、それぞれ異物付着、異物混入、異物部分混入の各場合について、濃淡画像（各図（ａ））、検査領域抽出手段２４で設定される検査領域Ｄｐ（各図（ｂ））、第２のエッジ抽出手段２６で得られるエッジ画像（各図（ｃ））、第１のエッジ抽出手段２６で得られるエッジ画像（各図（ｄ））の一例を示す。各図（ｃ）（ｄ）は実際のエッジ画像ではエッジが白画素になるが、図の都合上、白黒を反転して表記している。また、検査領域Ｄｐは、異物Ｆの大きさが同じであれば、異物付着、異物混入、異物部分混入にかかわらずほぼ同じ大きさになる。

本実施形態では、上述の性質を利用することにより、異物付着と異物混入と異物部分混入とを区別する。すなわち、第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とで抽出したエッジの長さの差分を求め、差分値に応じて異物付着と異物混入と異物部分混入とを判別する判定手段２８を設けている。

異物付着では、第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とで求められるエッジの長さに大きな変化が生じないから、判定手段２８では、上記差分に対して適宜の閾値を設定しておき、上記差分が当該閾値以下であれば、異物Ｆが物品Ｂの表面に付着している異物付着と判断する。

また、異物混入では、第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とで求められるエッジの長さに大きな変化が生じるから、判定手段２８では、上記差分に対して適宜の閾値を設定しておき、上記差分が当該閾値以上であれば、異物Ｆの全体が物品Ｂに埋入されている異物混入であると判断する。

さらに、異物付着と異物混入との間の適宜範囲を異物部分混入と判断すればよい。ただし、異物部分混入と異物混入とはともに異物Ｆが物品Ｂから除去できない欠陥品として処分するから、判定手段２８では、異物混入と異物部分混入とをとくに区別せず、異物付着か否かのみを判別するようにしてもよい。

本実施形態の動作を図６にまとめる。まず、撮像手段であるＴＶカメラ１１により撮像された濃淡画像を画像記憶手段２０に格納し、処理対象領域を設定する（Ｓ１）。次に、二値化手段２２および検査領域抽出手段２４により、特徴抽出（二値化）を行って候補領域を抽出し、さらに、候補領域に基づいて異物Ｆの輪郭線を含むように検査領域Ｄｐを設定する（Ｓ２）。

検査領域Ｄｐが決まると、微分手段２５で検査領域Ｄｐ内の画素の微分値を求め、微分値に対して第１のエッジ抽出手段２６および第２のエッジ抽出手段２７でそれぞれ閾値Ｔｈａ，Ｔｈｂを適用してエッジを求める（Ｓ３〜Ｓ５）。

図６に示す動作例では、第１のエッジ抽出手段２６によりエッジを抽出するのに先立って第２のエッジ抽出手段２７によりエッジを抽出し、第２のエッジ抽出手段２７でエッジが検出されない場合には（Ｓ４）、第１のエッジ抽出手段２６によるエッジの抽出を待たずに異物混入と判断している（Ｓ９）。エッジが抽出されないとは、画像内でエッジとなる画素値を持つ画素からなる連結領域が存在しないか、連結領域に含まれる画素数が規定した閾値以下である場合を意味する。

また、第２のエッジ抽出手段２７によりエッジが抽出された場合には、第１のエッジ抽出手段２６によるエッジの抽出を行い（Ｓ５）、両エッジ抽出手段２６，２７で得られたエッジの画素数の差分を求め、この差分を規定の閾値（基準値）と比較する（Ｓ６）。ステップＳ６において、差分が基準値以下であれば異物付着と判断し（Ｓ７）、差分が基準値を超えているときには異物部分混入と判断する（Ｓ８）。

なお、上述の動作例では、第２のエッジ抽出手段２７によるエッジの抽出を第１のエッジ抽出手段２６によるエッジの抽出に先行させ、第２のエッジ抽出手段２７によるエッジの抽出結果のみで異物混入を判定しているが、第１のエッジ抽出手段２６と第２のエッジ抽出手段２７とによるエッジの抽出を行った後に、エッジ長の差分を適宜の閾値と比較することにより異物混入を判定することも可能である。また、判定手段２８において、エッジ長の変化を用いて異物付着と異物混入と異物部分混入とを判別する際に、エッジ長の差分ではなくエッジ長の比を用いることも可能である。

ところで、検査領域設定手段２４では、以下の手順で候補領域から検査領域Ｄｐを設定する。すなわち、検査領域設定手段２４では、候補領域抽出手段２３で図７（ａ）のように候補領域Ｄｓが抽出されると、図７（ｂ）のように候補領域Ｄｓの重心Ｇの位置を求める。さらに、図７（ｃ）のように、重心Ｇの位置を中心として候補領域Ｄｓを囲むように設定した楕円形の検査領域Ｄｐを設定する。検査領域Ｄｐが候補領域Ｄｓを囲むために、候補領域Ｄｓの水平方向（Ｘ方向）と垂直方向（Ｙ方向）との幅寸法Ｌｘ，Ｌｙ（各方向の最大値と最小値との差）を求め、水平方向と垂直方向との幅寸法Ｌｘ，Ｌｙにそれぞれ規定の余裕値α，βを加算した値をそれぞれ長径と短径とする楕円形の検査領域Ｄｐを設定する。なお、上述の設定により検査領域Ｄｐは円形になる場合もある。なお、図示例では円形または楕円形の検査領域Ｄｐを設定しているが矩形状など他の形状の領域を設定してもよい。

上述のように検査領域Ｄｐを設定することにより、異物Ｆの存在する候補領域Ｄｓを囲むように候補領域Ｄｓの周部を境界とする検査領域Ｄｐを設定することができ、検査領域Ｄｐが局所に限定されるから、異物Ｆに関するエッジを抽出する際に照度むらや物品Ｂの輪郭線などのノイズによるエッジが含まれる可能性を低減でき、結果的に、異物Ｆに関するエッジを抽出する精度が高くなる。また、検査領域Ｄｐが制限されるから、微分手段２５による微分の対象となる画素数が制限されることになり、処理負荷が軽減されて処理速度の向上につながる。

図７に示した例では、検査領域Ｄｐが候補領域Ｄｓを囲むように設定しているが、候補領域Ｄｓの内側の一部を除外するように検査領域Ｄｐを設定してもよい。すなわち、検査領域設定手段２４において、図８のように候補領域Ｄｓの重心を中心とし、候補領域Ｄｓの内側に含まれる内側領域Ｄｔを設定し、内側領域Ｄｔの内部を検査領域Ｄｐから除外するのである。

内側領域Ｄｔは、候補領域Ｄｓの水平方向と垂直方向との幅寸法Ｌｘ，Ｌｙから規定の除外値γ，δを減算した値をそれぞれ長径と短径とする楕円形の領域を採用することができる。要するに、水平方向においてＬｘ−γ、垂直方向においてＬｙ−δを長径または短径とする楕円形の内側領域Ｄｔを除外した領域を処理対象の検査領域Ｄｐに用いる。検査領域Ｄｐは円形になる場合もある。また、矩形状などの他の形状の検査領域Ｄｐを設定することもできる。

このように、検査領域Ｄｐから候補領域Ｄｓの内側の一部領域を除外することにより、異物Ｆの内側の形状により生じるエッジが検出されないようにし、結果的に異物Ｆの内側で生じるノイズを除去することができる。なお、内側領域Ｄｔを設定することができるのは、候補領域Ｄｓの輪郭線に大きな凹凸が存在しない場合であって、内側領域Ｄｔの境界が候補領域Ｄｓの輪郭線と交差しない場合に限られる。

上述した例では、検査領域Ｄｐが候補領域Ｄｓを囲むように設定する例と、候補領域Ｄｓの内側の一部領域を検査領域Ｄｐから除外する例とを示したが、両者を併せて検査領域Ｄｐを設定してもよい。すなわち、候補領域Ｄｓを囲むように外側領域を設定するとともに、候補領域Ｄｓの内側の一部を除外し、外側領域と内側領域Ｄｓとに囲まれた領域を検査領域Ｄｐとすることができる。

要するに、候補領域Ｄｓの重心を中心として、水平方向においてＬｘ＋α、垂直方向においてＬｙ＋βを長径または短径とする楕円形の外側領域（検査領域Ｄｐ）から、水平方向においてＬｘ−γ、垂直方向においてＬｙ−δを長径または短径とする楕円形の内側領域Ｄｔを除外した領域を処理対象の検査領域Ｄｐに用いる。

上述した処理手順から明らかなように、候補領域Ｄｓのうち必要な情報は候補領域Ｄｓの輪郭線に関する情報であるから、輪郭線付近の画素のみを抽出すれば異物付着、異物混入、異物部分混入を区別することができる。したがって、検査領域設定手段２４において、外側領域と内側領域Ｄｔとの間の領域を検査領域Ｄｐとして設定すると、異物Ｆの輪郭線付近のみに着目して以後の処理を行うことができ、ノイズの影響を大幅に低減することができ、また処理負荷の大幅な軽減が可能になる。

上述のように、異物付着と異物部分混入と異物混入とを画像処理によって区別することが可能になったことにより、除去可能な異物Ｆが物品Ｂに付着している異物付着を欠陥品として処理する無駄ばねを防止することができ、歩留まりの向上につながる。なお、検査領域Ｄｐは上述のように候補領域Ｄｓを基準として設定するのが望ましいが、候補領域Ｄｓを含んでいればより広い領域を検査領域Ｄｐに用いることも可能である。

本発明の実施形態を示すブロック図である。同上の原理説明図である。同上において異物付着の場合の画像例を示す動作説明図である。同上において異物混入の場合の画像例を示す動作説明図である。同上において異物部分混入の場合の画像例を示す動作説明図である。同上の処理手順を示す動作説明図である。同上における検査領域の設定例を示す図である。同上における検査領域の他の設定例を示す図である。物品と異物との関係を示す図である。濃淡画像の例を示す図である。微分画像の例を示す図である。エッジ画像の例を示す図である。

符号の説明

１１ＴＶカメラ（撮像手段）
１２照明装置
２０画像記憶手段
２１対象領域抽出手段
２２二値化手段
２３候補領域抽出手段
２４検査領域設定手段
２５微分手段
２６第１のエッジ抽出手段
２７第２のエッジ抽出手段
２８判定手段
Ｂ物品
Ｄｐ検査領域
Ｄｓ候補領域
Ｄｔ内側領域
Ｆ異物
Ｇ重心

Claims

光透過性の材料により形成された物品を撮像手段により撮像し、撮像により得られた濃淡画像を用いて異物を判別する外観検査方法であって、濃淡画像からエッジを抽出するにあたり、物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出可能となる輪郭線抽出法によりエッジを抽出する第１のエッジ抽出処理と、物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように微分値に対して規定した閾値以上である画素からエッジを抽出する第２のエッジ抽出処理とを行い、第１のエッジ抽出処理により抽出したエッジの長さと第２のエッジ抽出処理により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定することを特徴とする画像処理による外観検査方法。
前記第１のエッジ抽出処理で用いる輪郭線抽出法は、微分値に対して規定した閾値以上の画素からエッジを抽出する処理を含み、第１のエッジ抽出処理に用いる閾値は前記第２のエッジ抽出処理に用いる閾値よりも小さい値であることを特徴とする請求項１記載の画像処理による外観検査方法。
撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする請求項１または請求項２記載の画像処理による外観検査方法。
撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする請求項１または請求項２記載の画像処理による外観検査方法。
撮像により得られた濃淡画像を二値化した二値画像において、異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域とし、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した外側領域から候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする請求項１または請求項２記載の画像処理による外観検査方法。
光透過性の材料により形成された物品を撮像する撮像手段と、撮像により得られた濃淡画像を二値化した二値画像を生成する二値化手段と、二値画像の各画素のうち異物に相当する画素値を有しかつ規定した画素数以上の画素からなる連結領域を異物の存在する候補領域として抽出する候補領域抽出手段と、候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域を囲むように設定した外側領域から候補領域の重心位置を中心としかつ候補領域の幅寸法に基づいて候補領域の内側に設定した内側領域を除外した領域を検査領域とする検査領域設定手段と、検査領域内の濃淡画像を微分した微分画像を生成する微分手段と、微分画像に対して物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出される第１の閾値を適用して抽出した画素からエッジを抽出する第１のエッジ抽出手段と、微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように第１の閾値よりも大きい値に設定した第２の閾値を適用して抽出した画像からエッジを抽出する第２のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジの長さと第２のエッジ抽出手段により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定する判定手段とを備えることを特徴とする画像処理による外観検査装置。