JP2009008564A - 画像処理による外観検査方法およびその装置 - Google Patents

Abstract

【課題】光透過性の材料により形成された物品において、異物の全体または一部が埋入されているか異物が表面に付着しているかを判別することを可能にする。
【解決手段】光透過性の材料により形成された物品ＢをＴＶカメラ１１により撮像する。第１のエッジ抽出手段２８は、濃淡画像に対して物品Ｂの内部に埋入された異物Ｆと物品Ｂの表面に露出する異物Ｆとの輪郭が併せて抽出可能する閾値を用いて二値化した二値画像からエッジを抽出する。第２のエッジ抽出手段２９は、微分画像に対して物品Ｂの表面に露出する異物Ｆの輪郭線が抽出され物品Ｂの内部に埋入された異物Ｆの輪郭線が抽出されないように設定した閾値以上の画素からエッジを抽出する。判定手段３０は、第１のエッジ抽出手段２８と第２のエッジ抽出手段２９とで抽出したエッジの長さの変化率が規定した判定閾値以下であるときに除去可能な異物Ｆが物品Ｂに付着していると判定する。
【選択図】図１

Description

本発明は、光透過性の材料により形成された物品に付着した異物が除去可能な異物か否かを判断する画像処理による外観検査方法およびその装置に関するものである。

一般に、物品の製造時に物品に付着する異物には、図８のように、物品Ｂの表面に付着して除去可能な異物Ｆ１と、物品Ｂの内部に埋入されて除去不能な異物Ｆ２と、物品Ｂの内部に一部が埋入されて除去不能な異物Ｆ３とがある。以下では、異物Ｆ１が物品Ｂの表面に付着して除去可能である状態を「異物付着」、異物Ｆ２の全体が物品Ｂに埋入されて除去不能な状態を「異物混入」、異物Ｆ３の一部が物品Ｂに埋入されて除去不能な状態を「異物部分混入」と呼ぶ。異物混入や異物部分混入は、異物Ｆ２，Ｆ３を除去することができず物品Ｂの品質が損なわれるから、欠陥品として処分することが要求される。

一方、異物付着の場合にはブラシやエアブローによって異物Ｆ１を簡単に除去することができるから、欠陥品と誤認されないように欠陥品とは区別する必要がある。異物付着を異物混入と誤認すれば、良品を欠陥品と判断して処分してしまういわゆる無駄ばねが生じて歩留まりが低下する。

物品Ｂの外観を撮像した濃淡画像を用いて異物の有無を判断する方法としては、検査領域内の画素の微分値を求め、微分値の平均値（平均微分値）と適宜の閾値との大小を比較し、平均微分値が閾値よりも大きいときに異物が存在すると判断する技術が知られている（たとえば、特許文献１参照）。

特許文献１に記載の技術では、異物と刻印とを区別するために、平均微分値に適用する閾値を２段階に設定しており、平均微分値が小さいほうの閾値以下であるときには異物が存在しないと判断し、平均微分値が大きいほうの閾値よりも大きいときには異物が存在すると判断し、平均微分値が両閾値の間であれば異物と刻印とのいずれかが存在すると判断している。
特開平４−３５０５４６号公報

特許文献１に記載の技術を採用すると、撮像した濃淡画像に含まれる情報を用いて物品に異物が付着しているか否かを判断することができる。しかしながら、光透過材料により形成された物品では、物品内に埋入された部分が画像内に含まれるから、異物混入あるいは異物部分混入と、異物付着とを区別することができない。その結果、異物を簡単に除去できるにもかかわらず欠陥品と誤認することによる無駄ばねを防止することができない。

本発明は上記事由に鑑みて為されたものであり、その目的は、光透過性の材料により形成された物品において、異物の全体または一部が埋入されているか異物が表面に付着しているかを判別することを可能にした画像処理による外観検査方法およびその装置を提供することにある。

請求項１の発明は、光透過性の材料により形成された物品を撮像手段により撮像し、撮像により得られた濃淡画像を用いて異物を判別する外観検査方法であって、濃淡画像に対して物品の内部に埋入された異物と物品の表面に露出する異物との輪郭が併せて抽出可能となるように設定した閾値を用いて二値化した二値画像からエッジを抽出する第１のエッジ抽出処理と、濃淡画像を微分した微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように設定した閾値以上の画素からエッジを抽出する第２のエッジ抽出処理とを行い、第１のエッジ抽出処理により抽出したエッジの長さと第２のエッジ抽出処理により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定することを特徴とする。

請求項２の発明では、請求項１の発明において、前記第１のエッジ抽出処理は、前記二値画像において前記異物に相当する画素値を有する画素からなる連結領域の各画素のうち、４近傍となる４個の画素のうちのいずれかが異なる画素値を持つ画素を第１のエッジ抽出処理によるエッジ上の画素として抽出することを特徴とする。

請求項３の発明では、請求項１または請求項２の発明において、前記第２のエッジ抽出処理は、前記第１のエッジ抽出処理により抽出したエッジ上の各画素の８近傍となる８個の画素の中に、前記微分画像から抽出した前記閾値以上の画素が存在するときに前記第１のエッジ抽出処理により抽出した画素を第２のエッジ抽出処理によるエッジ上の画素として抽出することを特徴とする。

請求項４の発明では、請求項１ないし請求項３のいずれかの発明において、撮像により得られた濃淡画像を二値化した二値画像から前記異物に相当する画素値を有する画素からなる連結領域を異物の存在する候補領域とし、候補領域を囲むように設定した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする。

請求項５の発明では、請求項１ないし請求項４のいずれかの発明において、撮像により得られた濃淡画像のうち前記物品の輪郭線を含むようにあらかじめ設定した着目領域の画素について濃度勾配の方向に方向値を対応付けた微分方向画像を生成し、方向値を用いて画素を追跡することにより求められる前記物品の輪郭線に対する近似線を設定し、着目領域のうち近似線に対して物品内の領域を異物の候補を抽出する処理対象領域とすることを特徴とする。

請求項６の発明では、請求項５の発明において、前記近似線は、画素の追跡により検出された前記物品の輪郭線に対して指定された画素数分だけ物品の内側に離れて設定されることを特徴とする。

請求項７の発明は、光透過性の材料により形成された物品を撮像する撮像手段と、撮像により得られた濃淡画像を二値化した二値画像を生成する二値化手段と、二値画像から異物に相当する画素値を有する画素からなる連結領域を抽出して異物の存在する候補領域として抽出する候補領域抽出手段と、候補領域を囲む領域を検査領域として設定する検査領域設定手段と、検査領域内の濃淡画像を微分した微分画像を生成する微分手段と、二値化手段により得られた二値画像において異物に相当する画素値を有する画素からなる連結領域の各画素のうち、４近傍となる４個の画素のうちのいずれかが異なる画素値を持つ画素をエッジ上の画素として抽出する第１のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジ上の各画素の８近傍となる８個の画素の中に微分手段により得られた微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように設定した閾値以上の画素が存在するときに第１のエッジ抽出手段により抽出した画素をエッジ上の画素として抽出する第２のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジの長さと第２のエッジ抽出手段により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定する判定手段とを備えることを特徴とする。

請求項１の発明の構成によれば、物品の内部に埋入された異物と物品の表面に露出する異物との輪郭線が併せて抽出可能となるように濃淡画像を二値化した二値画像を用いてエッジを抽出する第１のエッジ抽出処理と、物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように微分値に対して規定した閾値以上である画素からエッジを抽出する第２のエッジ抽出処理とを採用しているから、第１のエッジ抽出処理では異物の全体または一部が物品に埋入されている異物混入あるいは異物部分混入か表面に付着している異物付着かにかかわらず異物の輪郭線の大部分を含むエッジが抽出され、第２のエッジ抽出処理では物品の表面に露出している異物の輪郭線を含むエッジが抽出される。

すなわち、第１のエッジ抽出処理により検出されたエッジと第２のエッジ抽出処理により抽出されたエッジとの長さを比較すれば、異物が物品に埋入されている程度がわかることになる。異物が物品に完全に埋入されているときには、第２のエッジ抽出処理では異物の輪郭に相当するエッジが抽出されず、異物が物品に埋入されずに付着しているときには、第１のエッジ抽出処理と第２のエッジ抽出処理とで得られるエッジの長さの差が小さく、異物の一部が物品に埋入されているときには、第１のエッジ抽出処理と第２のエッジ抽出処理とで得られるエッジの長さの差が大きくなる。

このような性質を利用することにより、除去可能な異物か否かを画像処理により判断することが可能になり、除去可能な異物が付着しているときに、欠陥品として処理する無駄ばねを防止することができ、結果的に歩留まりの向上につながる。

請求項２の発明の構成によれば、二値画像における連結領域内で各画素の４近傍の画素について異物の内外を判別して輪郭線上のエッジを抽出するから、８近傍の画素について判別することなく同精度で異物の輪郭線となるエッジ上の画素を抽出することができ、結果的に、第１のエッジ抽出処理の処理負荷を少なくし高速な処理が可能になる。

請求項３の発明の構成によれば、微分画像において閾値以上となる画素が二値画像から抽出したエッジ上の画素の８近傍に存在するときに、二値画像から抽出したエッジ上の画素を第２のエッジ抽出処理により抽出したエッジ上の画素とするから、微分画像の微分値に対して閾値を適用しただけでは幅を持つのに対して、あらかじめ抽出したエッジ上の画素の中から微分値を用いてエッジ上の画素を抽出することで、二値画像から得たエッジと同幅のエッジを抽出することが可能になる。しかも、微分画像を用いる第２のエッジ抽出処理により得られるエッジ上の画素は、二値画像から第１のエッジ抽出処理により得られるエッジ上の画素に含まれるから、エッジ長の変化を判別する際に精度よく比較することができる。

請求項４の発明の構成によれば、異物の存在する候補領域に基づいて、候補領域が含まれる制限された領域に検査領域を設定しているから、異物に関するエッジを抽出する際に照度むらや物品の輪郭線などによるエッジが含まれる可能性を低減でき、異物に関するエッジを抽出する精度が高くなる。しかも、検査領域を狭い範囲に制限するから、処理対象となる画素数が制限され、結果的に処理負荷が軽減され処理速度の向上につながる。

請求項５の発明の構成によれば、物品の輪郭線に対する近似線を設定し、近似線に対して物品の内側の領域を処理対象領域としているから、物品の輪郭線を異物の輪郭線と誤認するのを防止できる。

請求項６の発明の構成によれば、処理対象領域の境界を決める近似線と物品の輪郭線との距離が指定されるから、画像内で検出される物品の輪郭線に凹凸があっても処理対象領域から物品の輪郭線を除外することができる。つまり、近似線を適宜に指定することにより、対象となる物品の輪郭線形状に応じて適正な処理対象領域を設定することができる。

請求項７の発明の構成によれば、請求項１の発明と同様に、異物について物品の表面に露出している部分と物品に埋入されている部分とを判別することができ。したがって、除去可能な異物が物品に付着している場合に欠陥品として処理する無駄ばねを防止することができ、歩留まりの向上につながるという利点がある。また、第２のエッジ抽出手段により抽出されるエッジ上の画素は、第１のエッジ抽出手段により抽出されるエッジ上の画素に含まれるから、判定手段でエッジ長の変化を検出する際に正確な比較が可能になる。さらに、異物の存在する候補領域に基づいて検査領域を候補領域の輪郭付近に制限するから、異物に関するエッジを抽出する際に照度むらや物品の輪郭線などによるエッジが含まれる可能性を低減できるとともに、異物の内側形状についても無視することができ、異物に関するエッジを抽出する精度が高くなる上に、処理対象の画素数が少なく処理負荷の軽減がなされ処理速度の向上につながる。

本実施形態は、図１に示すように、物品Ｂを撮像する撮像手段としてのＴＶカメラ１１と、物品Ｂを照明する照明装置１２とを備える。照明装置１２は、物品Ｂの表面に陰影が形成されないように無影灯（リング照明）を用いるのが望ましい。物品Ｂは光透過性材料からなり、透明な合成樹脂成形品に限らず、不透明に着色された合成樹脂成形品であっても表面付近が光透過性を有するものであれば光透過性材料の物品Ｂに含まれる。たとえば、白色系に着色した合成樹脂成形品は光透過性材料に含まれる。また、合成樹脂材料以外にもガラス材料など光透過性を有する物品Ｂであれば、本発明の技術思想は適用できる。

ＴＶカメラ１１で得られた濃淡画像（明度値を画素値とするデジタル画像）は、画像処理装置２に入力される。画像処理装置２は、画像を取り込むためのインターフェース３１および画像記憶用の画像記憶手段２０を備え、ＴＶカメラ１１からの濃淡画像は画像記憶手段２０に一旦格納される。画像記憶手段２０は後述する処理で生成される各画像の記憶にも用いられる。画像処理装置２は、コンピュータを主構成とする装置であり、適宜のプログラムを実行することにより、以下の処理を可能にする。

まず、画像記憶手段２０に格納された濃淡画像に対して物品Ｂが含まれる範囲に、図３に示すように、着目領域Ｄｖが設定される。着目領域Ｄｖは、ＴＶカメラ１１の視野内において物品Ｂの少なくとも一部を含んでいればよいが、通常は物品Ｂの輪郭線を含むように設定される。

本実施形態では、製造ラインなどにおいてＴＶカメラ１１に対する物品Ｂの位置がほぼ決まっていることを利用して、ＴＶカメラ１１の視野内において着目領域Ｄｖを固定的に設定できる場合を想定する。なお、濃淡画像を適宜の閾値で二値化することにより物品Ｂと背景とを分離することにより、着目領域Ｄｖを物品Ｂを含む領域として自動的に抽出するようにすることも可能である。また、単品の物品Ｂであれば、濃淡画像をモニタ装置の画面に表示して人手で着目領域Ｄｖを設定することが可能である。

着目領域Ｄｖが決まると、着目領域Ｄｖに含まれる画素について微分手段２１による方向値の演算を行う。方向値は、濃淡画像における各画素の濃度勾配の方向を量子化した値であり、たとえば４５度ずつ８個の方向値を濃度勾配に割り当てる。また、方向値では濃度勾配の方向に直交する方向を０度とし、たとえば、０度を中心とする±２２．５度の範囲に対応する方向値を１とし、左回りに４５度の範囲ごとに１〜８の数値を方向値として割り当てる。方向値は濃度勾配が閾値以下の画素には付与しない。

次に、追跡処理手段２２において、着目領域Ｄｖの中で方向値を用いて画素を追跡する。方向値を用いて画素を追跡するとは、方向値の得られているいずれかの画素を着目画素とし、着目画素の方向値に対して一定範囲（たとえば、±１１２．５度の範囲）内に±９０度に相当する方向値の画素が隣接しているときに、当該画素を次の着目画素として同処理を繰り返すことにより、連続する画素列を抽出することを意味している。この処理により、物品Ｂの輪郭線上の画素や物品Ｂに刻印された文字の輪郭線上の画素のように、濃度勾配が閾値以上になる部位の画素列が抽出される。物品Ｂの外周縁の内側に孔が形成されている場合には、孔の開口周縁も輪郭線になる。

方向値を用いて追跡した画素により物品Ｂなどの輪郭線が抽出されると、対象領域設定手段２３において、輪郭線に近似する近似線を求め、さらに輪郭線に対して物品Ｂの内側となる部位に近似線を設定し、近似線よりも物品Ｂの内側の領域を処理対象領域Ｄｕに定める。近似線は、輪郭線に微小な凹凸があってもこれを無視した直線または曲線として求められる。近似線を直線とすべきか円弧や楕円弧のような曲線とすべきかは、輪郭線上の画素の方向値の並びにより決定することができる。たとえば、同じ方向値が規定個数以上含まれていれば直線、画素の並び順で方向値が順に変化する傾向があれば曲線とする。

対象領域設定手段２３には、位置指定手段２４が付設されており、求めた近似線の輪郭線に対する位置を画素数で設定できるようにしてある。近似線は輪郭線に対して指定した画素数分だけ物品Ｂの内側に設定される。物品Ｂに孔が形成されている場合には孔の開口周縁から物品Ｂ側に離れて近似線が設定される。このようにして設定された近似線に囲まれた領域が処理対象領域Ｄｕになる。図３から明らかなように、物品Ｂにおいて輪郭線が存在しない箇所では、処理対象領域Ｄｕの境界と着目領域Ｄｖの境界とが一致する。

画像処理装置２は、処理対象領域Ｄｕが設定されると、濃淡画像を適宜の閾値により二値化した二値画像から異物が存在する可能性のある領域を候補領域として抽出し、候補領域が存在する場合には、候補領域を囲むように検査領域を設定する。

二値画像は、二値化手段２５が画像記憶手段２０に格納された濃淡画像を読み出し、この濃淡画像に適宜の閾値を適用して二値化することにより得られる。二値化手段２５に設定される閾値は、異物Ｆが物品Ｂに埋入されているか付着しているかにかかわらず、異物の存在範囲を抽出することができるように設定される。すなわち、物品Ｂと異物Ｆとの反射率および透過率の相違に起因した濃淡画像内での明度の差を利用して物品Ｂと異物Ｆとを区別する。

異物Ｆは画像内である程度の大きさを有しているから、候補領域抽出手段２６において、連結領域（ここでは、二値画像において各画素に隣接する画素が異物Ｆに相当する画素値を有する画素の集合）の画素数を評価し、画素数が規定条件を満たすときに、当該連結領域を異物Ｆが存在する候補領域とみなす。画素数に対する条件は、規定した閾値以上であるときに異物Ｆの可能性があると判断する。

ただし、候補領域抽出手段２６では、上記条件を満たす連結領域（候補領域）であっても、以下のいずれかの条件が成立するときには、検査領域を設定せずに欠陥品と判断する。すなわち、候補領域の個数が閾値以上であるか、いずれかの候補領域の画素数が上述の閾値よりも大きい上限値を超えるか、すべての候補領域の画素数の総和が規定した閾値を超えるときには、過剰な汚れで異物Ｆの量が多すぎる欠陥品と判断する。

候補領域抽出手段２６において、候補領域である連結領域に関して欠陥品ではないと判断されると、検査領域設定手段２７において候補領域を囲むように検査領域が設定される。検査領域設定手段２７は、図４に示すように、二値化手段２５により生成された二値画像を用いて候補領域Ｄｓの重心Ｇを求め、この重心を中心とする矩形状の領域を検査領域Ｄｐとして設定する。ただし、検査領域Ｄｐにおいて処理対象領域Ｄｕの外側となる領域があれば、設定した検査領域Ｄｐのうちで処理対象領域Ｄｕの内側となる領域のみを検査領域Ｄｐとして採用する。

設定する検査領域Ｄｐを矩形状の領域とする場合には、候補領域Ｄｓの水平方向（Ｘ方向）および垂直方向（Ｙ方向）の幅寸法（画素数）Ｌｘ，Ｌｙを求め、各幅寸法Ｌｘ，Ｌｙに規定画素数を加算した長さ寸法の辺を持つ長方形（または正方形）を検査領域Ｄｐとする。なお、検査領域Ｄｐは矩形状に限定されるものではなく、幅寸法Ｌｘ，Ｌｙに規定画素数を加算した寸法の長径および短径を有する楕円形（または円形）の検査領域Ｄｐを採用することも可能である。

検査領域Ｄｐの設定後には、検査領域Ｄｐの濃淡画像について二値化手段２５で二値化を行う。この二値化にあたって用いる閾値は、候補領域Ｄｓを抽出する際の二値化で用いた閾値と等しい値を用いることができる。したがって、あらためて二値化を行わずに先の二値化により得られた二値画像のうち検査領域Ｄｐ内の部位を用いてもよい。

検査領域Ｄｐの二値画像が得られると、第１のエッジ抽出手段２８において、検査領域Ｄｐ内の二値画像から異物Ｆの輪郭線となるエッジが抽出される。この処理では、図５に示すように、二値化により異物Ｆの存在領域と判断された連結領域（つまり、候補領域Ｄｓ）の各画素について、４近傍の画素（垂直方向または水平方向に隣接する４個の画素）の画素値を取り出し、４近傍の画素のいずれかの画素値が着目画素の画素値と異なっている場合に、着目画素を異物Ｆの輪郭線に相当するエッジ上の画素として抽出する。たとえば、異物Ｆに対応する領域の画素が黒画素であるときに、４近傍に白画素が存在すると、当該黒画素を異物Ｆの輪郭線に相当するエッジ上の画素とする。図示例（升目は画素を意味する）では、中央の画素が着目画素であり、４近傍のうちの上と左とに着目画素とは異なる画素値の画素が存在するから、着目画素はエッジ上の画素と判断される。

第１のエッジ抽出手段２８により抽出されるエッジ上の画素は、異物Ｆが異物付着か異物混入か異物部分混入かにかかわらず、異物Ｆの略全周についてエッジ上の画素を抽出する。

画像処理装置２は、異物Ｆにおいて物品Ｂから露出している部位のエッジ上の画素を抽出し物品Ｂに埋入されている部位の画素は抽出しない第２のエッジ抽出手段２９も備えている。第２のエッジ抽出手段２９では検査領域Ｄｐの濃淡画像から微分手段２１で生成した微分画像を用い、以下の処理によってエッジ上の画素を抽出する。ここに、微分画像を求める範囲を検査領域Ｄｐに制限しているから、微分処理に要する処理負荷が小さく高速な処理が期待できる。

第２のエッジ抽出手段２９は、第１のエッジ抽出手段２８により抽出したエッジ上の画素の８近傍の画素（着目画素に隣接する８個の画素）の中に微分値（微分画像の画素値）が規定の閾値以上のものがあれば、当該画素を第２のエッジ抽出手段２９により抽出したエッジ上の画素とする。微分値に対する閾値は、異物Ｆにおいて物品Ｂに埋入されている部位を抽出しない程度に設定する。つまり、異物Ｆにおいて物品Ｂから露出している部位の微分値の極大値付近で数画素程度が抽出されるように閾値を設定すればよい。

第２のエッジ抽出手段２９により抽出されるエッジ上の画素は、第１のエッジ抽出手段２８により抽出されるエッジ上の画素のうちで、８近傍の画素が上記条件を満たす画素であるから、第１のエッジ抽出手段２８により抽出された画素の一部または全部になる。

いま、図５の各升目を画素として黒塗りの画素が第１のエッジ抽出手段２８により抽出された画素のうちの着目画素であるとする。第２のエッジ抽出手段２９は、着目画素の８近傍の画素について微分値が閾値以上の画素が存在するか否かを判断する。図示例では、微分値が閾値以上である画素に斜線を施してあり、着目画素の８近傍の画素のうち３個の画素が条件を満たしていることになる。したがって、着目画素は第２のエッジ抽出手段２９で抽出される画素になる。

上述したように、第１のエッジ抽出手段２８では、物品Ｂに埋入されているか否かにかかわらず異物Ｆの輪郭線に相当するエッジ上の画素が抽出され、第２のエッジ抽出手段２９では、物品Ｂの表面に露出する異物Ｆの輪郭線に相当するエッジのみを抽出することができる。したがって、異物付着では両エッジ抽出手段２８，２９でともにエッジが抽出され、異物混入では第１のエッジ抽出手段２８でエッジが抽出されるが第２のエッジ抽出手段２９ではエッジが抽出されないことになる。

ところで、異物部分混入の場合には、異物付着の場合と同様に、両エッジ抽出手段２８，２９でともにエッジが抽出される。ただし、異物部分混入では、異物Ｆの一部が物品Ｂの表面に露出し、一部が物品Ｂの内部に埋入されているから、第１のエッジ抽出手段２８で抽出したエッジの長さに対して、第２のエッジ抽出手段２９で抽出したエッジの長さが短くなる。

異物付着、異物部分混入、異物混入の各場合について、濃淡画像と第２のエッジ抽出手段２９により抽出したエッジ上の画素を表すエッジ画像とを並記して図６に示す。エッジ画像ではエッジが白画素になるが、図６では実際の画像とは白黒を反転させて表記している。また、図６には第１のエッジ抽出手段２８により抽出したエッジ上の画素と、第２のエッジ抽出手段２９により抽出したエッジ上の画素との画素数の変化率を表記している。変化率ηは、第１のエッジ抽出手段２８で得られる画素数をｎ１、第２のエッジ抽出手段２９で得られる画素数をｎ２とすれば、η＝｛（ｎ１−ｎ２）／ｎ１｝×１００％で表すことができる。

異物付着の場合には画素数の変化は少なく変化率は高々１０％程度であり、異物部分混入の場合には異物Ｆが物品Ｂに埋入されている部位の割合にもよるが変化率は５０％前後（たとえば、２０〜８０％）になることが多い。また、異物混入の場合には異物Ｆが物品Ｂに完全に埋入されているから変化率は１００％になる。

このように、異物付着か異物部分混入か異物混入かは第１のエッジ抽出手段２８で抽出したエッジと第２のエッジ抽出手段２９で抽出したエッジとのエッジ長の変化の程度により判別することができる。画像処理装置２には、エッジ長の変化により異物付着か異物部分混入か異物混入かを判別する判定手段３０が設けられる。判定手段３０では、変化率ηが判定閾値以下であれば異物付着と判断し、判定閾値以上であるときには異物部分混入または異物混入であるから欠陥品と判断する。なお、上述の動作例では、判定手段３０においてエッジ長の変化を変化率として求めているが、エッジ長の比率やエッジ長の差分を用いてもよい。

本実施形態の動作を図２にまとめる。まず、撮像手段であるＴＶカメラ１１により撮像された濃淡画像を画像記憶手段２０に格納し、着目領域Ｄｖを設定する（Ｓ１）。次に、着目領域Ｄｖを設定し（Ｓ２）、微分手段２１により着目領域Ｄｖの中で方向値を求め、物品Ｂの輪郭線を抽出する（Ｓ３）。物品Ｂの輪郭線が濃淡画像から抽出されると、輪郭線に対して指定画素分だけ近似線を変位させて処理対象領域Ｄｕを設定する（Ｓ４）。

処理対象領域Ｄｕの中の濃淡画像は二値化され（Ｓ５）、二値画像内の連結領域が求められるとともに、その画素数が求められる（Ｓ６）。ここで、連結領域の画素数が閾値Ｔｈ１よりも小さいときには異物Ｆが存在していないと言えるから、異物Ｆに関して良品の判断がなされる（Ｓ７）。この処理は処理対象領域Ｄｕに存在するすべての連結領域について行われる（Ｓ８）。

ここで、連結領域の個数が規定の閾値Ｔｈ２以上であるか、いずれかの連結領域の画素数が規定の閾値Ｔｈ３以上であるか（Ｔｈ３＞Ｔｈ１）、処理対象領域Ｄｕに存在するすべての連結領域の画素数の総和が規定の閾値Ｔｈ４以上である場合には（Ｓ９）、物品Ｂに多数の異物Ｆが存在しており、異物付着、異物部分混入、異物混入の判断に適さない欠陥品と判断する。つまり、上述の３条件のいずれかが満たされるときには欠陥品と判断する。

連結領域の画素数が閾値Ｔｈ１以上であり、かつ欠陥品ではないと判断されると、当該連結領域を候補領域Ｄｓとし、候補領域Ｄｓを囲む検査領域Ｄｐを設定する（Ｓ１０）。検査領域Ｄｐの設定後には、検査領域Ｄｐの中の画素について二値化を行って（Ｓ１１）、二値画像から候補領域Ｄｓの輪郭線に相当するエッジ上の画素を抽出する（Ｓ１２）。さらに、検査領域Ｄｐの範囲で微分画像を生成し（Ｓ１３）、ステップＳ１２において求めたエッジ上の画素のうち、８近傍の画素の微分値が閾値以上である画素を抽出する（Ｓ１４）。

ステップＳ１２とステップＳ１４とで求めたエッジ上の画素は、画素数の変化率が求められ（Ｓ１５）、変化率が判定閾値Ｔｈ５以下であるときには異物付着と判断する（Ｓ１６）。なお、判定手段３０では、変化率の範囲に応じて異物付着、異物部分混入、異物混入の別を判別してもよい。

上述のように、異物部分混入および異物混入と異物付着とを画像処理によって区別することが可能になったことにより、除去可能な異物Ｆが物品Ｂに付着している異物付着を欠陥品として処理する無駄ばねを防止することができ、歩留まりの向上につながる。なお、検査領域Ｄｐは上述のように候補領域Ｄｓを基準として設定するのが望ましいが、候補領域Ｄｓを含んでいればより広い領域を検査領域Ｄｐに用いることも可能である。

本発明の実施形態を示すブロック図である。 同上の動作説明図である。 同上における着目領域と処理対象領域との関係を示す図である。 同上における処理対象領域と検査領域との関係を示す図である。 同上における第１のエッジ抽出処理の原理説明図である。 同上における第２のエッジ抽出処理の原理説明図である。 同上の動作例を示す図である。 物品と異物との関係を示す図である。

符号の説明

１１ ＴＶカメラ（撮像手段）
１２ 照明装置
２０ 画像記憶手段
２１ 微分手段
２２ 追跡処理手段
２３ 対象領域抽出手段
２４ 位置指定手段
２５ 二値化手段
２６ 候補領域抽出手段
２７ 検査領域設定手段
２８ 第１のエッジ抽出手段
２９ 第２のエッジ抽出手段
３０ 判定手段
Ｂ 物品
Ｄｐ 検査領域
Ｄｓ 候補領域
Ｄｕ 処理対象領域
Ｄｖ 着目領域
Ｆ 異物
Ｇ 重心

Claims (7)

1. 光透過性の材料により形成された物品を撮像手段により撮像し、撮像により得られた濃淡画像を用いて異物を判別する外観検査方法であって、濃淡画像に対して物品の内部に埋入された異物と物品の表面に露出する異物との輪郭が併せて抽出可能となるように設定した閾値を用いて二値化した二値画像からエッジを抽出する第１のエッジ抽出処理と、濃淡画像を微分した微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように設定した閾値以上の画素からエッジを抽出する第２のエッジ抽出処理とを行い、第１のエッジ抽出処理により抽出したエッジの長さと第２のエッジ抽出処理により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定することを特徴とする画像処理による外観検査方法。
2. 前記第１のエッジ抽出処理は、前記二値画像において前記異物に相当する画素値を有する画素からなる連結領域の各画素のうち、４近傍となる４個の画素のうちのいずれかが異なる画素値を持つ画素を第１のエッジ抽出処理によるエッジ上の画素として抽出することを特徴とする請求項１記載の画像処理による外観検査方法。
3. 前記第２のエッジ抽出処理は、前記第１のエッジ抽出処理により抽出したエッジ上の各画素の８近傍となる８個の画素の中に、前記微分画像から抽出した前記閾値以上の画素が存在するときに前記第１のエッジ抽出処理により抽出した画素を第２のエッジ抽出処理によるエッジ上の画素として抽出することを特徴とする請求項１または請求項２記載の画像処理による外観検査方法。
4. 撮像により得られた濃淡画像を二値化した二値画像から前記異物に相当する画素値を有する画素からなる連結領域を異物の存在する候補領域とし、候補領域を囲むように設定した領域を、前記第１のエッジ抽出処理および前記第２のエッジ抽出処理を行う検査領域とすることを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理による外観検査方法。
5. 撮像により得られた濃淡画像のうち前記物品の輪郭線を含むようにあらかじめ設定した着目領域の画素について濃度勾配の方向に方向値を対応付けた微分方向画像を生成し、方向値を用いて画素を追跡することにより求められる前記物品の輪郭線に対する近似線を設定し、着目領域のうち近似線に対して物品内の領域を異物の候補を抽出する処理対象領域とすることを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理による外観検査方法。
6. 前記近似線は、画素の追跡により検出された前記物品の輪郭線に対して指定された画素数分だけ物品の内側に離れて設定されることを特徴とする請求項５記載の画像処理による外観検査方法。
7. 光透過性の材料により形成された物品を撮像する撮像手段と、撮像により得られた濃淡画像を二値化した二値画像を生成する二値化手段と、二値画像から異物に相当する画素値を有する画素からなる連結領域を抽出して異物の存在する候補領域として抽出する候補領域抽出手段と、候補領域を囲む領域を検査領域として設定する検査領域設定手段と、検査領域内の濃淡画像を微分した微分画像を生成する微分手段と、二値化手段により得られた二値画像において異物に相当する画素値を有する画素からなる連結領域の各画素のうち、４近傍となる４個の画素のうちのいずれかが異なる画素値を持つ画素をエッジ上の画素として抽出する第１のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジ上の各画素の８近傍となる８個の画素の中に微分手段により得られた微分画像に対して物品の表面に露出する異物の輪郭線が抽出され物品の内部に埋入された異物の輪郭線が抽出されないように設定した閾値以上の画素が存在するときに第１のエッジ抽出手段により抽出した画素をエッジ上の画素として抽出する第２のエッジ抽出手段と、第１のエッジ抽出手段により抽出したエッジの長さと第２のエッジ抽出手段により抽出したエッジの長さとの変化が規定した判定閾値以下であるときに除去可能な異物と判定する判定手段とを備えることを特徴とする画像処理による外観検査装置。

Images