JP2009229200A - 異物検査方法および異物検査装置 - Google Patents

Abstract

【課題】液体が充填された透明な容器に混入した不透明な異物を検査する際、照明の不均一さや照射光の屈折による異物の誤検出を低減する画像処理方法を提供する。
【解決手段】検査する容器の原画像に対し平滑化などの雑音画像処理を施して擬似的な基準画像を取得し、その基準画像の輝度を基準として原画像との輝度差分を求め、差分画像を生成する。この差分画像を検査することにより、照明の不均一さや照射光の屈折により生じる画像の輝度変化の影響を回避し、誤検出を低減させる。
【選択図】図１

Description

本発明は液体が充填された透明容器内部の不透明異物を検査する方法、および検査装置に関する。

従来、液体が満たされた透明容器内の不透明異物をより良く識別・検出する手法として、様々な方法が提案されてきた。一般には、検査対象の透明容器を撮像して容器の画像を取込み、予め準備した検査対象物の基準画像と前記撮像による容器の画像とを比較し、その差分から異物を検出するものである。

そして、改善・工夫点としては、照明、フィルタ、容器ハンドリング等のハードウェア的手法と、画像処理の方法により検出能力を上げるソフトウェア的手法に大別される。

従来の代表的な例を挙げると、照明では被検査容器に対し、上方からの照明（特許文献１を参照）、下方からの照明、側方からの照明それぞれ各種の方法が、また、被検査容器と撮像カメラの間に光拡散性のフィルタ（特許文献２を参照）またはプリズムを設ける方法、容器のハンドリングにおいては被検査容器を回転・加振することにより液中の異物を移動させ識別し易くする方法（特許文献３、特許文献４を参照）、または容器を傾斜させ沈降異物を特定箇所に集める方法などが提案されている。

一方、画像処理においては被検査容器を複数回撮像し、それらの比較・差分から容器内を移動する異物を検出する方法（特許文献４を参照）などが提案されている。

特開２００４−２１９３９９号公報 特許第３３４０４１３号公報 特開２００１−５９８２２号公報 特開２００２−３１８２０２号公報

しかしながら上記従来技術では、一般に透明容器に充填される液体の光透過性が高い場合、液体で満たされた容器が一種のレンズとして作用するため、照射される光が屈折し、屈折した光が容器内部の輝度を複雑に変化させる。また、検査のために連続的に搬送される容器の検査場所での微妙なずれ（位置、傾き）で、容器内部の輝度が局所的に変化して生じた暗部と真の異物との識別は一般に難しく、これが誤検出の一因となっていた。

容器に充填される液体が、光透過性の低い懸濁した液体のときは、照射光が液中で散乱されるため屈折の影響は受け難くなるが、それでも検査を繰返していくと、容器のハンドリングや撮像タイミングなどのばらつきにより、均一な照度が得られる位置から容器の位置が外れ、容器内部の輝度が不均一になり、そのとき画像の輝度が相対的に暗い部分を異物と誤って検出してしまうことがあった。

上記のようにして誤って検出された画像に基いて、予め準備された基準画像とを比較して得られる差分は、結局誤った異物を示すことになる。

本発明の目的は、透明容器の光の屈折や透明容器の位置、傾き上での様々なずれがあっても、異物の誤検出を低減した異物検査方法、及び異物検査装置を提供することにある。

本発明は、液体が充填された透明容器を撮像し、得られた画像から混入した不透明異物を検査する方法において、検査対象の容器の原画像を撮像し、この原画像に対し雑音処理を施すことにより基準画像を生成し、この基準画像と前記原画像の輝度差分画像を生成し、この輝度差分画像から異物を抽出することを特徴とする。

また、前記雑音処理は、原画像に対し平滑化処理を施すことを特徴とする。また、前記雑音処理は、原画像に対し暗部の収縮および膨張処理を用いることを特徴とする。また、前記雑音処理は、原画像に対し画像サイズの縮小および拡大処理を用いることを特徴とする。

また、本発明は、液体が充填された透明容器を撮像し、得られた画像から混入した不透明異物を検査する装置において、検査対象の容器の原画像を撮像し、この原画像に対し雑音処理を施すことにより基準画像を生成し、この基準画像と前記原画像の輝度差分画像を生成し、この輝度差分画像から異物を抽出することを特徴とする。

本発明によれば、透明容器の光の屈折や連続検査による透明容器の様々なずれからくる容器内の輝度の不均一を除去または低減させ、必要な異物像のみが残った画像が得られ、異物の誤検出や異物の見逃しを減らすことが出来る。

以下、実施例について説明する。

実施例の説明前に、図２および図３により、容器、カメラ、照明の位置関係を述べる。検査対象となる液体を充填する容器１は、具体的にはペットボトルやガラス製の透明な瓶などである。照明装置は図ではパネル状の面発光型を想定して描いているが、この形に限定される訳ではなく、球型、点型、円筒型、リング型その他とくに限定されず、容器の方向に光が照射されていれば良い。カメラが容器を検査するときのアングルは、容器の側面からあるいは容器底面からのいずれかである。容器上部はキャップがあり、検査の妨げになるため上方から撮像することは通常はない。

図２は容器１の側面を撮像し、異物検査を行なう場合の容器と撮像カメラ、照明の位置関係を表している。パネル状の照明３ａはカメラ２からみて容器１の向こう側に位置する。パネル状の照明３ｂ、３ｃはカメラ２と容器１を結ぶ直線に対し直角方向に位置している。照明の位置は図示した位置に限定されるものではなく、照明３ｂ、３ａ、３ｃを繋ぐ半円周上のどの位置にあっても構わない。また、照明の個数も１つとは限らず、複数であっても構わない。

図３は容器１の底面を撮像し、異物検査を行なう場合の容器と撮像カメラ、照明の位置関係である。照明３ａはカメラ２からみて容器１の上側に位置する。照明３ｂ、３ｃはカメラ２と容器１を結ぶ直線に対し直角方向に位置している。また、照明３ｄ、３ｅはカメラ２と容器１を結ぶ直線と照明３ｂ、３ｃを結ぶ直線のどちらに対しても直角な方向に位置している。

図３においても照明の位置は図示した位置に限定されるものではなく、照明３ｂ、３ａ、３ｃを繋ぐ半円周、または照明３ｄ、３ａ、３ｅを繋ぐ半円周をカメラ２と容器１を結ぶ直線を軸として１回転させてできる半球面上のどの位置にあっても構わない。また、照明の個数も１つとは限らず、複数であっても構わない。

図２、図３のような配置の照明により照射された光はそのまま容器を通過するか、容器内部で反射するか、あるいは容器内の液体が懸濁している場合、照射光は液中で散乱され、これらの光が重なり合ってカメラに到達し、容器内部の画像を形成する。

ここで一例として、図３の配置において撮影された液体入り容器の底面の画像を図４、図５に示す。それぞれ（ａ）は撮像した生の原画像であり、（ｂ）は切断線５でみた画像（ａ）の輝度断面である。

図4は２８０ｍｌ角型のペットボトルで、中身は野菜ジュースである。ボトルの側面方向から照明を強めに当てて撮影した画像である。野菜ジュースは繊維分などを豊富に含むため濁っており、入射光が良く散乱される反面、光の透過性は低い。そのため、局所的な輝度むらは起こりにくいが、光が減衰するため容器外周から中央に向かうにつれ輝度が低下する画像になる。

図５は５００ｍｌ丸型のペットボトルで中身はアロエジュースである。果肉をほとんど含まないため液体の透明度は水に近い。照明はボトルの真上、図３の３ａの位置にあり、上からボトルに照射した画像が図５である。上方から入射した光がボトル内部で屈折・反射してできる暗部や、底部中心に形成された放射状のリブが映るため、結果として輝度変化の大きい（ａ）のような独特の画像になる。従って輝度断面（ｂ）も起伏が激しい。

液体が充填された透明容器では、図4、図５のようにボトルの形状や液体の種類により画像の状態が様々に変化する。その容器に不透明な異物が混入して底部に沈降すると、図4や図５の画像に異物が黒点となって現れる。この異物を検出するのは容器内部の画像の輝度が様々な要因で変化するため、一般に容易ではない。

まず従来の異物検出方法を、沈降異物のある容器底部の画像を模式化した図６、図７、図８と、異物を検出する画像処理手順の従来例の図１１を用いて、具体的に説明する。

図4のように液体が懸濁液であり、比較的容器内部の輝度差が小さい場合の模式図が図６である。図６（ａ）は容器の原画像（図１１、Ｓ１）であり、この図から異物を抽出する最も一般的な手法は二値化処理である。容器内の輝度は液体部分が相対的に高く、異物部分が相対的に低くなるため、輝度しきい値を適切に設定すれば、二値化画像の白色部分が液体、黒色部分が異物として分離することができる。（ｂ）に輝度断面と二値化しきい値６を、（ｃ）に二値化した画像を示す（図１１、Ｓ３）。

異物は容器の外寄りと内寄りの２箇所に存在するが、照射した光は容器の外部から中央に向かうにつれ散乱され、次第に減衰するため、容器の中央付近は外周部分より輝度がやや低くなる。従って異物の輝度値も同様に、外寄りに位置するとやや高めに、内寄りだとやや低めになり、容器内の周辺付近と中央付近とで輝度値が変わってくる。しかし図６では輝度差が比較的小さいため、しきい値６を（ｂ）のように設定すれば、輝度差があっても（ｃ）のように異物を２つとも検出することができる（前記１１、Ｓ４）。

しかし容器の中心付近の輝度低下が大きくなり、図７のようになると、しきい値を如何に設定しても異物を２つとも正しく抽出することが不可能になる。

図７（ｂ）のようにしきい値６を高めに設定して二値化すると、（ｃ）のような二値画像になる。外寄りの異物は正しく検出されるが、中央付近は液体の輝度が低く、しきい値を下回った部分全体が黒色部分となり、液体の暗部を誤って異物と誤判定する結果になる。

一方、図７（ｄ）のようにしきい値６を低めに設定して二値化すると、（ｅ）のような二値画像になる。中央付近の異物は正しく検出されるが、容器外周部分は液体の輝度が高く、しきい値６を上回るため、異物を含めてその部分は白色となり、外周部分の異物は検出されず、見逃す結果となる。

従って、図７のように容器の外周付近と中央付近の輝度差が大きく、その外周部分と中央部分のそれぞれに異物がある場合、一定レベルのしきい値では値を如何に設定しても、正しく異物を検出することが出来なくなる。このように容器全体を一定のしきい値で二値化して異物を検出する方法は、容器内部の輝度変化が大きくなってくると、液体の暗い部分を誤って検出したり、あるいは有るはずの異物を見逃したりするようになり、正しく検出できなくなることがあった。

そこで、容器内部の輝度が一様でなくとも異物を正しく検出する方法を検討した。つまり、輝度差のある容器の原画像から直接異物を検出せずに、まず原画像から照明などの影響による輝度変動成分を雑音とみなして除去し、その雑音が除去された画像を基準画像として用いて異物を検出する方法が有効であるとの知見を得た。この方法の原理を図８に示す。

図８の（ａ）は図７と同様の、異物を含む容器の原画像である。ここで（ａ）に対し、容器と内容液は同一で異物を含まない基準画像（ｃ）を用意する。この両画像は液体の輝度が周辺から中央に向かって徐々に暗くなっていく変化傾向が同一であり、それは輝度断面（ｂ）と（ｄ）を見てもわかる。

次に原画像（ａ）と異物なし基準画像（ｃ）から輝度差分画像を求める。具体的には２つの画像の同一画像座標にある画素の輝度値の差を求め、その輝度値をもつ画素から構成される第三の画像を生成する。この差分演算により容器内部に向かって輝度が低下する同一の変化傾向は相殺され、異物の存在による輝度変化のみが残る結果となる。画像（ａ）の輝度値から基準画像（ｃ）の輝度値を引くと（ａ）、（ｃ）二つの輝度値が等しい部分は輝度が０（ゼロ）になり、異物部分の輝度値は負（マイナス）になる。

負の輝度は画像処理の都合上、好ましくないのでこの差分画像の各画素に適当な一定の輝度値を加算し、全ての画素の輝度がゼロ以上、正の値を持つように補正する。この処置をオフセット補正と呼ぶ。例えば画素の輝度値が１バイト数値である場合、その範囲は０から２５５までの２５６段階である。この場合、輝度の中央値である、１２７を前記差分画像の各画素の輝度に加算し、補正するのが一般的である。輝度差分にさらに一定の輝度値を加算して生成された画像の輝度断面が（ｅ）である。

（ｅ）をみると、輝度断面の大部分は平坦になっており、異物が存在する部分のみが谷となっている。平坦部分の輝度を１２７とすると、谷の部分の輝度は０から１２７の間になる。この輝度断面において、異物に相当する谷の部分を一定のしきい値を設けて検出するのは容易い事である。差分をとりオフセット加算した画像を前記しきい値で二値化した画像が（ｆ）である。異物部分のみが黒点として検出されるのが分かる。

以上が輝度変動の影響を受けにくい異物検出の基本的な方法であるが、この方法の成否は異物を含まない画像（ｃ）の取得方法にかかっている。画像（ｃ）を得る最も代表的な方法は、（ａ）と同じ検査対象である液体が充填された同じ容器の画像を前もって撮像・保存しておき、異物検査を行なう際、保存しておいた基準画像を呼び出し、検査する容器の画像との差分を取ることである。しかしながらこの方法が成功するには以下のような条件を満たす必要がる。

基準画像と検査する画像の差分をとるとき、（１）画像内の容器の位置が常に一致していること、（２）容器が回転せず、画像内の容器の向きが常に一致していること、（３）異物を除く容器内部の輝度分布が常に一致していること、が条件となる。

もしこの条件から外れた場合、容器の位置ずれや回転ずれによりはみ出した部分が差分画像にそのまま現れるため、残存部分が異物誤検出の原因になる。また、容器の位置と向きが厳密に一致しても、内部の輝度分布が変化すると、その差が差分画像に表れ、やはり誤検出の原因になる。

したがってこの差分画像を利用する方法は、上記条件（１）〜（３）を満たさない場合、かえって誤検出が多発し、逆効果になるおそれがある。しかしながら、異物検査は通常、生産ラインにおいて連続実施するので、検査する容器の位置や向きにはどうしても多少のばらつきがあり、これを皆無にすることはまず不可能である。また、容器のハンドリング方法によっては容器が傾いたり、検査前後の容器が画像内に映ってしまうこともあり、これらの現象が容器内の輝度分布を変動させることもある。

条件（１）、（２）の位置ずれ・回転ずれについては、画像処理の手法を用いて解決する方法が考えられる。つまり画像計測やパターンマッチングなどを用いて容器の位置と傾きを求め、基準画像の容器の位置と向きに一致するように画像内で容器を移動・回転させてから差分画像を得る方法であり、一部で実施されている。

しかしながら容器の画像の状態によっては、画像計測やパターンマッチで求めた位置・傾きに誤差を生じ、結局位置ずれ・回転ずれが残ることがある。またずれが解消したとしても、もともとずれた位置で撮像された容器は照明の当たり方が本来の状態と異なっているため、通常、容器内部の輝度分布が変化してしまい、条件（３）から外れてしまう。

また、処理時間が延びるという別の問題もある。異物検出の前に画像計測やパターンマッチ、画像の移動など、処理が増えるため、当然処理時間が長くなる。したがって検査条件によっては要求される検査時間を超過してしまい、実際には使えない場合もでてくる。さらに画像計測やパターンマッチを使うには、計測のための各種パラメータの調整や、パターンマッチのテンプレート画像の作成・登録などの準備作業が必要になり、管理・保守上の問題も発生する。

以上、図８の差分画像による異物検出方法には、原理的には検出能力が向上するという長所が有りつつも、実用化するには解決し難い問題も多い。

そこで図８の差分法の長所を活かしつつ、前記の問題を克服する方法を実施例として、その原理を図９に示し、以下図１の画像処理方法のフローチャートと共に説明する。

本実施例は、基準とする異物なし容器の基準画像（ｃ）を、これから検査する実際の容器の画像（ａ）から画像処理により擬似的に生成して使用する点が最大の特徴である。この基準画像（ｃ）を検査対象の容器が個々に替わる度に毎回生成する。原画像の輝度断面（ｂ）から異物に相当する輝度の小さな谷８を除くと、異物のない輝度断面図８（ｄ）に近くなると考えられる。そこで画像処理の手法を用いて異物の谷８を除去し、図８（ｄ）に近い画像を得るものである。

具体的な手法には、（４）平均化・ミディアン・ガウスなどの画像フィルタによる平滑化、（５）画素近傍の最大値フィルタと最小値フィルタの２段階処理による黒点部分の収縮・膨張処理、（６）画像の縮小・拡大による２段階処理などを用いる。いずれにしても、検査対象の容器そのものの原画像から急激な変化を雑音（ノイズ）として削除する雑音処理により、擬似的な基準画像を生成するものである。

図９には手法（４）により生成された擬似的な基準画像（ｃ）とその輝度断面（ｄ）を図示している。先ず、図１のＳ１で検査対象の容器を撮像して図９（ａ）の原画像を得、次いでＳ２で検査領域を容器内部に限定し、Ｓ３でフィルタ処理により現画像から擬似的な基準画像を図９（ｃ）のように生成する。平滑化フィルタを使うと輝度断面（ｂ）において局所的に輝度が大きく（急激に）変化する谷８のような部分はかなり平滑化されて小さくなる（雑音処理）。一方、容器中心に向かっての緩やかな輝度低下部分９はほぼそのまま残る。その結果、理想的な輝度断面の図８（ｄ）に近い輝度断面を、異物を含む原画像（ａ）から画像処理により得ることが出来る。

その後、図１のＳ４で図９（ｃ）の基準画像としての背景画像と、図９（ａ）の原画像から輝度差分画像を生成し、次いでＳ５で輝度しきい値により前記差分画像から図９（ｆ）の二値画像を得る。上記二値化に際しては、図８と同様に一定の輝度値を加えた後、適当なしきい値で二値化する。輝度断面（ｅ）は理想的な図８（ｅ）の輝度断面に比べると、谷の部分がやや浅く、また輝度の平坦部の一部に若干うねりが残るが、二値化して異物を検出するのにとくに支障はない。最終的に異物のみが検出された二値画像（ｆ）を得ることができる。

二値画像（ｆ）を得た後は、図１のＳ６でこの二値画像から黒点連結部分を抽出し、次のＳ７で抽出部の個数・面積・大きさなどを算出して、異物の状況を確認する。

擬似的な基準画像の図９（ｃ）を得る画像処理手法（５）では、最大値フィルタに元の画像の明るい部分が膨張し、暗い部分が収縮する効果がある。逆に、最小値フィルタには元の画像の明るい部分が収縮し、暗い部分が膨張する効果がある。したがって最大値フィルタ、最小値フィルタの順に画像を処理すると、元の画像からあるサイズ以下の暗い部分のみを消し、他の部分をそのまま残すことができる。したがって手法（５）を用いて原画像から異物部分を消去することもできる。

手法（６）は画像全体を縮小し、その後拡大して元の大きさに戻す方法である。まず異物のような小さな黒点が、１画素未満になるまで縮小すれば異物部分は消滅する（雑音処理）。次に画像を拡大して元の大きさに戻せば異物を含まない画像を得ることが出来る。

擬似的な基準画像（ｃ）を生成するとき、手法（４）、（５）、（６）を単独で用いても良いし、組み合わせて用いても良い。また、手法（４）の平滑化、手法（５）の収縮・膨張を実行する画像処理の方法は、ここに挙げたもの以外にも様々な種類があり、それらを除外するものではない。

画像差分の計算方法は、図９では原画像から基準画像を引いているが、この逆でも良い。逆にすると、異物部分は明るくなるため、しきい値を上げて、明るい部分を二値化で検出すれば良い。

本実施例によれば、基準画像を予め用意する図８の方法では解決が難しかった、差分処理成功のための条件（１）、（２）、（３）のいずれも原理的に解決できる。常に検査対象物の原画像から基準画像を生成するため、この二つの画像の間に位置ずれや回転ずれは原理的に発生しないためである。また、フィルタ処理により若干の相違はあるものの、異物部分以外の輝度分布状態も基本的には等しくなる。したがって、本方式であれば、二つの画像のずれによる誤検出は原理的に起こらないといえる。

図９は、図4のような内溶液が濁っている容器の画像を想定した例である。そこで図５のような内溶液が透明で、光の屈折による輝度変化が大きい場合の異物検査について、図１０を用い説明する。

図１０（ａ）は図５の模式図である。容器外周の窪みの影響による暗部の６箇所が、円周方向に取巻くように存在する。また、容器中央部分には放射状に設けられたリブが暗い影となって見える。この画像は図９に比べ、暗部が多く、また変化も複雑なため、異物検出が一層難しい。

図１０（ａ）に対し、平滑化フィルタを施すと画像（ｃ）が得られる。図９の場合と同様、平滑化により、異物部分はほぼ消えるが、中央のリブも一部の微細な部分が消える（雑音処理）。一方、外周６箇所の暗部はほぼそのまま残る。原画像の（ａ）と得られた擬似的な基準画像（ｃ）との差分をとると、外周６箇所の大きな暗部はほぼ消滅し、異物部分は残るが、リブの一部分も消しきれずに多少残ることがある。その差分画像を二値化すると、（ｆ）のような画像になる。異物に相当する黒点の他に、リブが黒点１０となって断片的に残る。

つまり画像差分を用いても異物以外の輝度変化成分が残ってしまうことがある。この場合、二値画像（ｆ）の黒点部分を画素面積などを手掛りに異物とそれ以外に選別するか、あるいはリブが存在する中央部分に円形のマスクをかけそっくり除外する（マスク処理）。図１０（ｇ）では円形マスクを使い、（ｆ）からリブの断片を除き、最終的に異物を検出した場合を示している。

もちろん、原画像（ａ）に対しマスクをかけ、リブをはじめに除外してしまい、それから擬似的な基準画像を生成し、画像差分を求めても良い。

このように、画像の差分処理を用いても異物とその他の輝度変化成分を完全に分離できない場合もある。しかしながら、図５・図１０のように輝度が激しく変化する画像に対し、そのまま二値化する従来の方法では容器内部の暗部も抽出され、異物の正確な検出はほとんど不可能であるから、完全に分離できなくとも差分処理により異物の検出が相当容易になることは間違いない。

完全に分離しきれない場合、図１０のように選別やマスク処理などを補助的に使うことにより、最終的に異物のみを検出すればよい。

液体が充填された光透過性容器の本発明実施例の異物検出のフローチャートである。 容器側面からの異物検査での撮像カメラと照明の位置関係説明図である。 容器底面からの異物検査での撮像カメラと照明の位置関係説明図である。 図３の状態で撮影された容器の底面の画像の説明図である。 図３の状態で撮影された他の容器の底面の画像の説明図である。 液体入り容器の底面画像から、二値化処理する説明図である。 液体入りの他の容器の底面画像から、二値化処理する説明図である。 差分法による異物検出の一般的方法を模式的に示した図である。 本発明の実施例１の差分法による異物検出方法を模式的に示した図である。 本発明の実施例２の差分法による異物検出方法を模式的に示した図である。 液体が充填された光透過性容器の異物検出のフローチャートである。

符号の説明

１…容器、２…カメラ、３ａ、３ｂ、３ｃ、３ｄ、３ｅ…照明、４…容器とカメラを通る直線、５…画像の輝度断面を得る切断線、６…二値化しきい値、７…容器、８…異物部分、９…容器内部の輝度が比較的低い部分、１０…異物を二値化した画像、１１…容器内部の輝度が比較的低い部分を二値化した画像、１２…ペットボトル底部のリブ、１３…円形マスク、１４…リブの断片の二値化画像。

Claims (5)

1. 液体が充填された透明容器を撮像し、得られた画像から混入した不透明異物を検査する方法において、
   検査対象の容器の原画像を撮像し、この原画像に対し雑音処理を施すことにより基準画像を生成し、この基準画像と前記原画像の輝度差分画像を生成し、この輝度差分画像から異物を抽出することを特徴とする異物検査方法。
2. 前記雑音処理は、原画像に対し平滑化処理を施すことを特徴とする請求項１に記載の異物検査方法。
3. 前記雑音処理は、原画像に対し暗部の収縮および膨張処理を用いることを特徴とする請求項１に記載の異物検査方法。
4. 前記雑音処理は、原画像に対し画像サイズの縮小および拡大処理を用いることを特徴とする請求項１に記載の異物検査方法。
5. 液体が充填された透明容器を撮像し、得られた画像から混入した不透明異物を検査する装置において、
   検査対象の容器の原画像を撮像し、この原画像に対し雑音処理を施すことにより基準画像を生成し、この基準画像と前記原画像の輝度差分画像を生成し、この輝度差分画像から異物を抽出することを特徴とする異物検査装置。

Images