JP2006234515A

JP2006234515A - 容器内の異物検査方法およびその装置

Info

Publication number: JP2006234515A
Application number: JP2005048005A
Authority: JP
Inventors: Tsuyoshi Yamane; 剛志山根
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2006-09-07
Anticipated expiration: 2025-02-23
Also published as: JP4529728B2

Abstract

【課題】複数枚の画像を用いることなく容器内の気泡と異物とを精度よく識別する。
【解決手段】液体を充填した容器に光源からの光を透過させＴＶカメラで撮像する（Ｓ１）。画像処理装置は、ＴＶカメラに撮像した濃淡画像内に検査領域を設定し（Ｓ２）、検査領域内で気泡の候補となる気泡候補領域を抽出する（Ｓ３〜Ｓ６）。気泡候補領域の中の画素に対して気泡候補領域の外周縁からの距離に応じたラベルを付け、同じラベルを付けた領域を単位として気泡候補領域の中央寄りの内側領域と外周寄りの外側領域とを設定する（Ｓ７〜Ｓ９）。内側領域の明度の平均値が外側領域の明度の平均値よりも高く、かつ内側領域の明度と外側領域の明度との分離度が規定の閾値以上であるときに当該気泡候補領域を気泡と判定する（Ｓ１０）。
【選択図】図１

Description

本発明は、液状の食品や薬品を充填したびん、アンプル、パックのように、液体を入れた透光性材料からなる容器に対して、画像処理技術を用いて液中の気泡と異物とを識別する容器内の異物検査方法およびその装置に関するものである。

一般に、食品や薬品のびん、アンプル、パックように、液体を入れた透光性材料からなる容器では、容器を密封した後に塵埃や虫のような異物が混入していないことを確認する必要がある。また、気泡は異物ではないから、気泡と異物とを識別することが要求される。この種の検査を行うために、容器をＴＶカメラのような撮像手段により撮像し、撮像手段により得られた画像に対してコンピュータによる画像処理技術を適用する技術が種々提案されている。

この種の技術としては、容器に外力を作用させて液体に流動を誘発し、異なる時刻に撮像した画像の各画素の明度の差を画素値に持つ差分画像を微分した微分画像の特徴量を用いて気泡の存在領域の候補である気泡候補領域を抽出するとともに、異なる時刻で求めた差分画像について気泡候補領域の変位を確認することにより、気泡と異物とを識別することが考えられている（たとえば、特許文献１参照）。また、特許文献１には、透過照明によって得られた画像では、気泡の周辺部分の明度が中心部分の明度よりも低くなるという特徴を利用し、差分画像を微分した微分画像において浮遊物に相当する領域に外接する外接矩形を設定するとともに、外接矩形に内接する楕円内に内側領域と外側領域との２領域を設定し、内側領域の明度の平均値が外側領域の明度の平均値に対して所定の設定値よりも高い（明るい）場合に気泡候補とする技術も記載されている。
特開２００４−３５４１００号公報

上述した特許文献１に記載の技術では、気泡候補領域を設定した後に気泡か否かの判定を行うから２段階の判定により気泡と異物との分離精度が高くなると言える。しかしながら、気泡か否かを判定するために気泡が上昇する性質を利用しているから、異なる時刻に撮像した複数枚の画像が必要であって、検査に時間を要するという問題がある。

本発明は上記事由に鑑みて為されたものであり、その目的は、複数枚の画像を用いることなく気泡と異物とを精度よく識別することを可能とした容器内の異物検査方法およびその装置を提供することにある。

請求項１の発明は、液体の入った透光性材料からなる容器を光源により照明するとともに容器を透過した光を撮像手段で撮像し、撮像手段で得られた濃淡画像に画像処理を施して評価することにより容器内の液中における気泡と異物とを識別する異物検査方法であって、濃淡画像において明度に変化を生じている領域を気泡の存在する領域の候補である気泡候補領域として抽出する候補領域抽出過程と、気泡候補領域の外周縁との距離を条件に用いて気泡候補領域内に内側領域と外側領域との２領域を設定する評価領域設定過程と、内側領域の明度の平均値が外側領域の明度の平均値よりも高く、かつ内側領域の明度と外側領域の明度との分離度が規定の閾値以上であるときに当該気泡候補領域を気泡と判定する判定過程とを有することを特徴とする。

この方法によれば、気泡の存在領域の候補である気泡候補領域を抽出した後、気泡候補領域について気泡か否かの判断を行うから、気泡か否かを２段階で判断することにより気泡と異物との誤判断を防止することができる。また、気泡候補領域について、内側領域と外側領域とを設定し明度の平均値の差を用いて気泡か否かを判断するだけではなく、内側領域と外側領域との明度の分離度を評価するから、気泡と異物とを精度よく識別することができる。すなわち、気泡が上昇することを利用して気泡と異物とを識別するのではなく、気泡に関する明度変化の特徴を捉えて気泡と異物とを識別するから、複数枚の画像を用いる必要がなく、気泡を短時間で精度よく判別することができる。

請求項２の発明では、請求項１の発明において、前記評価領域設定過程で前記内側領域と前記外側領域とは境界が接するように設定され、前記判定過程で気泡と判定できないときには、前記評価領域設定過程における条件の距離を変更することにより外側領域を広げ内側領域を狭めて判定過程を再度実行し、評価領域設定過程で次の外側領域を設定できなくなるか判定過程で気泡と判定できるようになるまで評価領域設定過程と判定過程とを繰り返すことを特徴とする。

この方法によれば、気泡候補領域を設定する際の条件の違いによる判定結果のばらつきを抑制し、気泡を異物と判定する可能性を低減することができる。

請求項３の発明では、請求項１の発明において、前記評価領域設定過程で前記内側領域と前記外側領域とは互いの間に隙間を持つように設定されることを特徴とする。

この方法によれば、内側領域と外側領域との間に隙間を形成しているから、気泡の識別に用いる画素数が少なくなり、短時間での処理が可能になる。また、内側領域と外側領域との中間の明度の画素を含まないことによって分離度の評価が容易になる。つまり、内側領域と外側領域との明度に差があれば、中間の明度の画素を含む場合よりも分離度が大きくなり、気泡の識別が容易になる。

請求項４の発明では、請求項３の発明において、前記判定過程で気泡と判定できないときには、前記評価領域設定過程における条件の距離を変更することにより前記外側領域を広げて判定過程を再度実行し、評価領域設定過程で次の内側領域を設定できなくなるか判定過程で気泡と判定できるようになるまで評価領域設定過程と判定過程とを繰り返すことを特徴とする。

請求項５の発明では、請求項１ないし請求項４の発明において、前記判定過程では、前記内側領域の明度の平均値を求めた後、前記外側領域の明度の平均値との大小の判定に代えて、外側領域において内側領域の明度の平均値よりも明度の低い画素からなる規定の画素数以上の連結領域の存否を判定し、当該連結領域が存在するときに分離度を閾値と比較することを特徴とする。

この方法によれば、内側領域に関しては明度の平均値を求めた後に、外側領域については明度の平均値を求める必要がないから、外側領域の全画素の情報を用いることなく異物を除去することができる場合があり、結果的に処理速度の向上につながる。

請求項６の発明では、請求項１ないし請求項５の発明において、前記候補領域抽出過程では、背景との明度値の差を用いて求めた前候補領域の外周縁を楕円で近似し、当該楕円内を前記気泡候補領域とすることを特徴とする。

この方法によれば、撮像時の環境条件などによって濃淡画像から抽出される前候補領域の形状にばらつきがあっても、気泡候補領域として楕円の領域を用いることにより、内側領域と外側領域とを一定条件で設定することができ、判定結果のばらつきを抑制することができる。

請求項７の発明は、容器内の異物検査装置であって、液体の入った透光性材料からなる容器に光を照射する光源と、光源から容器に照射され容器を透過した光を撮像する撮像手段と、撮像手段で得られた濃淡画像に画像処理を施して評価することにより容器内の液中における気泡と異物とを識別する画像処理装置とを備え、画像処理装置は、濃淡画像において明度に変化を生じている領域を気泡の存在する領域の候補である気泡候補領域として抽出する候補領域抽出手段と、気泡候補領域の外周縁との距離を条件に用いて気泡候補領域内に内側領域と外側領域との２領域を設定する評価領域設定手段と、内側領域の明度の平均値が外側領域の明度の平均値よりも高く、かつ内側領域の明度と外側領域の明度との分離度が規定の閾値以上であるときに当該気泡候補領域を気泡と判定する判定手段とを有することを特徴とする。

この構成によれば、気泡の存在領域の候補である気泡候補領域を抽出し候補領域抽出手段と、気泡候補領域について気泡か否かの判断を行う判断手段とを備えているから、気泡か否かを２段階で判断することになり、気泡と異物との誤認識を防止することができる。しかも、気泡候補領域について、内側領域と外側領域とを設定して両者の明度の平均値の差を用いて気泡か否かを判断するだけではなく、内側領域と外側領域との明度の分離度を評価するから、気泡と異物とを精度よく識別することができ、気泡が上昇することを利用して気泡と異物とを識別するのではなく、気泡に関する明度変化の特徴を捉えて気泡と異物とを識別するから、複数枚の画像を用いる必要がなく、気泡と異物とを識別する処理が簡単になり短時間で精度のよい判別が可能になる。

本発明によれば、気泡の存在領域の候補である気泡候補領域を抽出する過程と、気泡候補領域について気泡か否かの判断を行う過程との２段階の過程を有しているから、気泡と異物との誤判断を防止することができるという利点がある。また、気泡候補領域に、内側領域と外側領域とを設定し両者の明度の平均値の差を用いて気泡か否かを判断するだけでなく、内側領域と外側領域との明度の分離度を評価するから、複数枚の画像を用いる必要がなく気泡と異物とを短時間で精度よく識別することができるという利点を有する。

（実施形態１）
本実施形態では、図２に示すように、検査対象である容器Ｘの側面を撮像手段としてのＴＶカメラ２により撮像し、ＴＶカメラ２から出力された濃淡情報を含む映像信号を用いて容器Ｘに充填された液体の中の異物の有無を判定する。容器Ｘを挟んでＴＶカメラ２の反対側には光源３が配置される。光源３は透過照明用であって、光源３から出射された容器Ｘを透過した光がＴＶカメラ２により撮像される。

ＴＶカメラ２の出力は適宜のプログラムを実行するコンピュータにより構成された画像処理装置１に入力される。画像処理装置１はＴＶカメラ２から得た映像信号を用いて後述する画像処理を行うことにより容器１に充填された液体中の気泡と異物とを識別する。また、画像処理装置１にはモニタ４や機器制御用のプログラマブルコントローラのような外部機器５も接続可能になっている。

画像処理装置１は、図３に示すように、ＴＶカメラ２から出力された映像信号にアナログ−デジタル変換を行うＡ／Ｄ変換器１１を備える。Ａ／Ｄ変換器１１の出力は濃淡画像であってビデオＲＡＭ（ＶＲＡＭ）１２に一旦格納される。ＶＲＡＭ１２に濃淡画像を格納することにより、ＶＲＡＭ１２に格納された濃淡画像をＤ／Ａ変換器１４を通してモニタ４に出力することが可能になる。画像処理装置１には、作業領域となる画像メモリ領域１４ａと、画像処理に用いるプログラムを格納しておくプログラムメモリ領域１４ｂとを設けたメモリ１４を備え、濃淡画像はＶＲＡＭ１２から画像メモリ領域１４ａにも渡される。プログラムメモリ領域１４ｂには、ファームウェアとしてあらかじめＦＲＯＭ１５に用意されている画像処理用のプログラムモジュールのうち必要なものが書き込まれる。ＦＲＯＭ１５からプログラムメモリ領域１４ｂに書き込むプログラムモジュールは、画像処理装置１に設けた図示しない操作部あるいは画像処理装置１に接続されるプログラム支援装置により指定される。

プログラムメモリ領域１４ｂに書き込まれたプログラムは演算処理部１０で実行され、処理結果は必要に応じてインターフェース１６を介して外部機器５に与えられる。演算処理部１０はプログラムを実行することにより、画像メモリ領域１４ａに格納された濃淡画像に画像処理を施し容器Ｘ内の液中における気泡と異物とを識別する。すなわち、演算処理部１０は、プログラムの実行により、以下の各手段を実現する。

通常、ＴＶカメラ２により撮像された画像は、図４に示すように、容器Ｘの背景の画像を含むものであるから、まず検査領域設定手段１０ａにより、容器Ｘの内側のみを検査対象とするように検査領域Ｄ１を設定する。本実施形態では、検査領域設定手段１０ａにおいて、ハフ変換を用いて容器Ｘの外周面と背景との境界線を抽出し、容器Ｘの内側となる範囲のみを検査領域Ｄ１として自動的に設定する。検査領域Ｄ１を設定する技術はハフ変換に限らず、微分画像から容器１のエッジを求めて矩形状の検査領域Ｄ１を設定する技術などを用いることもできる。

検査領域設定手段１０ａで検査領域Ｄ１が設定されると、候補領域抽出手段１０ｂでは検査領域Ｄ１の画素について気泡の候補となる領域の存否を評価し、気泡の存在領域の候補があれば気泡候補領域Ｄ２（図５参照）を抽出する。気泡候補領域Ｄ２を抽出するには、まず、気泡に含まれると考えられる画素を濃淡画像から取り出す。

気泡に含まれると考えられる画素を取り出す技術としては、本実施形態では、微分画像を生成して微分値が極大値をとるエッジを抽出するエッジ抽出処理、あらかじめ気泡を含まない画像をテンプレートとしておき撮像した画像とテンプレートとの差分を求める背景差分処理がある。

上述した技術により抽出した各画素にはラベリングを施し、ラベリングを施した領域の距離を評価して１つの領域とみなせる範囲の各領域を連結する。たとえば１つの領域について規定した画素分の膨張処理を行い、膨張処理によって他の領域と連結されたときには連結された２つの領域を１つの領域として統合する。このようにして連結され統合された領域を気泡候補領域Ｄ２とする。ただし、あらかじめ定めた個数以上の画素を含む領域のみを気泡の存在する領域の候補である気泡候補領域Ｄ２として用いる。これは、微小な領域はＴＶカメラ２で得た画像からでは気泡か異物かを識別することができないからであって、このような微小領域は測定限界以下として扱う。

このようにして得られた気泡候補領域Ｄ２は濃淡画像に重ね合わされ、濃淡画像のマスキングに用いられる。ここで、マスキングとは気泡候補領域Ｄ２に重なる範囲の画素のみが気泡と異物との識別の対象になることを意味する。複数個の気泡候補領域Ｄ２が得られているときには画素数の多いほうから順に気泡か否かの判別を行う。

気泡候補領域Ｄ２が気泡か否かの判断を行うために、まず気泡候補領域Ｄ２の中の画素について、気泡候補領域Ｄ２の外側の画素からの距離（画素数）に応じたラベル付けを行う（図５）。図示例では気泡候補領域Ｄ２の外側の画素はラベルを０とし、最小距離の画素のラベルを１として、他の画素は距離に応じた自然数でラベルを付けている。ただし、距離は各画素について縦横斜めの８方向について求め、そのうち最小の距離を用いる。したがって、距離が最小になっている方向において隣接する画素のラベルは数値が順に並ぶことになる。このように、気泡候補領域Ｄ２に含まれる画素について外周縁からの距離に応じたラベルを付ける処理を距離変換処理と呼ぶ。

マスキングおよび距離変換処理は評価領域設定手段１０ｃにより実行される。また、評価領域設定手段１０ｃは距離変換処理により得られた距離を条件に用いて、図６のように、気泡候補領域Ｄ２の中に中央部に近い内側領域Ｄａと周辺部に近い外側領域Ｄｂとの２領域を設定する。具体的には同じラベルが付与されている領域を単位として内側領域Ｄａと外側領域Ｄｂとを設定する。図６の例ではラベルが１である領域を外側領域Ｄｂとし、ラベルが２〜６の領域を内側領域Ｄａとしている。ただし、内側領域Ｄａと外側領域Ｄｂとの境界をどこに設けるかは適宜に設定することが可能である。

評価領域設定手段１０ｃにより内側領域Ｄａと外側領域Ｄｂとが設定された後には、判定手段１０ｄにおいて、内側領域Ｄａと外側領域Ｄｂとの各画素の明度を用いて気泡か異物かを判定する。本実施形態では透過照明を行っているから、気泡であればＴＶカメラに入射する光量は、周辺部分のほうが中央部分よりも少なくなる。一例として図７（ａ）に気泡に対応する濃淡画像の例、図８（ａ）と図９（ａ）とにはそれぞれ異なる種類の異物に対応する濃淡画像の例を示す。また、図７（ｂ）、図８（ｂ）、図９（ｂ）には、それぞれ図７（ａ）、図８（ａ）、図９（ａ）の濃淡画像に対応する明度のヒストグラムを示す。ヒストグラムから明らかなように、気泡の場合には、複数のピークが発生しかつ両ピーク間の明暗差が比較的大きいことがわかり、異物の場合には、ピークが１つしか生じない（または、複数のピークが生じても明暗差が小さい）ことがわかる。図９（ｂ）の例では複数のピークが生じかつ明暗差も大きいが、図９（ａ）から明らかなように中央部分よりも周辺部分のほうが明度が高くなっており、気泡の場合とは明暗の関係が逆転する。

すなわち、気泡か異物かを区別するには、中央部分と周辺部分との明暗の大小関係と、ヒストグラムにおけるピークの明暗差とを評価すればよいと言える。そこで、上述したように、気泡候補領域Ｄ２の中に内側領域Ｄａと外側領域Ｄｂとを設定しているのである。判定手段１０ｄでは、中央部分と周辺部分との明暗の大小関係を比較するために、内側領域Ｄａと外側領域Ｄｂとにそれぞれ含まれる画素の明度の平均値を求め、これらの平均値の大小を比較する。気泡が満たすべき条件は、内側領域Ｄａから求めた平均値が外側領域Ｄｂから求めた平均値よりも大きい（明るい）ことである。

また、判定手段１０ｄでは、ヒストグラムにおけるピークの明暗差を評価するために、以下に説明する分離度ηを評価値として用いる。分離度ηは、級間分散σ_ｂ ^２を全体の分散σ_Ｔ ^２で正規化した値であって数１で定義される。

ただし、Ｎ：気泡候補領域Ｄ２の全画素数、ｎ_１：内側領域Ｄａの画素素、ｎ_２：外側領域Ｄｂの画素数、Ｐ_ｉ：画素ｉの明度であり、またオーバーライン付きのＰ_１，Ｐ_２，Ｐ_ｍは、内側領域Ｄａの全画素の明度の平均値、外側領域Ｄｂの全画素の明度の平均値、気泡候補領域Ｄ２の全画素の明度の平均値である。分離度ηは０〜１の間の値をとり、ヒストグラムにおいてピークが完全に独立しているときには値は１になる。そこで、分離度ηに対する閾値を規定しておき、分離度ηがこの閾値以上になるときにはヒストグラムにおいてピークの明暗差が十分に大きくなるようにしておく。つまり、気泡が満たすべき条件は、分離度ηが閾値以上になることである。

まとめると、判定手段１０ｄでは、気泡候補領域Ｄ２について、内側領域Ｄａから求めた平均値が外側領域Ｄｂから求めた平均値よりも大きく、かつ分離度ηが閾値以上になるという条件を満たすとき、当該気泡候補領域Ｄ２を気泡と判断するのである。

以上説明した本実施形態の処理をまとめると図１に示すフローチャートのようになる。すなわち、画像メモリ領域１４ａに濃淡画像が入力されると（Ｓ１）、検査領域設置手段１０ａにより検査領域Ｄ１を設定する（Ｓ２）。次に、候補漏域抽出手段１０ｂにおいて、気泡に含まれると考えられる画素を抽出した後（Ｓ３）、抽出した画素にラベリングを施し（Ｓ４）、画素の連結を行って気泡候補領域Ｄ２を抽出する（Ｓ５）。また、気泡候補領域Ｄ２について画素数を評価し、画素数が定めた個数（閾値）以下であると判定の対象外とし、画素数が閾値より大きい場合のみ判定対象の気泡候補領域Ｄ２とする（Ｓ６）。ステップＳ３〜Ｓ６が候補領域抽出過程になる。

気泡候補領域Ｄ２が抽出されると、評価領域設定手段１０ｃでは気泡候補領域Ｄ２のマスキング（Ｓ７）および距離変換処理を行い（Ｓ８）、さらに気泡候補領域Ｄ２の中に内側領域Ｄａと外側領域Ｄｂとを設定する（Ｓ９）。ステップＳ７〜Ｓ９は評価領域設定過程になる。

内側領域Ｄａと外側領域Ｄｂとの設定後に、判定手段１０ｄでの判定過程が実行され、内側領域Ｄａの明度の平均値が外側領域Ｄｂの明度の平均値よりも高く、かつ内側領域Ｄａの明度と外側領域Ｄｂの明度との分離度ηが閾値以上であるときに、その気泡候補領域Ｄ２を気泡と判定する（Ｓ１０）。また、２条件のうちの一方でも満たされないときには異物と判定する。

以上説明したように、内側領域Ｄａと外側領域Ｄｂとの平均明度の大小だけではなく、分離度ηを用いて気泡か異物かの判断を行うから、気泡の位置の時間変化の情報を用いなくとも気泡と異物とを識別することができ、しかも分離度ηの演算は簡単であるから、気泡と異物とを識別するための演算処理の負荷が少なく高速な処理が可能になる。また、本実施形態では、距離変換処理により気泡の形状を反映した形で内側領域Ｄａと外側領域Ｄｂとを設定しているから、気泡の形状を楕円などにより近似する場合よりも判断結果の精度が高くなる。

（実施形態２）
実施形態１では、ステップＳ１０において条件が満たされない場合には、ただちに異物と判断していたが、本実施形態はステップＳ１０において条件が満たされない場合に、内側領域Ｄａと外側領域Ｄｂとの範囲を変化させた後に、ステップＳ１０の条件判断を再び実行し、内側領域Ｄａと外側領域Ｄｂとの範囲を変化させることによってステップＳ１０で条件が満たされたときには気泡と判断するようにしたものである。つまり、図６のように外側領域Ｄｂをラベルが１の領域のみと設定したときにステップＳ１０で気泡と判断する条件が満たされなければ、図１０に示すように、外側領域Ｄｂをラベルが１、２の領域を外側領域Ｄｂとし、内側領域Ｄａをラベルが３〜６の領域に縮小する。内側領域Ｄａと外側領域Ｄｂとをこのように変更した後に、ステップＳ１０の条件判断を行うのである。

上述のようにステップＳ１０で気泡の条件が満たされなければ外側領域Ｄｂを内側に向かって拡大するとともに内側領域Ｄａを縮小し、ステップＳ１０における気泡の条件が満たされるか否かの判断を繰り返す。また、外側領域Ｄｂが最大になった状態（つまり、ラベルが６の領域のみが内側領域Ｄａになった状態）でもステップＳ１０で気泡の条件が満たされなければ異物と判断する。なお、外側領域Ｄｂをしだいに拡大するから、外側領域Ｄｂの最初の設定の際には設定可能な最小範囲とするのが望ましい。つまり、図示例で言えばラベルが１である領域のみを最初の外側領域Ｄｂとして設定する。他の構成および動作は実施形態１と同様である。

本実施形態では気泡候補領域Ｄ２を気泡と判断できる可能性を高めることになるから、気泡を異物と判断して不良品に分類する無駄を低減させることができる。また、気泡候補領域Ｄ２を設定する条件によって気泡候補領域Ｄ２の範囲にはばらつきを生じることがあるが、内側領域Ｄａと外側領域Ｄｂとの範囲を変化させて気泡か異物かを識別するから、気泡候補領域Ｄ２の設定のばらつきによらず気泡を精度よく識別することができる。その上、気泡については気泡候補領域Ｄ２を設定した後、さらに２重の条件で判断しているから、異物を気泡と誤認することもない。

（実施形態３）
上述した実施形態では、内側領域Ｄａと外側領域Ｄｂとの境界が一致する例を示したが、本実施形態は、図１１に示すように、内側領域Ｄａと外側領域Ｄｂとの間に隙間を設けている。図１１に示す例では、内側領域Ｄａをラベルが５、６の領域とし、外側領域Ｄｂをラベルが１の領域としている。

このように、内側領域Ｄａと外側領域Ｄｂとの間に間隙を設けると、気泡候補領域Ｄ２が気泡であるときには、明度の異なる領域を明確に分離することになり、分離度ηを大きくすることができる。しかも扱う画素数が少なくなるから、演算の負荷が小さく高速な処理が期待できる。他の構成および動作は実施形態１と同様である。

（実施形態４）
本実施形態は、実施形態３の技術に実施形態２と同様に、図１のステップＳ１０の判定過程において条件が満たされない場合にただちに異物と判定するのではなく、外側領域Ｄｂの大きさを変化させた後にステップＳ１０の判定を再度行うことで、気泡を異物と誤認する可能性を低減するものである。たとえば、内側領域Ｄａと外側領域Ｄｂとを図１１のように設定した状態では、ステップＳ１０の条件が満たされなかった場合には、図１２に示すように、外側領域Ｄｂを内側に拡張し（ラベルが１、２の領域を外側領域Ｄｂとし）、ステップＳ１０の判定を再度行うのである。このようにして、ステップＳ１０の条件が満たされるか、外側領域Ｄｂが内側領域Ｄａに接してもステップＳ１０の条件が満たされない場合に、異物と判断することになる。他の構成および動作は実施形態３と同様である。

（実施形態５）
上述した各実施形態では、気泡候補領域Ｄ２において外側領域Ｄｂが環状に連続し、かつ外側領域Ｄｂの明度が気泡候補領域Ｄ２の外周縁の周方向においてはほぼ等しいと想定しているが、ＴＶカメラ２と光源３と気泡との位置関係によっては、図１３に示すように、外側領域Ｄｂが環状に連続せず（実線で囲んだ領域を参照）、また気泡候補領域Ｄ２の外周縁の周方向において明度にむらを生じることも多い。ただし、このような場合でも、気泡であれば内側領域Ｄａの明度の平均値は外側領域Ｄｂの明度の平均値よりも高く（明るく）なる。

そこで、本実施形態では、判定手段１０ｄ（図１のステップＳ１０）において、まず内側領域Ｄａの明度の平均値を求める。その後、外側領域Ｄｂの明度の平均値を求めるのではなく、外側領域Ｄｂにおいて内側領域Ｄａの明度の平均値よりも明度の低い（暗い）画素を抽出し、それらの画素が連結領域（着目画素の８近傍の画素が同条件である画素を連結した領域）を形成し、かつ連結領域の画素数が規定数以上か否かを判断する。連結領域が存在し、連結領域の画素数が規定数以上であれば分離度ηを求め、気泡か否かを判定するのである。分離度ηは外側領域Ｄｂのうち内側領域Ｄａよりも明度の低い画素のみを用いれば、分離度ηが大きくなりやすく、気泡を異物とみなす誤認が低減する。

ここに、連結領域が存在しなければ異物とみなすことにより分離度ηの演算が不要になるから、無駄な演算を省くことができ、また、外側領域Ｄｂの平均値を求める演算が不要であって、規定数以上の画素を含む連結領域の存在が確認されると分離度ηの演算に移行するから、外側領域Ｄｂの全画素の情報を用いる場合に比較すると演算量が少なくなる。他の構成および動作は上述した各実施形態と同様である。

（実施形態６）
本実施形態は、候補領域抽出過程においてエッジを抽出し、当該エッジ上の画素を対象とするハフ変換を行うことにより気泡の輪郭を抽出して気泡候補領域Ｄ２を楕円で近似するものである。

たとえば、図１３に示したような外側領域Ｄｂの明度にむらがあるような濃淡画像では、候補領域抽出過程において画素にラベリングを行い画素を連結しても、得られる気泡候補領域Ｄ２の外周縁の形状が滑らかにはならない。したがって、このままの外周縁の形状を気泡候補領域Ｄ２の形状として反映させると、本来は明度が高く内側領域Ｄａとなるべき画素が外側領域Ｄｂに含まれることがあり、気泡と異物との判定が正常に行われない場合を生じる。

そこで、本実施形態では実施形態１において説明した技術で抽出した気泡候補領域Ｄ２を前候補領域とし、当該前候補領域を楕円で近似し、近似した楕円内を気泡候補領域Ｄ２として用いている。すなわち、候補領域抽出過程では、まず濃淡画像から実施形態１の技術により前候補領域を抽出する。次に、前候補領域内の画素について濃度変化が極大になる領域を抽出する。この種の処理方法は周知であるから詳述しないが、たとえばソーベルフィルタを用いる。濃度変化が極大になる領域を細線化して１画素幅とすることでエッジが抽出される。こうして求めたエッジは、一部が連続し一部が分断されていると考えられる。たとえば、図１３に示した濃淡画像からエッジを抽出すれば、上部と右下部とでエッジが分断されると考えられる。気泡の画像から得られるエッジであれば通常は楕円（円を含む）になると考えられるから、分断されたエッジを楕円の一部とみなし、エッジ上の画素を対象とするハフ変換を行い、近似できる楕円を抽出する。ハフ変換により楕円に近似する技術は、たとえば、渡辺孝志、柴田俊浩，“Ｈｏｕｇｈ変換と階層化画像を用いた欠損楕円の検出，”信学論Ｖｏｌ．Ｊ７３−Ｄ−ＩＩＮｏ．２ｐｐ．１５９−１６６，Ｆｅｂ．１９９０に記載されている技術を用いる。

上述のようにエッジを抽出しハフ変換を用いることで前候補領域の外周縁に近似する楕円を設定することができるから、この楕円内を気泡候補領域Ｄ２に用いる。こうして求めた気泡候補領域Ｄ２に対して内側領域Ｄａと外側領域Ｄｂとを設定すると、気泡候補領域Ｄ２の中央部における明度の高い領域を内側領域Ｄａとして設定することができるから、内側領域Ｄａと外側領域Ｄｂとを目的通りに設定することができ、判定過程における気泡と異物との分離精度が高くなる。なお、エッジに含まれる画素に対してハフ変換を行う代わりに、前候補領域の外周縁上の画素に対してハフ変換を行うようにしても同様の結果を得ることができる。

ところで、前候補領域の外周縁を楕円で近似する際に、前候補領域から楕円のパラメータとして長径と短径と傾き角度とを決めることが必要になる。通常、外力が作用していなければ気泡は上方に移動するから、楕円の長径の方向は画像内での垂直方向に一致する。そこで、画像の垂直方向に対する楕円の長径の方向の傾斜角度を傾き角度とし、ハフ変換で投票する際の初期値を０度とする。また、長径および短径は前候補領域に外接する矩形領域（画像の水平方向と垂直方向との辺を持つ矩形）を設定し、矩形領域の各辺の長さのうち長いほうを長径、短いほうを短径とする。このようにして前候補領域から求めたパラメータを初期値として楕円に近似する演算を行う。

なお、矩形領域を設定する代わりに前候補領域の慣性二次モーメントを求め、主軸の方向を長径の方向として主軸上で長径を求め、主軸に直交し長軸の中点を通る直線上で短径を求めるとともに、画像の垂直方向に対する主軸の角度を傾き角度に用いるようにしてもよい。他の構成および動作は上述した各実施形態と同様である。

（実施形態７）
実施形態６において示した文献に記載されている方法を用い、一部が連続し一部が分断されているエッジからハフ変換により近似する楕円を求める手順は次のようになる。

まず、エッジ上の各画素を参照点とするとともに、テンプレートとなる楕円の中心を複数個の参照点に位置させ、テンプレート上の各点を投票空間に投票する。投票空間で最大投票数を持つ画素と投票数とテンプレートのパラメータ（長径、短径、傾き角度）を登録する。パラメータを変化させて上述した処理を繰り返した後に最大の投票数が得られた画素の位置は、近似する楕円の中心に相当すると考えられ、またそのテンプレートのパラメータは近似する楕円のパラメータになる。

つまり、近似する楕円のパラメータとテンプレートとなる楕円のパラメータとが一致していると、近似する楕円の中心で投票数が最大になるという性質を利用し、テンプレートを用いて近似する楕円を求めることができる。ここで、エッジ上の２個の参照点にそれぞれテンプレートを設定し、２個ずつのテンプレートについて投票を行い、その結果を集計した結果を投票数とすることが考えられている。この手順を用いると、投票数の差分が大きくなりやすく投票数の差分を見つけやすくなる。とくに、２個のテンプレートの中心間の距離を大きくとれば、近似しようとする楕円よりもサイズの小さいテンプレートでは交点がほとんど得られず、一致しないテンプレートの多くを判断の対象外とすることができるから処理負荷が小さくなる。

そこで、本実施形態では、実施形態６のように楕円で近似しようとするエッジに外接する矩形領域を設定し、矩形領域の中心を近似しようとする楕円の中心とし、この中心を通り長径方向に延長された直線と短径方向に延長された直線とによって、エッジを４つの領域に分割する。そして、分割された４領域のうち中心を挟んで対角位置である２領域の参照点にそれぞれテンプレートを位置させて投票数を求めるのである。４分割した領域のうち右上領域を第１領域とし、中心の回りで左回りに第２領域、第３領域、第４領域と呼ぶことにすれば、第１領域と第３領域との参照点に設定した２個ずつのテンプレートの組合せと、第２領域と第４領域との参照点に設定した２個ずつのテンプレートの組合せとでそれぞれ投票を行い投票数を評価するのである。

第１領域から第４領域の各領域で参照点の個数が等しいと仮定し、参照点の総数をｎ個とすれば、本実施形態でのテンプレートの組合せ数は、（ｎ／４）×（ｎ／４）×２であって、ｎ^２／８になる。実際には各領域の参照点の個数は等分にならないから、（ｎ／４）個ではないが、この値は組合せ数の目安になる。これに対して、エッジに含まれるすべての参照点を２個ずつ組み合わせてテンプレートを設定する場合の組合せ数は、_ｎＣ_２であって、（ｎ^２−ｎ）／２であるから、本実施形態のようにエッジを４領域に分割して対角位置の領域に含まれる参照点の組合せによって投票を行うほうが、テンプレートの組合せに伴う処理負荷を小さくすることができる。他の構成および動作は上述した各実施形態と同様である。

本発明の実施形態の処理手順を示すフロー図である。同上の装置を示す概略構成図である。同上に用いる画像処理装置を示すブロック図である。同上における検査領域の概念を示す図である。同上における距離変換処理の例を示す図である。同上における内側領域と外側領域との設定例を示す図である。（ａ）は同上において気泡に対応する画像例を示す図、（ｂ）は同上において気泡に対応するヒストグラムを示す図である。（ａ）は同上において異物に対応する画像例を示す図、（ｂ）は同上において異物に対応するヒストグラムを示す図である。（ａ）は同上において異物に対応する画像例を示す図、（ｂ）は同上において異物に対応するヒストグラムを示す図である。同上において内側領域と外側領域との設定例を示す図である。同上において内側領域と外側領域との設定例を示す図である。同上において内側領域と外側領域との設定例を示す図である。同上において気泡候補領域の画像例を示す図である。

符号の説明

１画像処理装置
２ＴＶカメラ（撮像手段）
３光源
１０ｂ候補領域抽出手段
１０ｃ評価領域設定手段
１０ｄ判定手段
Ｘ容器

Claims

液体の入った透光性材料からなる容器を光源により照明するとともに容器を透過した光を撮像手段で撮像し、撮像手段で得られた濃淡画像に画像処理を施して評価することにより容器内の液中における気泡と異物とを識別する異物検査方法であって、濃淡画像において明度に変化を生じている領域を気泡の存在する領域の候補である気泡候補領域として抽出する候補領域抽出過程と、気泡候補領域の外周縁との距離を条件に用いて気泡候補領域内に内側領域と外側領域との２領域を設定する評価領域設定過程と、内側領域の明度の平均値が外側領域の明度の平均値よりも高く、かつ内側領域の明度と外側領域の明度との分離度が規定の閾値以上であるときに当該気泡候補領域を気泡と判定する判定過程とを有することを特徴とする容器内の異物検査方法。
前記評価領域設定過程で前記内側領域と前記外側領域とは境界が接するように設定され、前記判定過程で気泡と判定できないときには、前記評価領域設定過程における条件の距離を変更することにより外側領域を広げ内側領域を狭めて判定過程を再度実行し、評価領域設定過程で次の外側領域を設定できなくなるか判定過程で気泡と判定できるようになるまで評価領域設定過程と判定過程とを繰り返すことを特徴とする請求項１記載の容器内の異物検査方法。
前記評価領域設定過程で前記内側領域と前記外側領域とは互いの間に隙間を持つように設定されることを特徴とする請求項１記載の容器内の異物検査方法。
前記判定過程で気泡と判定できないときには、前記評価領域設定過程における条件の距離を変更することにより前記外側領域を広げて判定過程を再度実行し、評価領域設定過程で次の内側領域を設定できなくなるか判定過程で気泡と判定できるようになるまで評価領域設定過程と判定過程とを繰り返すことを特徴とする請求項３記載の容器内の異物検査方法。
前記判定過程では、前記内側領域の明度の平均値を求めた後、前記外側領域の明度の平均値との大小の判定に代えて、外側領域において内側領域の明度の平均値よりも明度の低い画素からなる規定の画素数以上の連結領域の存否を判定し、当該連結領域が存在するときに分離度を閾値と比較することを特徴とする請求項１ないし請求項４のいずれか１項に記載の容器内の異物検査方法。
前記候補領域抽出過程では、背景との明度値の差を用いて求めた前候補領域の外周縁を楕円で近似し、当該楕円内を前記気泡候補領域とすることを特徴とする請求項１ないし請求項５のいずれか１項に記載の容器内の異物検査方法。
液体の入った透光性材料からなる容器に光を照射する光源と、光源から容器に照射され容器を透過した光を撮像する撮像手段と、撮像手段で得られた濃淡画像に画像処理を施して評価することにより容器内の液中における気泡と異物とを識別する画像処理装置とを備え、画像処理装置は、濃淡画像において明度に変化を生じている領域を気泡の存在する領域の候補である気泡候補領域として抽出する候補領域抽出手段と、気泡候補領域の外周縁との距離を条件に用いて気泡候補領域内に内側領域と外側領域との２領域を設定する評価領域設定手段と、内側領域の明度の平均値が外側領域の明度の平均値よりも高く、かつ内側領域の明度と外側領域の明度との分離度が規定の閾値以上であるときに当該気泡候補領域を気泡と判定する判定手段とを有することを特徴とする容器内の異物検査装置。