JP2002214153A - 液体充填容器内の異物検査装置及びその方法 - Google Patents
液体充填容器内の異物検査装置及びその方法Info
- Publication number
- JP2002214153A JP2002214153A JP2001011725A JP2001011725A JP2002214153A JP 2002214153 A JP2002214153 A JP 2002214153A JP 2001011725 A JP2001011725 A JP 2001011725A JP 2001011725 A JP2001011725 A JP 2001011725A JP 2002214153 A JP2002214153 A JP 2002214153A
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- image
- container
- images
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/9018—Dirt detection in containers
- G01N21/9027—Dirt detection in containers in containers after filling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 容器内に充填された液中の異物検査におい
て、検査精度及び検査能率を向上させながらも、被検体
の搬送装置を、シンプル、高信頼でかつ製造コストの低
廉化を図りたい。また、実験によるパラメータ決定の効
率を向上させ、異物情報の解析を助ける検査装置を提供
する。 【解決手段】 被検体の回転・停止機構２を持つ搬送装
置３にて、充填液中の異物を容器内で移動させた状態と
し、容器を搬送中に複数枚の映像を撮影するカメラ４で
撮影する。この画像を画像処理装置６内に取り込み、ラ
ベリング処理をし、そのラベル画像について特徴量を抽
出し、更に各ラベル画像の特徴量について相対座標化す
る。各ラベル画像相互に、相対座標化された特徴量の類
似度を比較し、同一又は類似の領域を除去し、残りの領
域を異物と判定する。また、異物情報を解析し、検査結
果、及び異物の情報を統計処理する。
て、検査精度及び検査能率を向上させながらも、被検体
の搬送装置を、シンプル、高信頼でかつ製造コストの低
廉化を図りたい。また、実験によるパラメータ決定の効
率を向上させ、異物情報の解析を助ける検査装置を提供
する。 【解決手段】 被検体の回転・停止機構２を持つ搬送装
置３にて、充填液中の異物を容器内で移動させた状態と
し、容器を搬送中に複数枚の映像を撮影するカメラ４で
撮影する。この画像を画像処理装置６内に取り込み、ラ
ベリング処理をし、そのラベル画像について特徴量を抽
出し、更に各ラベル画像の特徴量について相対座標化す
る。各ラベル画像相互に、相対座標化された特徴量の類
似度を比較し、同一又は類似の領域を除去し、残りの領
域を異物と判定する。また、異物情報を解析し、検査結
果、及び異物の情報を統計処理する。
Description
【０００１】
【発明の属する技術分野】本発明は、ペットボトル等の
液体を充填した容器内の充填液中に混入した異物検出に
好適な異物検査装置及びその方法に関する。
液体を充填した容器内の充填液中に混入した異物検出に
好適な異物検査装置及びその方法に関する。
【０００２】
【従来の技術】ペットボトル等のプラスチック容器内の
充填液中に固形異物が混入することがある。この異物の
検出法の従来例ではまずコンベア搬送中の容器を回転し
て充填液中の異物を容器内で回転移動させた状態とし、
次に容器を一時停止し、停止期間中にカメラから複数枚
の映像を撮影し、撮影後搬送を再開する。この撮影で
は、複数の映像間で同一位置に写るように連続撮影し、
これらの映像の差をとることにより、複数の映像間で同
一位置にある映像を静止している容器及び搬送装置映像
として除去し、充填液中に混入した異物の有無判定を行
う。また、前記同様充填液中の異物を容器内で移動させ
た状態で、カメラ及び照明を被検体と一緒に移動させる
ことにより、容器が複数の映像間で同一位置に写るよう
に連続撮影し、これらの映像の差をとることにより、複
数の映像間で同一位置にある映像を静止している容器及
び搬送装置映像として除去し、充填液中に混入した異物
の有無判定を行う（特開平１１−３３７５０５号参
照）。
充填液中に固形異物が混入することがある。この異物の
検出法の従来例ではまずコンベア搬送中の容器を回転し
て充填液中の異物を容器内で回転移動させた状態とし、
次に容器を一時停止し、停止期間中にカメラから複数枚
の映像を撮影し、撮影後搬送を再開する。この撮影で
は、複数の映像間で同一位置に写るように連続撮影し、
これらの映像の差をとることにより、複数の映像間で同
一位置にある映像を静止している容器及び搬送装置映像
として除去し、充填液中に混入した異物の有無判定を行
う。また、前記同様充填液中の異物を容器内で移動させ
た状態で、カメラ及び照明を被検体と一緒に移動させる
ことにより、容器が複数の映像間で同一位置に写るよう
に連続撮影し、これらの映像の差をとることにより、複
数の映像間で同一位置にある映像を静止している容器及
び搬送装置映像として除去し、充填液中に混入した異物
の有無判定を行う（特開平１１−３３７５０５号参
照）。
【０００３】
【発明が解決しようとする課題】搬送中に容器内を停止
させる場合、急停止すると充填液中に気泡が発生し、気
泡と異物との画像上の分離が困難であり、搬送装置も停
止・再開を繰り返すため複雑で高価なものになるという
問題がある。搬送したままで容器内を検査する場合、容
器と一緒にカメラを移動させるため、撮影した複数の映
像間にずれがあると、映像間の差を取った結果の映像に
映像のずれた部分が残り、容器及び搬送装置映像等と充
填液中の異物を分離することが難しく、異物の検出精度
が落ちるという問題がある。また、搬送装置に高い精度
が要求されるとともに、構造が複雑で高価なものにな
る。また、同一映像に対する撮影映像の枚数を多くすれ
ば検査精度を向上させることが可能であるが、前記２つ
の方法とも、撮影した映像自体で映像間の差をとり結果
映像から異物の有無を判定しているため、撮影映像を多
くすると処理時間がかかり検査を高速に行なえないとい
う問題がある。また、画像処理装置には、多数のパラメ
ータがあり、これを決定するために多大な労力を必要と
しているという問題がある。
させる場合、急停止すると充填液中に気泡が発生し、気
泡と異物との画像上の分離が困難であり、搬送装置も停
止・再開を繰り返すため複雑で高価なものになるという
問題がある。搬送したままで容器内を検査する場合、容
器と一緒にカメラを移動させるため、撮影した複数の映
像間にずれがあると、映像間の差を取った結果の映像に
映像のずれた部分が残り、容器及び搬送装置映像等と充
填液中の異物を分離することが難しく、異物の検出精度
が落ちるという問題がある。また、搬送装置に高い精度
が要求されるとともに、構造が複雑で高価なものにな
る。また、同一映像に対する撮影映像の枚数を多くすれ
ば検査精度を向上させることが可能であるが、前記２つ
の方法とも、撮影した映像自体で映像間の差をとり結果
映像から異物の有無を判定しているため、撮影映像を多
くすると処理時間がかかり検査を高速に行なえないとい
う問題がある。また、画像処理装置には、多数のパラメ
ータがあり、これを決定するために多大な労力を必要と
しているという問題がある。
【０００４】
【課題を解決するための手段】本発明は、搬送中の液体
充填容器を回転させた上で、搬送路の複数の系路上でＴ
Ｖカメラで撮像する手段と、この複数枚の映像を取込む
映像記録部と、各映像の２値化処理を行う２値化処理部
と、各映像内で一定輝度が連続する個所を見つけ、順に
番号付けを行うラベリング処理部と、各映像内の番号付
けされたラベル個々の位置・面積等の特徴を数値情報と
して抽出する特徴量抽出部と、各映像内で共通に撮影さ
れているあらかじめ登録した個所又は位置を基準点とし
て検出する基準点検出部と、前記特徴量抽出部で求めた
特徴量中の位置をパラメータとする特徴量について基準
点からの相対値に変換する特徴量座標変換部と、各映像
間で前記特徴量座標変換部にて座標変換後の特徴量を含
む特徴量を比較し、ほぼ同一又は類似な特徴をもつラベ
ル画像を除去する移動映像分離部と、移動映像分離部に
より残ったラベル画像の中から、判定条件と比較して異
物か否かを判定する結果判定部と、を含む液体充填容器
内の異物検査装置を開示する。
充填容器を回転させた上で、搬送路の複数の系路上でＴ
Ｖカメラで撮像する手段と、この複数枚の映像を取込む
映像記録部と、各映像の２値化処理を行う２値化処理部
と、各映像内で一定輝度が連続する個所を見つけ、順に
番号付けを行うラベリング処理部と、各映像内の番号付
けされたラベル個々の位置・面積等の特徴を数値情報と
して抽出する特徴量抽出部と、各映像内で共通に撮影さ
れているあらかじめ登録した個所又は位置を基準点とし
て検出する基準点検出部と、前記特徴量抽出部で求めた
特徴量中の位置をパラメータとする特徴量について基準
点からの相対値に変換する特徴量座標変換部と、各映像
間で前記特徴量座標変換部にて座標変換後の特徴量を含
む特徴量を比較し、ほぼ同一又は類似な特徴をもつラベ
ル画像を除去する移動映像分離部と、移動映像分離部に
より残ったラベル画像の中から、判定条件と比較して異
物か否かを判定する結果判定部と、を含む液体充填容器
内の異物検査装置を開示する。
【０００５】更に本発明は、容器内の充填液中に混入し
た異物の検出方法において、容器を回転・停止させて容
器内の充填液を移動させ、その後でこの容器を搬送さ
せ、その搬送中での複数系路上でＴＶカメラで撮影し、
この複数枚の映像を画像処理装置に記録し、各映像を２
値化処理し、各映像内で一定輝度が連続する個所を見つ
け、番号付けを行うラベリング処理をし、各映像内の番
号付けされたラベル画像個々の位置・面積等の特徴を数
値情報として抽出し、各映像内で共通に撮影されている
個所又は位置を基準点として検出し、前記で求めたラベ
ル画像個々の特徴量中の位置をパラメータとする特徴量
について基準点からの相対値に変換し、各映像間で変換
後の特徴量を含む特徴量を比較し、ほぼ同一又は類似な
特徴をもつラベル画像を除去し、残ったラベル画像の中
から判定条件と比較して異物か否かを判定する液体充填
容器の異物検査方法を開示する。
た異物の検出方法において、容器を回転・停止させて容
器内の充填液を移動させ、その後でこの容器を搬送さ
せ、その搬送中での複数系路上でＴＶカメラで撮影し、
この複数枚の映像を画像処理装置に記録し、各映像を２
値化処理し、各映像内で一定輝度が連続する個所を見つ
け、番号付けを行うラベリング処理をし、各映像内の番
号付けされたラベル画像個々の位置・面積等の特徴を数
値情報として抽出し、各映像内で共通に撮影されている
個所又は位置を基準点として検出し、前記で求めたラベ
ル画像個々の特徴量中の位置をパラメータとする特徴量
について基準点からの相対値に変換し、各映像間で変換
後の特徴量を含む特徴量を比較し、ほぼ同一又は類似な
特徴をもつラベル画像を除去し、残ったラベル画像の中
から判定条件と比較して異物か否かを判定する液体充填
容器の異物検査方法を開示する。
【０００６】更に本発明は、ＴＶカメラは、搬送路に沿
って固定設置された１台のＴＶカメラとし、このＴＶカ
メラの固定撮影視野上で次々に移動する容器を撮影する
ものとした液体充填容器内の異物検査方法を開示する。
って固定設置された１台のＴＶカメラとし、このＴＶカ
メラの固定撮影視野上で次々に移動する容器を撮影する
ものとした液体充填容器内の異物検査方法を開示する。
【０００７】
【発明の実施の形態】以下、本発明の一実施の形態例に
係る容器中の異物検出を、図を用いて説明する。図１
は、本発明の一実施の形態例に係る異物検査装置の全体
構成を示す。ベルトコンベア等の搬送装置３上を、次々
にペットボトル容器１を搬送させる。搬送装置２には、
容器回転・停止機構２があり、容器を回転・停止させて
内部の充填液を移動させる。照明装置５、及び固定設置
の１台のＴＶカメラ４は、その前方搬送路に沿って、照
明装置５と対向して設けてあり、通過する容器１の撮影
を行う。この通過時には容器１内の充填液は回転移動し
ており、これをＴＶカメラ４が撮像する。ＴＶカメラ４
は、自己の撮影視野中を移動中の容器１について、複数
点で撮影を行う。この複数枚（ １〜 ｎ）の画像は画
像処理装置６に送られる。
係る容器中の異物検出を、図を用いて説明する。図１
は、本発明の一実施の形態例に係る異物検査装置の全体
構成を示す。ベルトコンベア等の搬送装置３上を、次々
にペットボトル容器１を搬送させる。搬送装置２には、
容器回転・停止機構２があり、容器を回転・停止させて
内部の充填液を移動させる。照明装置５、及び固定設置
の１台のＴＶカメラ４は、その前方搬送路に沿って、照
明装置５と対向して設けてあり、通過する容器１の撮影
を行う。この通過時には容器１内の充填液は回転移動し
ており、これをＴＶカメラ４が撮像する。ＴＶカメラ４
は、自己の撮影視野中を移動中の容器１について、複数
点で撮影を行う。この複数枚（ １〜 ｎ）の画像は画
像処理装置６に送られる。
【０００８】画像処理装置６は、映像記憶部７、２値化
処理部８、ラベリング処理部９、特徴量処理部１０、基
準点検出部１１、始点・終点座標変換部１２、移動映像
分離部１３、結果判定部１４、特徴量メモリ１５、異物
情報分析部１６、結果統計部１７、閾値設定部１８、基
準点データ設定部１９、判定条件部２０、から成る。
処理部８、ラベリング処理部９、特徴量処理部１０、基
準点検出部１１、始点・終点座標変換部１２、移動映像
分離部１３、結果判定部１４、特徴量メモリ１５、異物
情報分析部１６、結果統計部１７、閾値設定部１８、基
準点データ設定部１９、判定条件部２０、から成る。
【０００９】この実施の形態は、液体を充填したペット
ボトル等の容器を容器ごと回転・停止させる被検体回転
・停止機構２を持つ搬送装置３により、容器のみを回転
させ、容器を撮影する直前にこの回転を停止させ、搬送
中に少なくとも１台の固定ＴＶカメラ４とこれに対向す
る照明５により、容器を連続撮影する。これにより充填
液中に混入した異物は容器に対して移動することから、
前記撮影の複数枚映像を画像処理装置６にて処理及び比
較し、充填液中異物の有無判定を行う。容器の回転は搬
送させながら行ってもよく、搬送を一時停止させた上で
行ってもよい。
ボトル等の容器を容器ごと回転・停止させる被検体回転
・停止機構２を持つ搬送装置３により、容器のみを回転
させ、容器を撮影する直前にこの回転を停止させ、搬送
中に少なくとも１台の固定ＴＶカメラ４とこれに対向す
る照明５により、容器を連続撮影する。これにより充填
液中に混入した異物は容器に対して移動することから、
前記撮影の複数枚映像を画像処理装置６にて処理及び比
較し、充填液中異物の有無判定を行う。容器の回転は搬
送させながら行ってもよく、搬送を一時停止させた上で
行ってもよい。
【００１０】映像記憶部７は、ＴＶカメラ４で撮像した
映像を入力し記憶する。２値化処理部８は、記憶した映
像を設定部１８の設定閾値との比較をした上で２値化す
る。ラベリング処理部９は、２値化映像中の一定輝度が
連続する個所毎に、見つけた順に番号付け（以下番号付
けされた固まりをラベル画像と呼ぶ）を行う。例えば連
続する個所が４個あれば、ラベル画像１〜４となる。特
徴量抽出部１０は、各映像の番号付けされたラベル画像
個々の位置（例えば始点と終点）、面積や重心等の特徴
量を数値情報として抽出する。基準点検出部１１は、映
像の中から設定部１９の基準点データをもとに基準点を
検出する。座標変換部１２は、ラベル位置（始点・終
点）を基準点からの相対座標に変換する。移動映像分離
部１３は、特徴量メモリ１５について、複数枚の映像間
で同一特徴量を持つラベルを容器そのもの及び搬送装置
映像として除去する。結果判定部１４は、判定条件部２
０の条件をもとに異物の有無を判定する。異物情報解析
部１６は、以後の検査のための参考情報を得る手段であ
って、例えば異物の面積、個数といった容器中の異物に
関する情報を得る。結果統計部１７は、検査結果の各種
統計値を得る。この手段１６、１７はあくまで、以後の
検査のためのデータを得るためのものである。
映像を入力し記憶する。２値化処理部８は、記憶した映
像を設定部１８の設定閾値との比較をした上で２値化す
る。ラベリング処理部９は、２値化映像中の一定輝度が
連続する個所毎に、見つけた順に番号付け（以下番号付
けされた固まりをラベル画像と呼ぶ）を行う。例えば連
続する個所が４個あれば、ラベル画像１〜４となる。特
徴量抽出部１０は、各映像の番号付けされたラベル画像
個々の位置（例えば始点と終点）、面積や重心等の特徴
量を数値情報として抽出する。基準点検出部１１は、映
像の中から設定部１９の基準点データをもとに基準点を
検出する。座標変換部１２は、ラベル位置（始点・終
点）を基準点からの相対座標に変換する。移動映像分離
部１３は、特徴量メモリ１５について、複数枚の映像間
で同一特徴量を持つラベルを容器そのもの及び搬送装置
映像として除去する。結果判定部１４は、判定条件部２
０の条件をもとに異物の有無を判定する。異物情報解析
部１６は、以後の検査のための参考情報を得る手段であ
って、例えば異物の面積、個数といった容器中の異物に
関する情報を得る。結果統計部１７は、検査結果の各種
統計値を得る。この手段１６、１７はあくまで、以後の
検査のためのデータを得るためのものである。
【００１１】図２に充填液中の異物の検査方法のフロー
チャートを示す。前記搬送装置３により、容器内の充填
液のみ移動している状態で搬送されている容器をカメラ
で連続撮影し、撮影した複数枚の映像を画像処理装置６
に入力し、複数枚の映像を記録する（フローＦ1〜
Ｆ3）。この記録映像を用い、２値化処理部８にて設定
部１８による設定閾値を基準に２値化処理する（フロー
Ｆ4）。閾値は、容器自体の材質や形状、照明等により
最適値が変わるため、あらかじめ実験により求める。次
に、２値化映像を用い、ラベリング処理部９にて映像中
の一定輝度以上が連続する個所を見つけ、見つけた順に
番号付けを行う（フローＦ5）。図３（ａ１）〜（ａ
ｎ）にｎ個の映像１〜ｎに対する２値化処理映像を、図
３（ｂ１）〜（ｂｎ）にｎ個の映像１〜ｎに対するにラ
ベリング処理後のラベル映像を示す。即ち、図３（ａ
１）〜（ａｎ）は、ＴＶカメラ４の視野内に入って撮像
された移動中の容器画像１〜ｎの２値化画像であり、そ
れぞれ撮像位置が異なる。更に充填液が内部で回転して
いることから、異物等があれば、その画像位置が異な
る。図３（ａ１）〜（ａｎ）では、容器の外周がキャッ
プを含めて連続的な画像であり、これが図３（ｂ１）〜
（ｂｎ）のラベル１、容器の外周肩口には容器自体の外
周に付着したゴミの画像があり、これがラベル２、液遊
する異物画像をラベル３、印字や刻印等の画像をラベル
４としている。ラベル１の左上頂点が始点Ｓ、右下端点
が始点Ｅであり、ラベル２〜４も同様に始点、終点が得
られる。更に、ラベル１〜４のそれぞれについて、面
積、重心を求める（フローＦ6、Ｆ7）。これらの抽出し
た始点、終点、面積、重心が特徴量となる。
チャートを示す。前記搬送装置３により、容器内の充填
液のみ移動している状態で搬送されている容器をカメラ
で連続撮影し、撮影した複数枚の映像を画像処理装置６
に入力し、複数枚の映像を記録する（フローＦ1〜
Ｆ3）。この記録映像を用い、２値化処理部８にて設定
部１８による設定閾値を基準に２値化処理する（フロー
Ｆ4）。閾値は、容器自体の材質や形状、照明等により
最適値が変わるため、あらかじめ実験により求める。次
に、２値化映像を用い、ラベリング処理部９にて映像中
の一定輝度以上が連続する個所を見つけ、見つけた順に
番号付けを行う（フローＦ5）。図３（ａ１）〜（ａ
ｎ）にｎ個の映像１〜ｎに対する２値化処理映像を、図
３（ｂ１）〜（ｂｎ）にｎ個の映像１〜ｎに対するにラ
ベリング処理後のラベル映像を示す。即ち、図３（ａ
１）〜（ａｎ）は、ＴＶカメラ４の視野内に入って撮像
された移動中の容器画像１〜ｎの２値化画像であり、そ
れぞれ撮像位置が異なる。更に充填液が内部で回転して
いることから、異物等があれば、その画像位置が異な
る。図３（ａ１）〜（ａｎ）では、容器の外周がキャッ
プを含めて連続的な画像であり、これが図３（ｂ１）〜
（ｂｎ）のラベル１、容器の外周肩口には容器自体の外
周に付着したゴミの画像があり、これがラベル２、液遊
する異物画像をラベル３、印字や刻印等の画像をラベル
４としている。ラベル１の左上頂点が始点Ｓ、右下端点
が始点Ｅであり、ラベル２〜４も同様に始点、終点が得
られる。更に、ラベル１〜４のそれぞれについて、面
積、重心を求める（フローＦ6、Ｆ7）。これらの抽出し
た始点、終点、面積、重心が特徴量となる。
【００１２】図４（ａ１）〜（ａｎ）は、図３（ｂ１）
〜（ｂｎ）のラベル１〜４の数値化された抽出特徴量の
事例を示す。ここで、図中の「輝度１〜４」とはラベル
番号付けされたその番号を異なる輝度として置換したも
のである。図４（ｂ１）〜（ｂｎ）は、移動映像の分離
部１３による処理結果を示すが、これについては後述す
る。
〜（ｂｎ）のラベル１〜４の数値化された抽出特徴量の
事例を示す。ここで、図中の「輝度１〜４」とはラベル
番号付けされたその番号を異なる輝度として置換したも
のである。図４（ｂ１）〜（ｂｎ）は、移動映像の分離
部１３による処理結果を示すが、これについては後述す
る。
【００１３】フローＦ8では、基準点検出部１１によっ
て、特徴量抽出部１０にて抽出した個々のラベルに対す
る数値化された特徴量と、あらかじめ全撮影映像内に存
在する部分を基準点として登録した基準点データ１９と
を比較し、各ラベル画像の中の同一又は最も類似してい
る位置を各映像内の基準点として検出する。基準点は、
全撮影映像内で共通に撮影されている部分で、被検体、
搬送装置の特徴のある部分、または、被検体、搬送装置
等にあらかじめ設けた特徴を持つ基準マーク部分を基準
点とする。図３の例では、容器の形状であるラベル画像
１のキャップ底部中央位置を基準点データとし、他のラ
ベル画像２〜ｎについて、この基準点データに一致又は
近い部位を基準点として検出している。設定部１９の基
準点データは、あらかじめ設定した基準点のラベルの特
徴量を、実験により求め、画像処理装置に登録して使用
する。また、基準点検出部１１の処理は、前記方法の他
に、投影分布、頻度分布等により基準点の特徴を捕ら
え、基準点の座標を検出する方法 等により基準点を検
出可能である。
て、特徴量抽出部１０にて抽出した個々のラベルに対す
る数値化された特徴量と、あらかじめ全撮影映像内に存
在する部分を基準点として登録した基準点データ１９と
を比較し、各ラベル画像の中の同一又は最も類似してい
る位置を各映像内の基準点として検出する。基準点は、
全撮影映像内で共通に撮影されている部分で、被検体、
搬送装置の特徴のある部分、または、被検体、搬送装置
等にあらかじめ設けた特徴を持つ基準マーク部分を基準
点とする。図３の例では、容器の形状であるラベル画像
１のキャップ底部中央位置を基準点データとし、他のラ
ベル画像２〜ｎについて、この基準点データに一致又は
近い部位を基準点として検出している。設定部１９の基
準点データは、あらかじめ設定した基準点のラベルの特
徴量を、実験により求め、画像処理装置に登録して使用
する。また、基準点検出部１１の処理は、前記方法の他
に、投影分布、頻度分布等により基準点の特徴を捕ら
え、基準点の座標を検出する方法 等により基準点を検
出可能である。
【００１４】フローＦ9、Ｆ10では、座標変換部１２に
よって、前記特徴量抽出部１０にて抽出した個々のラベ
ルの特徴量の中の、位置をパラメータとする特徴量に関
して、前記基準点検出部１１にて検出した基準点位置に
対する相対座標に変換する。以上２値化処理部８から特
徴量座標変換部１２までの処理を撮影した全映像に対し
て行い、結果を特徴量メモリ１５に格納する。
よって、前記特徴量抽出部１０にて抽出した個々のラベ
ルの特徴量の中の、位置をパラメータとする特徴量に関
して、前記基準点検出部１１にて検出した基準点位置に
対する相対座標に変換する。以上２値化処理部８から特
徴量座標変換部１２までの処理を撮影した全映像に対し
て行い、結果を特徴量メモリ１５に格納する。
【００１５】フローＦ11では、移動映像分離部１３によ
って、個々の映像間で数値化された特徴量を比較し、ほ
ぼ同一な特徴量を持つラベル画像を除去する。被検体自
身の容器の模様、容器に付着したごみ、搬送装置といっ
た映像は、基準点に対して静止している映像であり、充
填液中で移動しているものは各映像間で基準点に対して
移動している映像のため、個々のラベル画像の数値化さ
れた特徴量より、基準点に対して移動している映像に相
当するラベル画像の特徴量のみ残すことで、移動映像の
み分離する。図４（ｂ１）〜（ｂｎ）に移動映像分離後
の残ラベルの特徴量を示す。
って、個々の映像間で数値化された特徴量を比較し、ほ
ぼ同一な特徴量を持つラベル画像を除去する。被検体自
身の容器の模様、容器に付着したごみ、搬送装置といっ
た映像は、基準点に対して静止している映像であり、充
填液中で移動しているものは各映像間で基準点に対して
移動している映像のため、個々のラベル画像の数値化さ
れた特徴量より、基準点に対して移動している映像に相
当するラベル画像の特徴量のみ残すことで、移動映像の
み分離する。図４（ｂ１）〜（ｂｎ）に移動映像分離後
の残ラベルの特徴量を示す。
【００１６】フローＦ12では、結果判定部１４によっ
て、残ったラベル画像から、実験により求められたある
判定条件２０以内の数値化された特徴量を持つラベルを
異物として判定する。異物としては、ペットボトル製造
時のこげ、ばり等がある。判定条件部２０の条件値は、
被検体特有な液中の成分の映り込み、照明のバラツキ、
等の影響により除去出来なかった微少なラベルを異物と
判定しない様にするため、あらかじめ実験により最適値
を求めて設定したものである。判定処理は、図４（ｂ
１）〜（ｂｎ）を検索して行う。即ち、ラベル１、２、
４については始点、終点、面積、重心が大きな相異はな
いがラベル３については、始点、終点、面積、重心がそ
れぞれ大きく異っている。そこでラベル３を異物と判定
する。
て、残ったラベル画像から、実験により求められたある
判定条件２０以内の数値化された特徴量を持つラベルを
異物として判定する。異物としては、ペットボトル製造
時のこげ、ばり等がある。判定条件部２０の条件値は、
被検体特有な液中の成分の映り込み、照明のバラツキ、
等の影響により除去出来なかった微少なラベルを異物と
判定しない様にするため、あらかじめ実験により最適値
を求めて設定したものである。判定処理は、図４（ｂ
１）〜（ｂｎ）を検索して行う。即ち、ラベル１、２、
４については始点、終点、面積、重心が大きな相異はな
いがラベル３については、始点、終点、面積、重心がそ
れぞれ大きく異っている。そこでラベル３を異物と判定
する。
【００１７】また、異物情報解析部１６にて、残った各
映像のラベルより、異物の面積、個数、といった被検体
中にある異物に関する情報を求める。個々の映像で異物
と判定したラベルの個数の内最大値が、その被検体内の
充填液中に含まれる異物の個数であり、その異物の大き
さの最大値も、各映像の残ラベル中で最大の面積として
算出する。結果集計部１７にて、判定結果及び前記異物
情報解析部１６結果より検査数、異物有無判定数と共に
異物の大きさ・個数、異物発生頻度等の来歴、統計処理
を行う。前記来歴、統計処理データは、前記閾値１８、
基準点データ１９、判定条件２０といった実験により最
適値を求める際のデータとして使用すると共に、検査中
の生産管理データとして公開する。
映像のラベルより、異物の面積、個数、といった被検体
中にある異物に関する情報を求める。個々の映像で異物
と判定したラベルの個数の内最大値が、その被検体内の
充填液中に含まれる異物の個数であり、その異物の大き
さの最大値も、各映像の残ラベル中で最大の面積として
算出する。結果集計部１７にて、判定結果及び前記異物
情報解析部１６結果より検査数、異物有無判定数と共に
異物の大きさ・個数、異物発生頻度等の来歴、統計処理
を行う。前記来歴、統計処理データは、前記閾値１８、
基準点データ１９、判定条件２０といった実験により最
適値を求める際のデータとして使用すると共に、検査中
の生産管理データとして公開する。
【００１８】また、容器が不透明の場合、前記カメラ４
・照明５に変わりＸ線カメラ、Ｘ線源を用いることで不
透明容器の充填液中の異物検査を行うことが可能であ
る。被検体１は、前記ペットボトル以外にも、容器の透
明・不透明によらず、飲料缶、飲料ビン、等容器内に充
填した液体に対し、充填液中の異物検査を行うことが可
能である。
・照明５に変わりＸ線カメラ、Ｘ線源を用いることで不
透明容器の充填液中の異物検査を行うことが可能であ
る。被検体１は、前記ペットボトル以外にも、容器の透
明・不透明によらず、飲料缶、飲料ビン、等容器内に充
填した液体に対し、充填液中の異物検査を行うことが可
能である。
【００１９】
【発明の効果】本発明によれば、被検体の撮影を被検体
搬送中に実施でき、かつ被検体と一緒にカメラを移動さ
せて撮影する必要が無いことから、搬送装置をシンプル
に構成することが出来、低価格で、かつ信頼性の高い装
置を提供することが出来る。さらに、撮影した映像を数
値化された特徴量に変換して処理するため、情報量が圧
縮され高速な処理が可能であり、同一被検体に対して撮
影する映像の枚数を増やし、検査精度の向上を図ること
が容易となる。また、判定結果、及び異物の面積・個数
等を算出し、来歴、統計をとることにより、効率よく生
産管理を行うことが出来ると共に、実験時には最適な検
査装置パラメータを効率よく決定することが出来る。
搬送中に実施でき、かつ被検体と一緒にカメラを移動さ
せて撮影する必要が無いことから、搬送装置をシンプル
に構成することが出来、低価格で、かつ信頼性の高い装
置を提供することが出来る。さらに、撮影した映像を数
値化された特徴量に変換して処理するため、情報量が圧
縮され高速な処理が可能であり、同一被検体に対して撮
影する映像の枚数を増やし、検査精度の向上を図ること
が容易となる。また、判定結果、及び異物の面積・個数
等を算出し、来歴、統計をとることにより、効率よく生
産管理を行うことが出来ると共に、実験時には最適な検
査装置パラメータを効率よく決定することが出来る。
【図１】本発明の一実施の形態例に係る異物検出装置の
全体構成図である。
全体構成図である。
【図２】本発明の一実施の形態例に係る異物検方法のフ
ローチャートである。
ローチャートである。
【図３】図１の異物検査装置により撮影した映像の処理
例図を示す。
例図を示す。
【図４】図３の事例に対する特徴量比較例図を示す。
１ 容器 ２ 被検体回転・停止機構 ３ 搬送装置 ４ カメラ ５ 照明 ６ 画像処理装置 ７ 映像記録部 ８ ２値化処理部 ９ ラベリング処理部 １０ 特徴量抽出部 １１ 基準点検出部 １２ 特徴量座標変換部 １３ 移動映像分離部 １４ 結果判定部 １５ 特徴量メモリ １６ 異物情報解析部 １７ 結果統計部 １８ 閾値 １９ 基準点データ ２０ 判定条件
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2G001 AA01 BA11 CA01 GA01 HA13 JA08 JA09 JA11 JA13 KA03 MA02 PA01 PA06 PA11 PA12 2G051 AA11 AA12 AB15 AC21 CA04 CB02 DA01 DA06 DA08 EA11 EA14 EA16 EA20 EB01 EB02 EC01 EC02 ED23 5B057 AA01 BA02 CA02 CA08 CA12 CA16 CB18 CC01 CH08 DA03 DB02 DB05 DB09 DC04 DC06 DC07 DC34 5L096 AA03 AA06 BA03 CA02 DA02 FA13 FA59 FA60 FA69 GA34 GA51
Claims (5)
- 【請求項１】 搬送中の液体充填容器を回転させた上
で、搬送路の複数の系路上でＴＶカメラで撮像する手段
と、この複数枚の映像を取込む映像記録部と、各映像の
２値化処理を行う２値化処理部と、各映像内で一定輝度
が連続する個所を見つけ、順に番号付けを行うラベリン
グ処理部と、各映像内の番号付けされたラベル個々の位
置・面積等の特徴を数値情報として抽出する特徴量抽出
部と、各映像内で共通に撮影されているあらかじめ登録
した個所又は位置を基準点として検出する基準点検出部
と、前記特徴量抽出部で求めた特徴量中の位置をパラメ
ータとする特徴量について基準点からの相対値に変換す
る特徴量座標変換部と、各映像間で前記特徴量座標変換
部にて座標変換後の特徴量を含む特徴量を比較し、ほぼ
同一又は類似な特徴をもつラベル画像を除去する移動映
像分離部と、移動映像分離部により残ったラベル画像の
中から、判定条件と比較して異物か否かを判定する結果
判定部と、を含む液体充填容器内の異物検査装置。 - 【請求項２】 請求項１において、更に異物の有無を
判定した結果に基づいて、残ったラベル画像の数値情報
より、検出した異物の面積・個数等を求める手段を備え
た液体充填容器の異物検査装置。 - 【請求項３】 請求項１又は２において、更に異物の有
無を判定した結果及び検出した異物の面積・個数等の来
歴、統計手段を備えた液体充填容器の異物検査装置。 - 【請求項４】 容器内の充填液中に混入した異物の検出
方法において、容器を回転・停止させて容器内の充填液
を移動させ、その後でこの容器を搬送させ、その搬送中
での複数系路上でＴＶカメラで撮影し、この複数枚の映
像を画像処理装置に記録し、各映像を２値化処理し、各
映像内で一定輝度が連続する個所を見つけ、番号付けを
行うラベリング処理をし、各映像内の番号付けされたラ
ベル画像個々の位置・面積等の特徴を数値情報として抽
出し、各映像内で共通に撮影されている個所又は位置を
基準点として検出し、前記で求めたラベル画像個々の特
徴量中の位置をパラメータとする特徴量について基準点
からの相対値に変換し、各映像間で変換後の特徴量を含
む特徴量を比較し、ほぼ同一又は類似な特徴をもつラベ
ル画像を除去し、残ったラベル画像の中から判定条件と
比較して異物か否かを判定する液体充填容器の異物検査
方法。 - 【請求項５】 上記ＴＶカメラは、搬送路に沿って固定
設置された１台のＴＶカメラとし、このＴＶカメラの固
定撮影視野上で次々に移動する容器を撮影するものとし
た請求項４の液体充填容器内の異物検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001011725A JP3658326B2 (ja) | 2001-01-19 | 2001-01-19 | 液体充填容器内の異物検査装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001011725A JP3658326B2 (ja) | 2001-01-19 | 2001-01-19 | 液体充填容器内の異物検査装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002214153A true JP2002214153A (ja) | 2002-07-31 |
| JP3658326B2 JP3658326B2 (ja) | 2005-06-08 |
Family
ID=18878828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001011725A Expired - Fee Related JP3658326B2 (ja) | 2001-01-19 | 2001-01-19 | 液体充填容器内の異物検査装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3658326B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006347584A (ja) * | 2005-06-15 | 2006-12-28 | Shinsen Giken:Kk | 個数検査装置 |
| JP2008502918A (ja) * | 2004-06-09 | 2008-01-31 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | 物体の視覚検出および検査のための方法および装置 |
| JP2008510971A (ja) * | 2004-08-27 | 2008-04-10 | メラー・アンド・デヴィコン・アクティーゼルスカブ | 注入済みの複数の容器において異物または不良を検出する方法および装置 |
| JP2011258220A (ja) * | 2004-06-09 | 2011-12-22 | Cognex Technology And Investment Corp | 自動視覚事象検出の方法と装置 |
| US8243986B2 (en) | 2004-06-09 | 2012-08-14 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
| US8249297B2 (en) | 2004-06-09 | 2012-08-21 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
| US8249329B2 (en) | 2004-06-09 | 2012-08-21 | Cognex Technology And Investment Corporation | Method and apparatus for detecting and characterizing an object |
| KR101303922B1 (ko) * | 2012-05-22 | 2013-09-05 | 한국지능기계 주식회사 | 연속영상을 이용한 유체 속 고체의 위치 및 크기 추정 방법 |
| JP5363559B2 (ja) * | 2009-03-13 | 2013-12-11 | ポニー工業株式会社 | Ｘ線検査装置及びｘ線検査方法 |
| US8782553B2 (en) | 2004-06-09 | 2014-07-15 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
| US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
| US9292187B2 (en) | 2004-11-12 | 2016-03-22 | Cognex Corporation | System, method and graphical user interface for displaying and controlling vision system operating parameters |
| US9651499B2 (en) | 2011-12-20 | 2017-05-16 | Cognex Corporation | Configurable image trigger for a vision system and method for using the same |
| JP2018146419A (ja) * | 2017-03-07 | 2018-09-20 | アンリツインフィビス株式会社 | Ｘ線検査装置 |
| JPWO2021214820A1 (ja) * | 2020-04-20 | 2021-10-28 | ||
| CN113916911A (zh) * | 2020-06-23 | 2022-01-11 | 同方威视技术股份有限公司 | 物品的安全检查方法和系统 |
-
2001
- 2001-01-19 JP JP2001011725A patent/JP3658326B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8630478B2 (en) | 2004-06-09 | 2014-01-14 | Cognex Technology And Investment Corporation | Method and apparatus for locating objects |
| US9183443B2 (en) | 2004-06-09 | 2015-11-10 | Cognex Technology And Investment Llc | Method and apparatus for configuring and testing a machine vision detector |
| JP2008502918A (ja) * | 2004-06-09 | 2008-01-31 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | 物体の視覚検出および検査のための方法および装置 |
| US9092841B2 (en) | 2004-06-09 | 2015-07-28 | Cognex Technology And Investment Llc | Method and apparatus for visual detection and inspection of objects |
| JP2011258220A (ja) * | 2004-06-09 | 2011-12-22 | Cognex Technology And Investment Corp | 自動視覚事象検出の方法と装置 |
| US8243986B2 (en) | 2004-06-09 | 2012-08-14 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
| US8249297B2 (en) | 2004-06-09 | 2012-08-21 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
| US8249329B2 (en) | 2004-06-09 | 2012-08-21 | Cognex Technology And Investment Corporation | Method and apparatus for detecting and characterizing an object |
| US8249296B2 (en) | 2004-06-09 | 2012-08-21 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
| US8290238B2 (en) | 2004-06-09 | 2012-10-16 | Cognex Technology And Investment Corporation | Method and apparatus for locating objects |
| US8422729B2 (en) | 2004-06-09 | 2013-04-16 | Cognex Corporation | System for configuring an optoelectronic sensor |
| JP2013138420A (ja) * | 2004-06-09 | 2013-07-11 | Cognex Technology And Investment Corp | 自動視覚事象検出の方法と装置 |
| US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
| US8782553B2 (en) | 2004-06-09 | 2014-07-15 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
| US9094588B2 (en) | 2004-06-09 | 2015-07-28 | Cognex Corporation | Human machine-interface and method for manipulating data in a machine vision system |
| JP2008510971A (ja) * | 2004-08-27 | 2008-04-10 | メラー・アンド・デヴィコン・アクティーゼルスカブ | 注入済みの複数の容器において異物または不良を検出する方法および装置 |
| US9292187B2 (en) | 2004-11-12 | 2016-03-22 | Cognex Corporation | System, method and graphical user interface for displaying and controlling vision system operating parameters |
| JP2006347584A (ja) * | 2005-06-15 | 2006-12-28 | Shinsen Giken:Kk | 個数検査装置 |
| JP4658703B2 (ja) * | 2005-06-15 | 2011-03-23 | 有限会社新選技研 | 個数検査装置及び個数検査方法 |
| JP5363559B2 (ja) * | 2009-03-13 | 2013-12-11 | ポニー工業株式会社 | Ｘ線検査装置及びｘ線検査方法 |
| US9651499B2 (en) | 2011-12-20 | 2017-05-16 | Cognex Corporation | Configurable image trigger for a vision system and method for using the same |
| KR101303922B1 (ko) * | 2012-05-22 | 2013-09-05 | 한국지능기계 주식회사 | 연속영상을 이용한 유체 속 고체의 위치 및 크기 추정 방법 |
| JP2018146419A (ja) * | 2017-03-07 | 2018-09-20 | アンリツインフィビス株式会社 | Ｘ線検査装置 |
| JP7380853B2 (ja) | 2020-04-20 | 2023-11-15 | 日本電気株式会社 | 把持装置 |
| WO2021214820A1 (ja) * | 2020-04-20 | 2021-10-28 | 日本電気株式会社 | 把持装置 |
| JPWO2021214820A1 (ja) * | 2020-04-20 | 2021-10-28 | ||
| EP4141423A4 (en) * | 2020-04-20 | 2023-05-31 | NEC Corporation | GRIPPER |
| CN113916911A (zh) * | 2020-06-23 | 2022-01-11 | 同方威视技术股份有限公司 | 物品的安全检查方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3658326B2 (ja) | 2005-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002214153A (ja) | 液体充填容器内の異物検査装置及びその方法 | |
| US5592286A (en) | Container flange inspection system using an annular lens | |
| US7342655B2 (en) | Inspecting apparatus and method for foreign matter | |
| JP3332543B2 (ja) | 錠剤検査システム | |
| WO2004036197A1 (ja) | ガラス壜の検査装置 | |
| WO2004036198A1 (ja) | ガラス壜の検査装置における基準画像の作成方法及び装置 | |
| JPH07200770A (ja) | 錠剤検査システム | |
| JPH08322912A (ja) | 錠剤検査システム | |
| CN111776392B (zh) | 贴标设备、装置和系统及贴标方法及存储介质 | |
| Kulkarni et al. | An automated computer vision based system for bottle cap fitting inspection | |
| CN115428015A (zh) | 用于光学检查饮料处理系统中的容器的方法和设备 | |
| JP2008128944A (ja) | ラベル検査方法及び装置 | |
| JP2017219504A (ja) | 壜検査装置 | |
| KR101587982B1 (ko) | 용기 주둥이부 검사 방법 및 장치 | |
| JP2002318202A (ja) | 透明容器内充填液体中の異物検査装置及びシステム | |
| JPH08322913A (ja) | 錠剤検査システム | |
| JP2004504139A (ja) | 大寸法の郵便物を仕分け装置で処理するための方法 | |
| JP2004257937A (ja) | 異物検査装置および検査方法 | |
| US11624711B2 (en) | Method and device for the optical inspection of containers | |
| JPH04106460A (ja) | 欠陥検出方法 | |
| JPH07121721A (ja) | 印刷文字検査方法 | |
| JP5974575B2 (ja) | 口栓検査装置および口栓検査方法 | |
| JPH07200820A (ja) | 画像認識処理方法 | |
| JP2002267612A (ja) | 透明容器等の充填液体中の異物検査装置及びシステム | |
| JP4083414B2 (ja) | 容器の付属物有無判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080318 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090318 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090318 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100318 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100318 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110318 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110318 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130318 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130318 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140318 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |