JP2000304705A - 糸目不良検査装置 - Google Patents

糸目不良検査装置

Info

Publication number
JP2000304705A
JP2000304705A JP11114715A JP11471599A JP2000304705A JP 2000304705 A JP2000304705 A JP 2000304705A JP 11114715 A JP11114715 A JP 11114715A JP 11471599 A JP11471599 A JP 11471599A JP 2000304705 A JP2000304705 A JP 2000304705A
Authority
JP
Japan
Prior art keywords
thread
image
fine line
defect inspection
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11114715A
Other languages
English (en)
Other versions
JP4298052B2 (ja
Inventor
Tsuneo Nagashima
常夫 長島
Koji Nakada
宏治 仲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyodo Printing Co Ltd
Original Assignee
Kyodo Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyodo Printing Co Ltd filed Critical Kyodo Printing Co Ltd
Priority to JP11471599A priority Critical patent/JP4298052B2/ja
Publication of JP2000304705A publication Critical patent/JP2000304705A/ja
Application granted granted Critical
Publication of JP4298052B2 publication Critical patent/JP4298052B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 単環や二重環の糸目の目飛びその他の糸目不
良を確実に判別できるようにする。 【解決手段】 蛍光塗料を含有する糸により綴じられた
糸目の目飛びその他の糸目不良を検査するための糸目不
良検査装置であって、糸目に照射するブラックライトか
らなる投光部11と、投光部11により照射された糸目
を撮像する撮像部12と、撮像部12により撮像された
糸目の画像に基づいて、所定のエリア内における糸目の
画素数を算出する画像処理手段13と、画像処理手段1
3による糸目の画素数の算出結果に基づいて、糸目が正
常であるか否かを判別する判別手段14とを備える。さ
らに、撮像部12は、糸目の合焦位置からずれた位置で
あって並設された複数本の糸が連結した像を得る位置に
光学系を配置する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、本や雑誌等を糸綴
じしたときの綴じられた糸目の目飛びその他の糸目不良
を検査するための糸目不良検査装置に関するものであ
る。
【0002】
【従来の技術】従来より、本、雑誌又は通帳等の背部を
糸綴じしたときは、その後工程において糸目が正しいか
どうか、すなわち糸目の目飛びや糸切れがあるか否かを
検査している。ここで、糸綴じの種類としては、単環縫
い(1本の糸が連続するもの)や、二重環縫い(3本の
糸が並設して連続するもの)等があり、単環の糸目不良
としては、糸目の目飛びによって糸がとぎれるものがあ
り、また二重環の糸目不良としては、糸目の目飛びの他
に、3本の糸が1本又は2本に減少するものがある。
【0003】従来の糸目不良検査装置の第1例として
は、特公平1−35300号公報に開示されたものが挙
げられる。この例では、糸綴じ部にブラックライトを照
射して、糸に含有されている蛍光塗料の反射光をセンサ
(蛍光センサ)で受光して、目飛び(糸切れ)の有無を
判別するものである。
【0004】また、従来の第2例として、特開平5−3
30267号公報に開示されたものが知られている。こ
の例では、糸綴じ部の画像データを撮影により取り込
み、この画像データから糸の位置ずれ関係を求め、これ
を所定値と比較して良否判定するものである。さらにま
た、従来の第3例として、特開平7−16376号公報
に開示されたものが挙げられる。この例ではCCDカメ
ラにてミシン目の画像を読み取った後、画像データから
ミシン目の長さを測定し、正常なミシン目に対して整数
倍の長さを有する目飛びを検出するものである。
【0005】さらには、従来の第4例として、特開平1
0−170231号公報に開示されたものが挙げられ
る。この例では、縫い目の所定幅の画像を読み取り、こ
の縫い目の幅寸法を検出し、正常な幅寸法と比較して目
飛びの有無を判定するようにしたものである。
【0006】
【発明が解決しようとする課題】しかし、前述の従来の
技術において、第1例では、蛍光センサのレベル調整が
困難であるという問題がある。また、蛍光センサを用い
た場合は、複数連続して生じた大きな目飛びを検出する
ことができても、単環の場合の細かなピッチ(例えば6
mm程度)の1つの目飛びを確実に検出することが困難
であるという問題がある。さらにまた、二重環の糸目の
3本の糸が1本や2本になったときの不良を精度良く検
出するには、蛍光センサでは不十分であるという問題が
ある。さらに、蛍光センサで受光する方法では、検知可
能なエリアが狭いので、本等を順次搬送した状態で撮像
すると、蛇行により糸目のラインがセンサの検知可能な
スポットから外れてしまい、検知不能になるという問題
がある。
【0007】また、第2例から第4例のように、CCD
カメラ等の撮像手段で糸目の画像を撮像する場合に、糸
目の画像を精度良く撮像するには糸と下地(本等)の色
との色差が大きいほど好ましいが、例えば下地の色が糸
と同系色(白色系)であるときは、糸と下地とが区別し
にくくなるので、糸目の画像のみを下地と分離して明確
に撮像することができず、精度良く糸目不良の検査がで
きなくなるという問題がある。したがって、本発明が解
決しようとする課題は、単環や二重環の糸目の目飛びそ
の他の糸目不良を確実に判別できるようにすることであ
る。
【0008】
【課題を解決するための手段】上述の課題を解決するた
めに、請求項1の発明は、蛍光塗料を含有する糸により
綴じられた糸目の目飛びその他の糸目不良を検査するた
めの糸目不良検査装置であって、糸目に紫外線を照射す
るブラックライトからなる投光部と、前記投光部により
照射された糸目を撮像する撮像部と、前記撮像部により
撮像された糸目の画像に基づいて、所定のエリア内にお
ける糸目の画素数を算出する画像処理手段と、前記画像
処理手段による糸目の画素数の算出結果に基づいて、糸
目が正常であるか否かを判別する判別手段とを備えるこ
とを特徴とする。
【0009】請求項2の発明は、請求項1に記載の糸目
不良検査装置において、前記撮像部は、前記糸目の合焦
位置からずれた位置であって並設された複数本の糸が連
結した像を得る位置に光学系を配置することを特徴とす
る。請求項3の発明は、請求項1又は請求項2に記載の
糸目不良検査装置において、前記撮像部は、前記糸目の
連続方向に向かって所定の撮像エリアごとに撮像し、隣
り合う前記撮像エリアの一部が重なり合うようにしたこ
とを特徴とする。
【0010】請求項4の発明は、請求項1から請求項3
までのいずれか1項に記載の糸目不良検査装置におい
て、前記画像処理手段は、前記撮像部により撮像された
前記撮像エリアを、前記糸目の1つの目の長さより短い
幅で前記糸目の連続方向に分割し、前記判別手段は、こ
の分割したエリアごとに糸目が正常であるか否かを判別
することを特徴とする。請求項5の発明は、請求項1か
ら請求項4までのいずれか1項に記載の糸目不良検査装
置において、前記判別手段は、前記画像処理手段により
算出された糸目の画素数が所定数より少ないエリアが連
続したときに、糸目が不良であると判別することを特徴
とする。
【0011】
【作用】請求項1の発明においては、糸目に投光部から
紫外線が照射されると、糸は、含有している蛍光材料に
より発光する。撮像部は、発光した糸目を撮像する。ま
た、撮像部で撮像された画像は、画像処理手段に伝送さ
れ、画像処理手段では、糸目の所定のエリアの糸目の画
素数が算出され、これが判別手段に伝送されて、判別手
段で糸目の画素数に基づいて糸目が正常であるか否かが
判別される。したがって、下地と糸とが同系色であって
も発光した糸を撮像するので、下地の色に影響を受けな
いで糸目を撮像して、正確に糸目不良を検査することが
できる。
【0012】請求項2の発明においては、二重環の糸目
の場合には、その合焦位置からずれて、並設された複数
本の糸が連結した像で撮像される。したがって、糸目の
1本当たりの画素数が増加するので、合焦時と比較し
て、より確実に二重環の糸目の不良を判別することがで
きる。請求項3の発明においては、糸目の連続する撮像
エリアは、その一部が重なり合う。したがって、検査対
象物の搬送時のぶれや搬送速度に変化が生じても、糸目
が撮像エリアから外れてしまうことを防止することがで
きる。
【0013】請求項4の発明においては、撮像エリアの
うち、糸目の1つの目の長さよりも小さい幅に分割され
たエリアごとに糸目が正常であるか否かが判別される。
したがって、細かなエリアで糸の画素数を判別できるの
で、目飛び以外に糸が球状に絡まった糸目不良も判別す
ることができる。請求項5の発明においては、判別手段
により、画素数が少ないエリアが連続したときに糸目が
不良であると判別されるので、糸目間の画素数が減少す
るエリアに影響を受けることなく、正確に糸目不良を判
別することができる。
【0014】
【発明の実施の形態】以下、図面等を参照して、本発明
の一実施形態について説明する。図1は、本発明による
糸目不良検査装置の一実施形態を示す構成図である。こ
の糸目不良検査装置は、検査対象物1(本、雑誌又は通
帳等)を糸綴じした糸目が正常であるか否かを検査する
ための装置である。糸目不良検査装置は、投光部11
と、撮像部12と、画像処理手段13と、判別手段14
等とを備える。投光部11は、ブラックライト、すなわ
ち紫外線(紫外光)を検査対象物1の糸目に対して照射
するものである。撮像部12は、例えばCCDカメラで
あり、投光部11により照射された糸目の画像を撮像す
るものである。画像処理手段13及び判別手段14は、
例えば撮像部12と電気的に接続されたCPUであり、
画像処理手段13は、撮像部12で撮像された糸目の画
像を取り込んで糸の画素数の演算等を行う部分であり、
判別手段14は、画像処理手段13で画像処理された画
像データに基づいて糸目が正常であるか否かを判別する
部分である。
【0015】ミシン等により糸綴じされた検査対象物1
は、順次搬送されている。先ず、投光部11は、検査対
象物1の糸目に対して光を照射する。ここで、糸は、蛍
光塗料を含有したものであるので、投光部11すなわち
ブラックライトの照射により発光する。これにより、検
査対象物1の下地色にかかわらず糸目のみを浮き出して
撮像可能な状態にすることができる。よって、検査対象
物1の下地色が糸と同系色であっても、糸のみを確実に
撮像できるようになる。また、検査対象物1の下地とし
て蛍光物質を含有する用紙を用いる場合は、糸の発光の
みを捕らえることができるように、下地面に対する撮像
部12の撮像角度を調整すれば、糸目の検査を行うこと
ができる。
【0016】撮像部12は、所定大の撮像エリアごとに
糸目をその連続方向に沿って順次撮像する。図2は、糸
目の撮像エリア3を示す平面図である。撮像部の撮像エ
リア3は、連続する糸目2のうち複数ピッチを包含する
大きさを有する。そして、隣接する撮像エリア3では、
一部の領域が重複するように設定されている。これによ
り、検査対象物1の搬送時のぶれや搬送速度に変化が生
じても、糸目2が撮像エリア3から外れてしまうことを
確実に防止することができる。
【0017】ここで撮像された撮像エリア3の画像デー
タは、画像処理手段13に伝送される。画像処理手段1
3では、1つの撮像エリア3を、図2中、2点鎖線部で
示すように、糸目2の連続方向に対して直交する方向の
ラインで複数のエリアに分割し、それぞれ分割した画像
エリア(分割画像エリア)3aごとに、画像データの処
理を行う。ここで分割画像エリア3aの幅は、糸目2の
1ピッチの長さよりも短い幅を有している。画像処理手
段13では、各分割画像エリア3aの糸の画素数を演算
し、その演算結果を判別手段14に伝送する。判別手段
14では、この演算された画素数と糸目2が正しいとき
の画素数とを比較し、糸目2が正しいか否かを判別す
る。
【0018】このような判別方法により、糸目2が目飛
びしているときは、分割画像エリア3a内での糸の画素
数が減少するので、不良と判別される。また、糸が球状
に絡まっている場合において、撮像エリア3内で画素数
を演算すると、糸が球状で存在しても糸が直線状のとき
とほとんど変わらない画素数となって、糸目2が正常で
あると判別されてしまう場合がある。しかし、分割画像
エリア3aごとに糸の画素数を演算することで、糸が球
状に存在する場合は、正常の糸目2のときよりも画素数
が多くなるので、糸目2の不良を識別することができ
る。また、分割画像エリア3a内に糸目2間を含む場合
は、糸目2が存在しない部分が多いと、糸目2の画素数
が減少し、不良と判別されてしまう場合がある。そこ
で、連続する2つの分割画像エリア3aで双方とも糸目
2の画素数が減少したときに糸目不良と判別することに
より、糸目2間に影響されることなく、正確に糸目不良
を判別することができる。
【0019】図3は、1つの分割画像エリア3aにおい
て、二重環を撮像したときの画像を示す図である。図中
(a)は、糸目2の合焦位置に光学系を配置したときを
示す図であり、3本の糸に正確に合焦している状態を示
す。これに対し、図中(b)では、撮像部12は、糸目
2の合焦位置からずれた位置であって二重環の並設され
た3本の糸が連結して1本の糸の像を得る位置に光学系
を配置した状態を示している。二重環の糸目2の不良を
検査するときは、図中(b)に示すように二重環の場合
の糸間の隙間をなくして糸目2を撮像することで、糸間
の下地の領域が糸の領域となり、実際よりも糸の領域が
増加するので、目飛びがあるときとないとき、及び糸数
が3本のときと1本又は2本のときとで、糸と下地との
画素数の差を実際よりも大きくすることができ、より確
実に二重環の糸目2の不良を判別することができる。
【0020】なお、単環の場合は、合焦位置を正しく合
わせても目飛びを検出することができるので、焦点を合
わせて糸目2を撮像しても何ら問題はないが、上記のよ
うに焦点をずらして撮像しても、目飛びを検出すること
ができる。これに対し、二重環の糸目2の不良を検査す
る場合には、撮像部12の光学系の焦点を合わせて撮像
しても良いが、糸目2の不良の判別は、焦点をずらした
ときよりも困難になる。
【0021】
【発明の効果】請求項1の発明によれば、発光した糸目
の画像を撮像し、これを画像処理して糸目不良を判別す
るようにしたので、下地の色が糸の色と同系色であって
も、下地の色に影響を受けないで糸目を撮像して、正確
に糸目を検査することができる。また、難しいレベル調
整を不要にすることができ、装置の簡略化を図ることが
できる。請求項2の発明によれば、二重環の糸目の場合
に、画素数の差を実際よりも大きくして、より確実に二
重環の糸目の不良を判別することができる。
【0022】請求項3の発明によれば、検査対象物の搬
送時のぶれや搬送速度に変化が生じても、糸目が撮像エ
リアから外れてしまうことを防止することができる。請
求項4の発明によれば、糸目の1つの目の長さよりも小
さい幅のエリアで糸の画素数を判別するようにしたの
で、目飛び以外に糸が球状に絡まった糸目不良も判別す
ることができる。請求項5の発明によれば、糸目と糸目
の間を含むエリアに影響されることなく、正確に糸目不
良を判別することができる。
【図面の簡単な説明】
【図1】本発明による糸目不良検査装置の一実施形態を
示す構成図である。
【図2】糸目の撮像エリアを示す平面図である。
【図3】二重環を撮像したときの画像を示す図であり、
(a)は、糸目の合焦位置に光学系を配置した状態を示
し、(b)は糸目の合焦位置からずれた位置に光学系を
配置した状態を示す。
【符号の説明】
1 検査対象物 2 糸目 3 撮像エリア 3a 分割画像エリア 11 投光部 12 撮像部 13 画像処理手段 14 判別手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 蛍光塗料を含有する糸により綴じられた
    糸目の目飛びその他の糸目不良を検査するための糸目不
    良検査装置であって、 糸目に紫外線を照射するブラックライトからなる投光部
    と、 前記投光部により照射された糸目を撮像する撮像部と、 前記撮像部により撮像された糸目の画像に基づいて、所
    定のエリア内における糸目の画素数を算出する画像処理
    手段と、 前記画像処理手段による糸目の画素数の算出結果に基づ
    いて、糸目が正常であるか否かを判別する判別手段とを
    備えることを特徴とする糸目不良検査装置。
  2. 【請求項2】 請求項1に記載の糸目不良検査装置にお
    いて、 前記撮像部は、前記糸目の合焦位置からずれた位置であ
    って並設された複数本の糸が連結した像を得る位置に光
    学系を配置することを特徴とする糸目不良検査装置。
  3. 【請求項3】 請求項1又は請求項2に記載の糸目不良
    検査装置において、 前記撮像部は、前記糸目の連続方向に向かって所定の撮
    像エリアごとに撮像し、隣り合う前記撮像エリアの一部
    が重なり合うようにしたことを特徴とする糸目不良検査
    装置。
  4. 【請求項4】 請求項1から請求項3までのいずれか1
    項に記載の糸目不良検査装置において、 前記画像処理手段は、前記撮像部により撮像された前記
    撮像エリアを、前記糸目の1つの目の長さより短い幅で
    前記糸目の連続方向に分割し、 前記判別手段は、この分割したエリアごとに糸目が正常
    であるか否かを判別することを特徴とする糸目不良検査
    装置。
  5. 【請求項5】 請求項1から請求項4までのいずれか1
    項に記載の糸目不良検査装置において、 前記判別手段は、前記画像処理手段により算出された糸
    目の画素数が所定数より少ないエリアが連続したとき
    に、糸目が不良であると判別することを特徴とする糸目
    不良検査装置。
JP11471599A 1999-04-22 1999-04-22 糸目不良検査装置 Expired - Fee Related JP4298052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11471599A JP4298052B2 (ja) 1999-04-22 1999-04-22 糸目不良検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11471599A JP4298052B2 (ja) 1999-04-22 1999-04-22 糸目不良検査装置

Publications (2)

Publication Number Publication Date
JP2000304705A true JP2000304705A (ja) 2000-11-02
JP4298052B2 JP4298052B2 (ja) 2009-07-15

Family

ID=14644817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11471599A Expired - Fee Related JP4298052B2 (ja) 1999-04-22 1999-04-22 糸目不良検査装置

Country Status (1)

Country Link
JP (1) JP4298052B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001353980A (ja) * 2000-06-15 2001-12-25 Kyodo Printing Co Ltd 糸綴じ製本ライン
JP2002293058A (ja) * 2001-04-03 2002-10-09 Kyodo Printing Co Ltd 糸綴じ製本方法および製本装置
JP2005114645A (ja) * 2003-10-10 2005-04-28 Asahi Techno Glass Corp ガラス管の検査装置及び検査システム
CN108474751A (zh) * 2016-01-22 2018-08-31 Mg传感器有限公司 纱线成像装置
CN109324056A (zh) * 2018-08-29 2019-02-12 西安理工大学 一种基于机器视觉的缝纫线迹测量方法
JP2019154936A (ja) * 2018-03-15 2019-09-19 Juki株式会社 縫い目検査装置
JP2020092855A (ja) * 2018-12-13 2020-06-18 三菱電機株式会社 縫製制御装置、縫製制御システム、縫製制御方法およびプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001353980A (ja) * 2000-06-15 2001-12-25 Kyodo Printing Co Ltd 糸綴じ製本ライン
JP4536217B2 (ja) * 2000-06-15 2010-09-01 共同印刷株式会社 糸綴じ製本ライン
JP2002293058A (ja) * 2001-04-03 2002-10-09 Kyodo Printing Co Ltd 糸綴じ製本方法および製本装置
JP4588912B2 (ja) * 2001-04-03 2010-12-01 共同印刷株式会社 糸綴じ製本方法および製本装置
JP2005114645A (ja) * 2003-10-10 2005-04-28 Asahi Techno Glass Corp ガラス管の検査装置及び検査システム
CN108474751A (zh) * 2016-01-22 2018-08-31 Mg传感器有限公司 纱线成像装置
JP2019154936A (ja) * 2018-03-15 2019-09-19 Juki株式会社 縫い目検査装置
JP7075246B2 (ja) 2018-03-15 2022-05-25 Juki株式会社 縫い目検査装置
CN109324056A (zh) * 2018-08-29 2019-02-12 西安理工大学 一种基于机器视觉的缝纫线迹测量方法
CN109324056B (zh) * 2018-08-29 2021-04-06 西安理工大学 一种基于机器视觉的缝纫线迹测量方法
JP2020092855A (ja) * 2018-12-13 2020-06-18 三菱電機株式会社 縫製制御装置、縫製制御システム、縫製制御方法およびプログラム

Also Published As

Publication number Publication date
JP4298052B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
KR20080093850A (ko) 패턴 검사 장치 및 패턴 검사 방법
EP1271134A1 (en) Defect detector and method of detecting defect
TWI276796B (en) Wiring pattern check up apparatus
JP2008292273A (ja) パターン検査装置およびパターン検査方法
JP2000304705A (ja) 糸目不良検査装置
JP2007033339A (ja) フィッシュアイの検出判別方法およびフィッシュアイの検出判定装置
JP6699694B2 (ja) 検査システム、検査方法
JPH11211442A (ja) 物体表面の欠陥検出方法及び装置
JP2003282675A (ja) ウエハマッピング装置
JP2000009447A (ja) テープキャリアの欠陥検出装置および欠陥検出方法
JP4216485B2 (ja) パターン検査方法およびその装置
KR100633798B1 (ko) 반도체 안착상태 및 외관형상 검사장치
JP3272998B2 (ja) バンプ高さ良否判定装置
JP2009002796A (ja) 検査装置
JP2004156910A (ja) 被覆電線検査装置
JP2954099B2 (ja) 溶接痕外観検査方法
US20020053647A1 (en) Pattern detection, processing and testing apparatus
JP3784762B2 (ja) パターン欠陥検査装置およびパターン欠陥検査方法
JP6816463B2 (ja) 中綴じ検査装置および方法
JP2629798B2 (ja) 基板検査装置
JPH0756446B2 (ja) 棒状突起物体の検査方法
JPH10197455A (ja) 表面欠陥検査装置
JPH01227910A (ja) 光学検査装置
JPH06160065A (ja) 欠け検査装置
JP4564225B2 (ja) 光学的検査装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees