JP2005149399A - 画像処理方法とそれを応用した金属腐食検査方法 - Google Patents
画像処理方法とそれを応用した金属腐食検査方法 Download PDFInfo
- Publication number
- JP2005149399A JP2005149399A JP2003389578A JP2003389578A JP2005149399A JP 2005149399 A JP2005149399 A JP 2005149399A JP 2003389578 A JP2003389578 A JP 2003389578A JP 2003389578 A JP2003389578 A JP 2003389578A JP 2005149399 A JP2005149399 A JP 2005149399A
- Authority
- JP
- Japan
- Prior art keywords
- corrosion
- image
- value
- region
- metal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000007797 corrosion Effects 0.000 title claims abstract description 60
- 238000005260 corrosion Methods 0.000 title claims abstract description 60
- 239000002184 metal Substances 0.000 title claims abstract description 47
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 47
- 238000007689 inspection Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000007769 metal material Substances 0.000 claims description 14
- 239000000284 extract Substances 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 6
- 238000007747 plating Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000002985 plastic film Substances 0.000 description 2
- 229920006255 plastic film Polymers 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005956 quaternization reaction Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】
デジタル画像中から特定の特徴を持つ領域を精度良く抽出する方法を提供し、この方法を用いた金属腐食検査方法を提供する。
【解決手段】
デジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに抽出する領域を判別することを特徴とする画像処理方法およびこの方法を用いた金属腐食検査方法。デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行うと良い。
【選択図】 図１
デジタル画像中から特定の特徴を持つ領域を精度良く抽出する方法を提供し、この方法を用いた金属腐食検査方法を提供する。
【解決手段】
デジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに抽出する領域を判別することを特徴とする画像処理方法およびこの方法を用いた金属腐食検査方法。デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行うと良い。
【選択図】 図１
Description
本発明は、画像中から特定の特徴を持つ領域を抽出する画像方法と、その方法を応用した金属材料の腐食検査方法に関する。
デジタル画像中の特徴を持つ領域を抽出する方法として、２値化処理は広く使用されている基本的な画像処理方法である。画像中の各画素の明るさと閾値との大小を比較することにより画像を２値化し、明るさが小さい画素同士、もしくは、明るさが大きい画素同士を連結することにより領域とし、各領域の位置や面積等の特徴量を計算するのが一般的である。
しかしながら、抽出すべき領域が必ずしも２値化処理では抽出できない場合がある。例えば、抽出すべき領域が背景に比べて明るい領域も暗い領域も含んでいる場合である。このような問題に対し、高低２段の閾値を用いて、低閾値より暗い部分と高閾値より明るい部分を一方の値、低閾値と高閾値の間の明るさを他方の値とする２値化処理を行うことで、対応が可能である。しかしながら、高低２段の閾値を用いた２値化では、下地が露出している腐食領域と露出していない腐食領域を分類することが出来ない。これに類似の問題に対する解決策として、デジタル画像を３値化し、ニューラルネットワークにより欠陥パターンの分類を行う方法（例えば、特許文献１）が提案されている。しかしながら、ニューラルネットワークの使用にあたっては、事前に期待する結果が得られるように教師しておく必要がある等、手間がかかるという問題があった。
一方、表面保護を目的として、製品表面への金属めっきは広く利用されている。金属めっきが保護膜として機能しているかどうかの検査を、画像処理を用いて腐食を検出することにより行うことがある。
また、水蒸気バリア膜付プラスチックフィルムのバリア性を高感度に評価するため、カルシウムなど腐食性の大きい金属膜を成膜したプラスチックフィルムを高湿度環境に保管し、金属の腐食量をもって防湿性を評価する方法（例えば、非特許文献１）が開発されている。この場合、防湿性を定量評価するためには、金属膜の腐食量を画像処理などにより算出する必要がある。
このような金属の腐食の検査や評価においては、単純に画像中の明るい部分が腐食していない領域、暗い部分が腐食した領域とは考えられない場合がある。例えば、めっきが腐食してめっきの表面より色の明るい下地が一部露出しているが、その周辺には色の暗いめっきの酸化物が付着している、というような場合である。このような場合、めっきよりも明るい部分も暗い部分も腐食領域として検出する必要があるため、２値化処理では対応できないという問題があった。
本発明は従来の画像処理方法と金属腐食検査方法のこのような問題を解決するためになされたもので、その目的とするところはデジタル画像中から特定の特徴を持つ領域を精度良く抽出する方法を提供し、この方法を用いた金属腐食検査方法を提供することにある。
本発明は、
（１）デジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに抽出する領域を判別することを特徴とする画像処理方法、
（２）前記デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行う（１）記載の画像処理方法、
（３）金属材料の表面の腐食を検出する金属腐食検査方法において、金属材料表面のデジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別することを特徴とする金属腐食検査方法、
（４）金属膜の腐食量を算出する金属腐食検査方法において、金属材料表面のデジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別し、判別した腐食領域における前記多値化処理画像の値毎に、設定した補正係数とその面積と金属膜厚みとを乗じた値を総和して腐食量とする金属腐食検査方法、
（５）前記金属材料表面のデジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した閾値により多値化処理を行う（３）、（４）記載の金属腐食検査方法、
である。
（１）デジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに抽出する領域を判別することを特徴とする画像処理方法、
（２）前記デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行う（１）記載の画像処理方法、
（３）金属材料の表面の腐食を検出する金属腐食検査方法において、金属材料表面のデジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別することを特徴とする金属腐食検査方法、
（４）金属膜の腐食量を算出する金属腐食検査方法において、金属材料表面のデジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別し、判別した腐食領域における前記多値化処理画像の値毎に、設定した補正係数とその面積と金属膜厚みとを乗じた値を総和して腐食量とする金属腐食検査方法、
（５）前記金属材料表面のデジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した閾値により多値化処理を行う（３）、（４）記載の金属腐食検査方法、
である。
本発明によれば、画像中から特定の特徴をもつ領域を抽出したり、金属材料表面の画像から腐食領域を検出したりすることが可能となるため、画像処理による検査や評価に好適である。
本発明は、デジタル画像中から特定の特徴を持つ領域を抽出する方法、また、画像処理によって金属材料表面のデジタル画像から、腐食領域の検出や、腐食量の算出を行うための方法である。
以下、本発明の画像処理方法、金属腐食検査方法について詳細に説明する。
以下、本発明の画像処理方法、金属腐食検査方法について詳細に説明する。
図１は本発明による画像処理のフロー図である。多値化処理１では、金属材料表面のデジタル画像を複数の閾値により多値化する。連結処理２では、多値化された画像中の同じ値の画素同士を連結することにより連結領域を決定する。判別処理３では、画像中におけるそれぞれの連結領域の隣接関係が特定の条件を満たす領域を抽出する。
例えば、金属材料の表面の腐食を検出する場合、金属材料の表面画像を図１のフローに従って処理することにより、腐食領域が検出される。
図２は本発明による腐食量算出方法のフロー図である。多値化処理１、連結処理２、判別処理３は図１と同じである。腐食量算出処理４では多値化画像中の値ごとに設定した補正係数と、腐食領域の面積と、金属膜厚みとを乗じて腐食量を算出する。
図３は多値化処理１の説明図である。多値化処理の最も簡単な例として３値化処理で説明するが、４値化以上の多値化処理についても、閾値の数と処理後の画像の階数が変わるのみで処理手続きは同一である。図３（ａ）は、縦軸を画像の明度とした時の、デジタル画像のプロファイル５の一例である。図３（ａ）の画像に対し、高閾値６と低閾値７の高低２段の閾値により３値化処理した結果が図３（ｂ）である。図３（ａ）中で低閾値７よりも暗い部分は図３（ｂ）の３値化処理後の画像のプロファイル８で値が０、低閾値７よ
り明るく高閾値６より暗い部分は値が１、高閾値６よりも明るい部分は値が２となっている。
り明るく高閾値６より暗い部分は値が１、高閾値６よりも明るい部分は値が２となっている。
連結処理２は、多値化した画像を処理するという点以外は、2値化画像に対する連結
処理と処理内容は同一である。連結処理には、主として、８近傍画素連結、４近傍画素連結などいくつかの種類があるが、処理する画像に合わせて適切な方法を選べばよく、本発明は連結処理方法による限定は受けない。２値化画像に対する連結処理は、一般的には一方の値の画素を背景と捉えて連結は行わず、他方の値の画素のみに対して連結処理を行い、連結領域を抽出するが、本発明の連結処理としては、多値階調のうちひとつを背景と捉えるのではなく、多値階調のそれぞれに対し連結処理を行う方が、次の判別処理へのデータとして好ましい。
処理と処理内容は同一である。連結処理には、主として、８近傍画素連結、４近傍画素連結などいくつかの種類があるが、処理する画像に合わせて適切な方法を選べばよく、本発明は連結処理方法による限定は受けない。２値化画像に対する連結処理は、一般的には一方の値の画素を背景と捉えて連結は行わず、他方の値の画素のみに対して連結処理を行い、連結領域を抽出するが、本発明の連結処理としては、多値階調のうちひとつを背景と捉えるのではなく、多値階調のそれぞれに対し連結処理を行う方が、次の判別処理へのデータとして好ましい。
判別処理３は、連結処理２の出力を受けて、多値階調のそれぞれの連結領域の隣接関係から、特定の領域のみを抽出し特定領域として判断する。図４は判別処理の処理の一例を示した説明図である。金属腐食領域を判別する場合は、３値化画像中の背景を除いて値が２の領域および値が２の領域に隣接する領域のみ抽出すると良い。図４（ａ）の３値化画像中で、値が１の背景領域９の中にいくつかの領域が存在する。この場合、上記の条件を満たすのは、値が２の領域１０、値が２の領域に隣接する値が０の領域１２、値が０の領域と値が２の領域に囲まれた値が１の領域１３である。図４（ｂ）は判別結果を示し、判別された腐食領域１４のみが画像中に示されている。値が１の領域のうち、どの領域が背景かを判定する方法については、本発明では規定しないが、画像中における腐食面積の割合が十分に小さい場合、一般的には、値が１の領域のうち最も面積の大きい領域が背景である。
図５は金属膜の腐食量算出処理４の説明図である。図５（ａ）は、下地１５に金属膜１６を成膜したものの断面図である。腐食により金属膜が消失した部分１８があり、下地１５が露出している。図５（ｂ）は、図５（ａ）のような断面のものを金属膜１６側の表面から撮影し、３値化した画像の一例である。図５（ｂ）の３値化画像から、腐食により金属膜が消失した部分１８の体積を算出するとき、本発明の方法は３値化画像の値に対応して適切に設定した補正値と領域面積と金属膜厚み１７とを乗じて金属膜の腐食量とする。値が２の領域１０については、金属膜がすべて腐食して消失しているため、例えば、補正値を１．０として、１．０と値が２の領域１０の面積と金属膜厚み１７とを乗じて腐食量とする。値が０の領域１１については、金属膜の一部が腐食して消失しているため、補正値として例えば０．４を設定し、０．４と領域の面積と金属膜厚み１７とを乗じて、これらの総和を腐食量とする。値が２の領域１０と値が０の領域１１を同様の腐食と判断して、単純にその面積と金属膜厚み１７とを乗じて腐食量とするよりも本発明の方法は精度の高い腐食量の算出が可能である。
デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した閾値により多値化処理を行うことにより、検出すべきではない領域の影響や照明などのムラの影響を排除することが可能となる。ブロックの分割数が多いほど、細かいムラへの対応が可能である。分割数の最小値は２であり、また、最大の分割数となるのはデジタル画像１画素毎に分割した場合となるが、分割数が増加すると処理に要する時間も増加する。ブロック毎に設定する閾値は、処理を行うデジタル画像の統計データを使って計算しても良いし、あらかじめ照明のムラを観測した結果を用いたりしても良く、条件に合わせて適切に設定すればよい。
本発明の画像処理方法は、デジタル画像中から特定の特徴をもつ領域を抽出することができ、この方法を応用した本発明の金属腐食検査方法は、デジタル画像から金属の腐食検
出及び腐食量の算出を精度良く行えるため、画像処理による検査方法として有用である。
出及び腐食量の算出を精度良く行えるため、画像処理による検査方法として有用である。
１ 多値化処理
２ 連結処理
３ 判別処理
４ 腐食量算出処理
５ デジタル画像のプロファイル
６ 低閾値
７ 高閾値
８ ３値化処理後の画像のプロファイル
９ 値が１の背景領域
１０ 値が２の領域
１１ 値が０の領域
１２ 値が０の領域に隣接する値が２の領域
１３ 値が１の領域と値が２の領域に囲まれた値が０の領域
１４ 判別された腐食領域
１５ 下地
１６ 金属膜
１７ 金属膜厚み
１８ 腐食により金属膜が消失した部分
２ 連結処理
３ 判別処理
４ 腐食量算出処理
５ デジタル画像のプロファイル
６ 低閾値
７ 高閾値
８ ３値化処理後の画像のプロファイル
９ 値が１の背景領域
１０ 値が２の領域
１１ 値が０の領域
１２ 値が０の領域に隣接する値が２の領域
１３ 値が１の領域と値が２の領域に囲まれた値が０の領域
１４ 判別された腐食領域
１５ 下地
１６ 金属膜
１７ 金属膜厚み
１８ 腐食により金属膜が消失した部分
Claims (5)
- デジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに抽出する領域を判別することを特徴とする画像処理方法。
- 前記デジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行う請求項１記載の画像処理方法。
- 金属材料の表面の腐食を検出する金属腐食検査方法において、金属材料表面のデジタル画像を複数の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別することを特徴とする金属腐食検査方法。
- 金属膜の腐食量を算出する金属腐食検査方法において、金属材料表面のデジタル画像を複数段の閾値により多値化処理し、多値化処理画像中の同じ値の画素同士を連結することにより連結領域を決定し、前記連結領域の隣接関係をもとに腐食領域を判別し、判別した腐食領域における前記多値化処理画像の値毎に、設定した補正係数とその面積と金属膜厚みとを乗じた値を総和して腐食量とする金属腐食検査方法。
- 前記金属材料表面のデジタル画像を複数のブロックに分割し、それぞれのブロック毎に設定した複数の閾値により多値化処理を行う請求項３または４記載の金属腐食検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003389578A JP4367103B2 (ja) | 2003-11-19 | 2003-11-19 | 画像処理方法とそれを応用した金属腐食検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003389578A JP4367103B2 (ja) | 2003-11-19 | 2003-11-19 | 画像処理方法とそれを応用した金属腐食検査方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005149399A true JP2005149399A (ja) | 2005-06-09 |
| JP4367103B2 JP4367103B2 (ja) | 2009-11-18 |
Family
ID=34696281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003389578A Expired - Lifetime JP4367103B2 (ja) | 2003-11-19 | 2003-11-19 | 画像処理方法とそれを応用した金属腐食検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4367103B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028229A (zh) * | 2019-12-19 | 2020-04-17 | 中国特种飞行器研究所 | 一种基于图像处理技术的金属或涂层腐蚀检测方法 |
| WO2020118896A1 (zh) * | 2018-12-10 | 2020-06-18 | 上海奕瑞光电子科技股份有限公司 | 一种图像修复方法、图像修复系统及平板探测器 |
| JP2020159793A (ja) * | 2019-03-26 | 2020-10-01 | 株式会社ダイヘン | 塗装面検査装置、学習器、及びプログラム |
-
2003
- 2003-11-19 JP JP2003389578A patent/JP4367103B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020118896A1 (zh) * | 2018-12-10 | 2020-06-18 | 上海奕瑞光电子科技股份有限公司 | 一种图像修复方法、图像修复系统及平板探测器 |
| JP2020159793A (ja) * | 2019-03-26 | 2020-10-01 | 株式会社ダイヘン | 塗装面検査装置、学習器、及びプログラム |
| CN111028229A (zh) * | 2019-12-19 | 2020-04-17 | 中国特种飞行器研究所 | 一种基于图像处理技术的金属或涂层腐蚀检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4367103B2 (ja) | 2009-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6570996B1 (en) | Watermarking an informational signal | |
| CN114937055A (zh) | 基于人工智能的图像自适应分割方法与系统 | |
| CN115439481B (zh) | 基于图像处理的除氧器焊接质量检测方法 | |
| CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
| JP6473844B1 (ja) | ひび割れ検出装置、ひび割れ検出方法およびひび割れ検出プログラム | |
| CN113221763B (zh) | 一种基于视频图像亮度的火焰识别方法 | |
| JP4870016B2 (ja) | ひび割れ検出方法 | |
| Ng et al. | An improved method for image thresholding based on the valley-emphasis method | |
| CN114266743A (zh) | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 | |
| JP4367103B2 (ja) | 画像処理方法とそれを応用した金属腐食検査方法 | |
| CN112149744B (zh) | 一种侵权图片快速识别方法 | |
| KR100827906B1 (ko) | 기판 검사 장치 | |
| JP2004538555A5 (ja) | ||
| JP2016121953A (ja) | トンネル覆工面画像のひび割れ領域抽出のための画像処理方法 | |
| JP2000048120A (ja) | 濃淡画像の文字領域抽出方法及びそのプログラムを記録した記録媒体 | |
| CN115965796A (zh) | 一种基于图像识别的金属锈蚀检测方法及系统 | |
| CN112053356B (zh) | 塑封半导体管脚处缺陷的检测方法及装置 | |
| JPH1055425A (ja) | 水路流出入物監視装置 | |
| CN114299092A (zh) | 一种指纹图像的湿度评估方法、装置及系统 | |
| CN113034454A (zh) | 一种基于人类视觉感官的水下图像质量评价方法 | |
| US8699761B2 (en) | Method for evaluating quality of image representing a fingerprint pattern | |
| JP4534599B2 (ja) | 画像処理方法 | |
| US20230394872A1 (en) | Detection of face manipulation by quantified disorder measurements | |
| CN114638833B (zh) | 基于机器视觉的有色金属压延质量检测方法及系统 | |
| Hamdoun et al. | Image Processing in Automatic License Plate Recognition Using Combined Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090702 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090804 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090817 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4367103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130904 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130904 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140904 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |