JP2006153614A - 帯状体や柱状体の周期疵検出方法およびその装置 - Google Patents
帯状体や柱状体の周期疵検出方法およびその装置 Download PDFInfo
- Publication number
- JP2006153614A JP2006153614A JP2004343556A JP2004343556A JP2006153614A JP 2006153614 A JP2006153614 A JP 2006153614A JP 2004343556 A JP2004343556 A JP 2004343556A JP 2004343556 A JP2004343556 A JP 2004343556A JP 2006153614 A JP2006153614 A JP 2006153614A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wrinkle
- periodic
- strip
- flaw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出方法において、撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出し、長手方向位置xにおける疵候補画像F(x)と長手方向位置をτずらしたときの疵候補画像F(x+τ)との相関を画像の類似度で演算し、さらに長手方向に関して前記類似度の総和を求め、τを変化させて前記類似度の総和を比較して、周期疵を検出することを特徴とする帯状体や柱状体の周期疵検出方法。
【選択図】 図3
Description
例えば、鋼板などの圧延ラインにおいては、油、水滴、軽い汚れなどが鋼板表面に付着する場合が多くあり、これらの油等は製品の品質に影響のない限り、無害判定すべきものである。一方、圧延ロールの表面に欠けや凹みが生じたり異物が付着したりして、これが被圧延材に転写されて生じるロール疵は、圧延ロールが回転するごとに被圧延材の長手方向に発生し続けるため、有害判定すべきものである。そして、通常このロール疵及びその周期性が検出されたときは、アラームがオペレータに通報され、圧延ロールの交換作業が行われる。
このように圧延ラインを移動する鋼板表面には様々な疵や汚れ等が付着しているので、抽出した疵候補の中から如何に精度よく、そして如何に迅速にロール疵及びその周期性を検出するかは、表面疵検査の信頼性、ひいては製品の品質を向上させるための重要な要因となる。
しかし、実際の鋼板などの圧延工程においては、被圧延材の厚さばらつきに起因する圧下率の変動等に伴い、圧延ロールに生じた疵が常に一定のレベルで被圧延材に転写されるとは限らない。すなわち、一般に圧下率が小さいときは製品の品質に影響を与えるようなロール疵は発生せず、また、発生したとしても軽微な周期疵の場合には、画像上での輝度変化が小さいことから疵候補として抽出され難いため、間引的に疵候補が抽出される抽出抜け(いわゆる未検出)が生じる場合がある。また、鋼板の表面状態は様々であり、表面むら、肌荒れ等によるノイズが多く、本来無害疵と判定すべき油、水滴等を疵候補として過剰に検出(いわゆる過剰検出)してしまう場合もある。さらには、有害疵ではあるが周期性がなく単発的に発生する単発疵も疵候補として抽出される。
このため、疵候補の間隔(ピッチ)を単純に比較して周期性を判定する方法においては、疵候補の未検出や過剰検出あるいは単発疵により疵候補の間隔(ピッチ)が一致せず、ロール疵及びその周期性を正確に検出することができないという問題があった。
例えば、図1(b)は図1(a)で想定した疵候補に加えてノイズN2、N3を過剰に検出した場合、すなわち3個のノイズ(N1〜N3)を含む合計12個の疵候補を抽出した場合を想定したものであるが、この場合には図1(a)と同じ操作を行ってもピークP2(この場合におけるP2の値は6)が検出しきい値を超えて誤判定することを示している。
(B)抽出した疵候補から、各疵候補の長手方向の位置情報を示す信号系列D1を作成する。なお、信号系列D1の作成に際しては、図7(a)に示すように長手方向に長い処理領域を選択し、当該処理領域に含まれる疵候補について、各疵候補の長手方向の位置情報を示す信号系列D1を作成する。
(C)当該信号系列D1の位相をτシフトした信号系列D2を作成する。
(E)そして、当該信号系列D2の各信号レベルを、(D)で演算した画像の類似度に置換する処理を行い、置換後の信号系列をD2´とする。
(F)当該信号系列D2´に含まれる信号レベルの総和、換言すると画像の類似度の総和を演算し、これをピークP2とする。
(H)当該ピークP2がピーク検出しきい値を超える場合は、当該ピーク間の距離、すなわちピークP1とP2間の距離を周期疵の間隔(ピッチ)と判定し、検出しきい値を超えない場合は、前記した信号系列のシフト(C)、画像の類似度の演算(D)、信号レベルの置換処理(E)、ピーク演算(F)、ピーク検出しきい値との比較(G)、周期性の判定(H)により構成される演算処理を所定数繰り返す。
そして、自己相関を利用した周期疵の検出方法を示す図1(b)と本発明に係る周期疵の検出方法を示す図3とを対比すると、図1(b)におけるP2がピーク検出しきい値を超えて誤判定するのに対し、図3におけるP2については信号系列の各信号レベルを画像の類似度に置換することによって、ノイズによる影響を回避・低減することに成功しているが、これは本発明に係る周期疵の検出方法における最大の特徴を示すとともに、従来技術と比較した極めて有利な効果を示すものである。
(2)前記画像の類似度の演算に、差分積算係数または正規化相関係数を用いることを特徴とする前記(1)に記載の帯状体や柱状体の周期疵検出方法。
(4)前記画像の類似度を演算する手段が、差分積算係数または正規化相関係数を演算する手段であることを特徴とする前記(3)に記載の帯状体や柱状体の周期疵検出装置。
なお、被検査材が柱状体のときには、複数の撮像装置を柱状体の周囲に配置してそれぞれ異なる面の表面画像を採取する。
撮像装置4は、帯状鋼板1の板幅方向(X方向)の濃淡画像を撮像し、白黒256階調の情報量を出力する。撮像画像は、画像処理装置9であるコンピュータにデータ入出力制御装置12を介して主記憶装置11に転送する。データ入出力制御装置12は、撮像装置4が長手方向(Y方向)に移動する帯状鋼板1の表面を隙間なく連続して撮像することができるように、撮像装置4に対して圧延速度と同期させた制御タイミングを出力する。撮像装置4は、データ入出力制御装置12から出力される制御タイミングで、撮像と撮像画像の転送を繰り返す。
撮像装置4によって撮像した白黒濃淡画像をフレーム単位、例えば、2048×512画素で画像処理装置に入力する。
撮像装置4に使用される撮像素子、例えば、CCDセンサやCMOSセンサなどの感度が不均一であったり、照明の光量や方向が不均一であったりすると、本来の撮像対象の輝度は一様であるのに、撮像画像内のある部分は明るく、また別のある部分は暗くなるなど、いわゆる輝度むらが生じる場合がある。この輝度むらが生じると、次工程であるラベリング処理や特徴量計算、ひいては撮像画像から正確に疵候補を抽出することが困難となるので、必要に応じて画像全体が一様な明るさになるようにシェーディング補正を行う。
入力画像に対する演算処理を容易にすべく、シェーディング補正した白黒濃淡画像に対して2値化処理を行い、濃度値として0か1しか持たない2値画像に変換する。しきい値の選択方法としては、P−タイル法や画像の濃度ヒストグラムを利用するモード法があるが、経験的または実験的によってしきい値を選択してもよい。
上記の2値画像から疵候補を抽出するための前処理として、ラベリング処理および特徴量計算を行う。ラベリング処理とは、特徴量計算の前に行う処理であり、2値画像中において幾何的に連結して一つの塊となっている図形(連結図形)ごとに、異なった番号(ラベル)を割り当てる処理である。また、特徴量計算とは、特徴抽出とも呼ばれ、図形の形状に関する特徴量を求める処理であり、求める特徴量としては、疵候補の位置、外接長方形の幅、長さ、長さと幅の比、最大長、周囲長などから選択される1又は2以上の組み合わせである。
上記処理をした画像から、帯状体の長手方向に間隔をおいて現れる複数の疵候補を抽出する。ここで疵候補とは、撮像装置によって撮像された鋼板表面の撮像画像に対し、上記のシェーディング補正、2値化処理、ラベリング処理、特徴量計算等の画像処理(信号処理)を施して抽出したものであり、図3に示すように、検出すべき周期疵のほかに過剰検出によるノイズや単発疵が含まれる。
図3は、本発明に係る周期疵の検出方法の原理を概念的に示す模式図であり、撮像画像から抽出した疵候補として、右から2番目の位置で単発疵N1を、4番目の位置で過剰検出によるノイズN2を、8番目の位置で過剰検出によるノイズN3を抽出した場合を想定したものであり、それ以外の疵候補は、その周期性を検出すべき周期疵であり、これは図1(b)における疵候補の抽出パターンと同じものである。
抽出した疵候補から、各疵候補の長手方向の位置情報を示す信号系列D1を作成する。すなわち、信号系列D1に含まれる各信号は長手方向位置xにおける疵候補の有無を表し、位置xにおける所定のレベルの信号は、当該位置xにおいて疵候補が抽出されたことを意味する。また、当該位置xにおける所定のレベルの信号と当該位置xにおいて抽出された疵候補画像F(x)との間には1対1の対応づけを行う。
なお、図3においては発明を理解しやすくするために、信号系列D1に含まれる各信号レベルを1として表示しているが、当該信号系列は各疵候補の長手方向の位置情報を示すため、これに限定されるものではない。同様に、信号系列D1に含まれる各信号を矩形表示しているがこれに限定されるものではなく、例えば、疵位置を中心とする台形としてもよい。台形を用いることで、疵の位置の誤差を吸収することができる。台形を用いた手順についても後に触れる。
図3に示すように信号系列D1の位相をτ=δ(>0または<0)シフトした信号系列、まずは、D2(x)=D1(x+δ)なる信号系列D2を作成する。なお、このシフト操作は、図1に示す自己相関を利用して周期疵を検出する方法、および図2に示すテンプレートマッチングによるノイズ除去処理後に自己相関を利用して周期疵を検出する方法と同様の操作である。
信号系列D1とD2に含まれる各信号に対応する画像同士を比較して、画像の類似度を演算する処理を行う。図3を用いて具体的に説明すると、信号系列D1とD2の間において矢印で結んだ関係にある信号に対応する画像同士を比較して画像の類似度を演算する。換言すると、信号系列D1とD2とは前記するようにD2(x)=D1(x+δ)なる関係であるため、本ステップにおける画像の類似度の演算とは、長手方向位置xにおける疵候補画像F(x)と長手方向位置をδずらしたときの疵候補画像F(x+δ)との相関を画像の類似度で演算することに相当する。
ここで、画像の類似度を演算する方法としては、差分積算係数Sや正規化相関係数Cを用いる方法がある。
差分積算係数Sは、以下の(1)式によって求めるものであり、比較する2つの画像FとGが完全に一致する場合は類似度1.0を、まったく類似しない場合には類似度0.0を与えるものである。なお、(1)式において、Mは幅方向の画素数を、Nは長手方向の画素数を、Qは濃淡画像の階調数を、(i,j)は画像中の各画素を示す。また、長手方向位置xにおいて疵候補が抽出されない場合は、長手方向位置xにおける疵候補画像が存在しないため、類似度を0.0とする。
信号系列D2の各信号レベルを画像の類似度に置換する処理を行い、置換後の新しい信号系列をD2´とする。すなわち、前記したように信号系列D1とD2とはD2(x)=D1(x+δ)なる関係であるため、図3におけるD2´は、長手方向位置xにおける疵候補画像F(x)と長手方向位置をδずらしたときの疵候補画像F(x+δ)との画像の類似度の演算結果そのものである。
なお、画像の類似度の演算に正規化相関係数Cを用いる場合は、Cの範囲は−1以上1以下であるので、演算結果が0.0以下の場合は類似度0.0として信号レベルを置換する。
また、信号系列D1を生成する際に台形を用いる場合について述べる。この場合は、上記の手順のように画像の類似度をそのまま用いるのではなく、重み係数を考慮した類似度を用いてD2´を生成する。すなわち、系列D1(x)をδずらしたD2(x)=D1(x+δ)も同じく台形で構成されるため、両系列の台形の間には、ずらし量δに対応した位置関係が生じる。そこで、2つの台形の位置が一致するに従って高い値を、乖離するに従って低い値を持つような重み係数を定義し、この重み係数と類似度の積を用いて系列D2´を生成する。その一例を図8に示す。図8では、2つの台形の高さの積を重み係数としており、上底が一致している範囲では重み係数1を、下底を含めて全く一致しない範囲では0をとる。このように台形を用いた場合、台形の形を適当に設定することで、疵の位置に含まれる誤差を吸収することができる。
当該信号系列D2´に含まれる信号レベルの長手方向に関しての総和、換言すると画像の類似度の総和を演算し、これをピークP2として(S20)、当該ピークをピーク検出しきい値と比較して(S21)、周期性の判定(S22)を行う。図3を用いて具体的に説明すると、信号系列D2´に含まれる各信号レベルの総和をピークP2として、このピークP2と経験的または実験的に定めたピーク検出しきい値とを比較する。そして、ピークP2が検出しきい値を超えない場合は、前記した信号系列のシフト(S17)、画像の類似度の演算(S18)、信号レベルの置換処理(S19)、ピーク演算(S20)、ピーク検出(S21)、周期性の判定(S22)により構成される演算処理を繰り返す。
なお、図3は、ピークP2が検出しきい値を超えないので新たにτ=δ’>(または<)δとして、D3(x)=D1(x+δ’)なる信号系列を作成し、長手方向位置xにおける疵候補画像F(x)と長手方向位置をδ’ずらしたときの疵候補画像F(x+δ’)との相関を画像の類似度で演算し、このときの画像の類似度の総和をピークP3としたとき、これがピーク検出しきい値を超えるので、当該撮像画像から抽出した疵候補の信号系列には周期性がδ’であるものと判定し、かつ、ピークP1とP3との距離を周期疵の間隔(ピッチ)と判定するものである。
このように、長手方向位置xにおける疵候補画像F(x)と長手方向位置をτずらしたときの疵候補画像F(x+τ)との相関を画像の類似度で演算し、さらに長手方向に関して前記類似度の総和を求め、τを変化させて前記類似度の総和を比較することによって、疵候補の未検出や過剰検出あるいは単発疵によるノイズの影響を低減することができ、その結果として周期性の有無および周期疵の間隔(ピッチ)を正確に判定することができる。
すなわち、本発明においては、コンピュータ(計算機)の有する一般的な機能、例えば、加減・シフト等の数値演算、論理演算、比較等のみを利用するので、特殊な計算機を用意する必要がない。なお、高速化が要求される場合には、画像の類似度の演算に専用DSPを用いてもよい。
2 搬送ローラ
3 パルスジェネレータ
4 撮像装置
5 入力装置
6 グラフィックボード
7 表示装置
8 補助記憶装置
9 画像処理装置
10 CPU
11 主記憶装置
12 データ入出力制御装置
13 処理領域
Claims (4)
- 移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出方法において、撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出し、長手方向位置xにおける疵候補画像F(x)と長手方向位置をτずらしたときの疵候補画像F(x+τ)との相関を画像の類似度で演算し、さらに長手方向に関して前記類似度の総和を求め、τを変化させて前記類似度の総和を比較して、周期疵を検出することを特徴とする帯状体や柱状体の周期疵検出方法。
- 前記画像の類似度の演算に、差分積算係数または正規化相関係数を用いることを特徴とする請求項1に記載の帯状体や柱状体の周期疵検出方法。
- 移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出装置において、帯状体や柱状体の表面を撮像する撮像装置と、撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出する手段と、長手方向位置xにおける疵候補画像F(x)と長手方向位置をτずらしたときの疵候補画像F(x+τ)との相関を画像の類似度で演算し、さらに長手方向に関して前記類似度の総和を求め、τを変化させて前記類似度の総和を比較する手段を有する画像処理装置とから構成されることを特徴とする帯状体や柱状体の周期疵検出装置。
- 前記画像の類似度を演算する手段が、差分積算係数または正規化相関係数を演算する手段であることを特徴とする請求項3に記載の帯状体や柱状体の周期疵検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004343556A JP4395057B2 (ja) | 2004-11-29 | 2004-11-29 | 帯状体や柱状体の周期疵検出方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004343556A JP4395057B2 (ja) | 2004-11-29 | 2004-11-29 | 帯状体や柱状体の周期疵検出方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006153614A true JP2006153614A (ja) | 2006-06-15 |
JP4395057B2 JP4395057B2 (ja) | 2010-01-06 |
Family
ID=36632110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004343556A Active JP4395057B2 (ja) | 2004-11-29 | 2004-11-29 | 帯状体や柱状体の周期疵検出方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4395057B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256558A (ja) * | 2007-04-05 | 2008-10-23 | Nippon Steel Corp | 疵検査方法、疵検査装置、及びコンピュータプログラム |
WO2009123296A1 (ja) * | 2008-03-31 | 2009-10-08 | Jfeスチール株式会社 | 周期性欠陥検出装置及びその方法 |
WO2010008067A1 (ja) * | 2008-07-18 | 2010-01-21 | 旭硝子株式会社 | 欠陥検査のための画像データの処理装置および方法、これらを用いた欠陥検査装置および方法、これらを用いた板状体の製造方法、並びに記録媒体 |
CN103797362A (zh) * | 2011-07-15 | 2014-05-14 | 奥钢联钢铁公司 | 用于探测在目标物上的至少一个周期性出现的缺陷的设备和方法 |
CN114782330A (zh) * | 2022-03-31 | 2022-07-22 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
-
2004
- 2004-11-29 JP JP2004343556A patent/JP4395057B2/ja active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256558A (ja) * | 2007-04-05 | 2008-10-23 | Nippon Steel Corp | 疵検査方法、疵検査装置、及びコンピュータプログラム |
WO2009123296A1 (ja) * | 2008-03-31 | 2009-10-08 | Jfeスチール株式会社 | 周期性欠陥検出装置及びその方法 |
JP2009265087A (ja) * | 2008-03-31 | 2009-11-12 | Jfe Steel Corp | 周期性欠陥検出装置及びその方法 |
US20110040499A1 (en) * | 2008-03-31 | 2011-02-17 | Jfe Steel Corporation | Apparatus for detecting periodic defect and method therefor |
TWI392865B (zh) * | 2008-03-31 | 2013-04-11 | Jfe Steel Corp | 週期性缺陷檢測裝置及其方法 |
US9008975B2 (en) | 2008-03-31 | 2015-04-14 | Jfe Steel Corporation | Apparatus for detecting periodic defect and method therefor |
WO2010008067A1 (ja) * | 2008-07-18 | 2010-01-21 | 旭硝子株式会社 | 欠陥検査のための画像データの処理装置および方法、これらを用いた欠陥検査装置および方法、これらを用いた板状体の製造方法、並びに記録媒体 |
JP5263291B2 (ja) * | 2008-07-18 | 2013-08-14 | 旭硝子株式会社 | 欠陥検査のための画像データの処理装置および方法、これらを用いた欠陥検査装置および方法、これらを用いた板状体の製造方法、並びに記録媒体 |
KR101609007B1 (ko) | 2008-07-18 | 2016-04-04 | 아사히 가라스 가부시키가이샤 | 결함 검사를 위한 화상 데이터의 처리 장치 및 방법, 이것들을 사용한 결함 검사 장치 및 방법, 이것들을 사용한 판 형상체의 제조 방법, 및 기록 매체 |
CN103797362A (zh) * | 2011-07-15 | 2014-05-14 | 奥钢联钢铁公司 | 用于探测在目标物上的至少一个周期性出现的缺陷的设备和方法 |
CN114782330A (zh) * | 2022-03-31 | 2022-07-22 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
CN114782330B (zh) * | 2022-03-31 | 2022-12-16 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4395057B2 (ja) | 2010-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5347418B2 (ja) | 表面欠陥検査システム、方法及びプログラム | |
JP2007132757A (ja) | 外観検査方法および同装置 | |
WO1998015919A1 (fr) | Procede et appareil de detection de defauts de raies sur des documents imprimes | |
JP2009133085A (ja) | トンネル覆工のひび割れ検査装置 | |
JP5643918B2 (ja) | 欠陥検査装置および欠陥検査方法 | |
JPWO2020110667A1 (ja) | 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル | |
JP4189061B2 (ja) | コンクリート表面のクラック検出方法 | |
JP2011076204A (ja) | 印刷物検査方法及び印刷物検査装置 | |
EP2173087B1 (en) | Improved setting of image sensing conditions for defect detection | |
JP2008267943A (ja) | ひび割れ検出方法 | |
JP4395057B2 (ja) | 帯状体や柱状体の周期疵検出方法およびその装置 | |
JP5037166B2 (ja) | 表面疵検査システム、表面疵検査方法、及びコンピュータプログラム | |
TWI477732B (zh) | Hole inspection device | |
JP2010243263A (ja) | 帯状体の表面検査装置、表面検査方法及びプログラム | |
JP2006105791A (ja) | 帯状体や柱状体の周期性疵検出方法およびその装置 | |
JP4276608B2 (ja) | 帯状体や柱状体の周期性疵検出方法およびその装置 | |
JP4658779B2 (ja) | 疵検出方法、装置、及びコンピュータプログラム | |
JP2014106141A (ja) | 欠陥検査装置、及び欠陥検査方法 | |
JP5157575B2 (ja) | 欠陥検出方法 | |
JP2008233107A (ja) | 外観検査方法及び外観検査装置 | |
JP5176372B2 (ja) | 疵検査方法、疵検査装置、及びコンピュータプログラム | |
JP7356010B2 (ja) | 表面性状検査装置及び表面性状検査方法 | |
JP2005265639A (ja) | 帯状体のロール疵検出方法およびその装置 | |
JP4980739B2 (ja) | ひび割れ検出方法 | |
JP4403036B2 (ja) | 疵検出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4395057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |