JP2003263642A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法Info
- Publication number
- JP2003263642A JP2003263642A JP2002062299A JP2002062299A JP2003263642A JP 2003263642 A JP2003263642 A JP 2003263642A JP 2002062299 A JP2002062299 A JP 2002062299A JP 2002062299 A JP2002062299 A JP 2002062299A JP 2003263642 A JP2003263642 A JP 2003263642A
- Authority
- JP
- Japan
- Prior art keywords
- black
- block
- image processing
- processing method
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
に、微小ノイズ領域に対してもラベルを振ってしまうこ
とにより、処理の高速化に限界があった。 【解決手段】 2値画像内のオブジェクトに対してラベ
リングを行う際に、ステップS402において、の内部にお
ける黒画素数が所定割合以上であるような所定サイズの
ブロックを黒ブロックとして検出し、ステップS404にお
いて、該検出された黒ブロック内および該黒ブロックに
連結している黒画素を所定のラベル値で塗りつぶすこと
によって、該黒ブロックを内部に含んだ、所定サイズ以
上のオブジェクトに対するラベル付けを行う。
Description
オブジェクト毎にラベル付けを行う画像処理装置及びそ
の方法に関する。
ラベル付けを行うための、所謂ラベリングのアルゴリズ
ムが種々提案されている。
ノイズ領域を含んでおり、このようなノイズ領域はもち
ろんオブジェクトではないため、本来ラベルを付ける必
要はない。したがって処理時間の観点からも、画像内の
微小ノイズ領域に対してはラベルを振らないように制御
することが望ましい。
ングの前処理として周知の孤立点除去を行なうことによ
って、画像内のノイズを減らして無駄なラベル付けを回
避し、ラベリングの高速化を図ることができる。
ングの前処理として孤立点除去を行ったとしても、完全
に孤立していない、数画素程度が連結したノイズを除去
することはできなかった。したがって、微小ノイズ領域
に対してラベルを振ってしまうという問題は完全には解
決されなかった。
例えば特開2000-285240に記載された方法が提案されて
いる。該方法によれば、一般的な塗りつぶしアルゴリズ
ムを用いてまず黒画素の連結領域を塗りつぶした後、該
塗りつぶした領域に対して一つのラベルを割り当てる。
この塗りつぶし及びラベル割り当て処理を繰り返すこと
によって、全画像に対するラベリングが行われる。この
方法においては、塗りつぶした画素数が少ないときに
は、該領域が孤立した微小なノイズ領域であると考えら
れるため、該領域に対してラベルを与えずに処理をスキ
ップすることを特徴とする。該特徴により、余分なラベ
ル割り当てを排除することができる。
載されたラベリング方法によっても、連結領域の塗りつ
ぶし処理は全ての黒画素について行なう必要があった。
したがって、特にノイズの多い画像については、ラベリ
ングの高速化に限界があった。
たものであり、ノイズの影響を排除排した高速なラベリ
ング処理を実現する画像処理装置及びその方法を提供す
ることを目的とする。
に、本発明に係る画像処理方法は以下の工程を備える。
してラベリングを行う画像処理方法であって、前記2値
画像において、その内部における黒画素数が所定割合以
上であるような所定サイズのブロックを、黒ブロックと
して検出する黒ブロック検出工程と、検出された黒ブロ
ック内および該黒ブロックに連結している黒画素につい
て、所定のラベル値で置き換えるラベル付け工程と、を
有することを特徴とする。
ついて、図面を参照して詳細に説明する。
行されるコンピュータシステムの構成を示すブロック図
である。図1において、101はCPUで、システム全体の制
御を行なっている。102はキーボードで、マウス102aと
ともにシステムへの入力を行うために使用される。103
は表示装置であり、CRTや液晶等で構成されている。104
はROM、105はRAMであり、システムの記憶装置を構成
し、システムが実行するプログラムやシステムが利用す
るデータを記憶する。106はハードディスク装置、107は
フロッピー(登録商標)ディスク装置であり、システム
のファイルシステムに使用される外部記憶装置を構成し
ている。108はプリンタである。
であり、不図示のLANまたはWANに接続している。I/F109
を介して、コンピュータプログラムやデジタル画像等の
データファイルを外部のコンピュータシステムと授受す
ることができる。外部コンピュータより受信したプログ
ラムやデータはハードディスク106に記録されたり、直
接RAM105に展開して実行される。
の写真や印刷物をデジタル画像データとしてRAM105上に
取り込むことができる。
んで2値化した画像の一例を示す。図中の2つの矩形
は、写真等の矩形の原稿を示すオブジェクトであり、3
つの楕円はノイズを示している。この2値画像は、幅W
画素、高さH画素のビットマップとしてRAM105に保持さ
れている。各画素は8ビット値を有し、黒画素は値255、
白画素は値0によって示される。
化して示したが、実際の2値画像におけるノイズはサイ
ズも形状も不定であり、その数も数百から数千個程度に
なることが多い。なお、本実施形態における2値化は、
所定の閾値との比較によって行なう周知の単純二値化法
を用いるとし、ここでは詳細な説明を省略する。
的なラベリング処理とは、黒画素同士の連結に基づき、
例えば上方の矩形オブジェクトに含まれる全ての画素に
対して画素値1を与え、下方の矩形オブジェクトに含ま
れる全画素に対しては画素値2を与えることである。す
なわち、微小なノイズ分にはラベルを与えず、画素値25
5のままにしておく。
形態におけるラベリング方法について、詳細に説明す
る。
クトを含む左上部分に対応し、本実施形態における塗り
つぶし処理の起点となるブロックの探索方法を説明する
ための図である。
素×H画素のビットマップ全体を、w画素×h画素のブ
ロックに分け、その内部が全て値255の黒画素で占めら
れるようなブロック(以下、「黒ブロック」と称する)
を図中矢印方向に探索する。図3において黒矩形で示し
たブロックが、見つかった黒ブロックである。
黒画素が連結している領域を塗りつぶすことによって、
高速なラベリングを実現する。図4に、本実施形態にお
けるラベリング処理全体のフローチャートを示し、説明
する。
し、ステップS402で黒ブロック探索を行う。この黒ブロ
ック探索処理の詳細については後述する。
つかったか否かを判断し、見つかったらステップS404へ
進むが、見つからなければ処理を終了する。
を起点にして、黒画素連結領域をラベルcで塗りつぶ
す。この塗りつぶし処理の詳細については後述する。
クリメントしてステップS402に戻り、以上の処理を繰り
返す。
オブジェクトのみに対して、ラベル1,2,…,cを与えるこ
とができる。
の詳細を図5のフローチャートに示し、説明する。な
お、図2に示す2値画像のビットマップは2次元配列と
してアクセスできるものとし、以下、画像左上を起点と
して水平方向にi番目、垂直方向にj番目の画素の値をbu
f(i,j)と表記する。
y,x,j,iをそれぞれ値0で初期化する。そしてス
テップS505でbuf(x+i,y+j)が黒画素を示す255であるか
否かを判断し、255であればステップS506へ、255でなけ
ればステップS510へ進む。
リメントし、ステップS507でiがブロック幅を示すwに
等しければステップS508へ進み、異なればステップS505
へ進む。
リメントし、ステップS509でjがブロック高さを示すh
に等しければ処理を終了し、このとき、(x,y)を左上起
点とするw×h画素ブロックが黒ブロックであるとして
検出される。jがhと異なるときはステップS504へ戻
る。
S511でxが画像幅を示すW以上であればステップS512へ
進み、そうでなければステップS503へ戻る。
S513でyが画像高さを示すH以上であれば処理を終了
し、このとき、黒ブロックは存在しないと判定される。
yがH未満であればステップS502へ戻る。
値画像からw画素×h画素の黒ブロックが検出される。
し処理の詳細を図6のフローチャートに示し、説明す
る。
ては種々の方法が知られており、本実施形態ではどのよ
うな塗りつぶし方法を用いても良い。したがって、ここ
では基本的な方法について説明することとし、説明の簡
略化のためオブジェクトは外に凸である単純な形状であ
ると仮定する。
に示すように(x,y)を左上起点とするブロックが黒ブロ
ックとして検出されている。そこで本実施形態の塗りつ
ぶし処理においては、この黒ブロックの中心点である
((x+w)/2,(y+h)/2)を起点として、黒画素で連結して
いる領域をラベルcで塗りつぶす。すなわち、値255で
ある画素値を値cで置き換える。
ブロックの中心点((x+w)/2,(y+h)/2)を含む走査線に
ついて、該走査線上の黒連結部分をラベルcで塗りつぶ
す。すなわち、図7に示す黒ブロックを含むオブジェク
トにおける上記走査線の左端(x0,y+h/2)と右端(x
1,y+h/2)を結ぶ線分(図7においてオブジェクトを水
平方向に切断する線分)がラベルcで塗りつぶされる。
なお、上記(x0,y+h/2)と(x1,y+h/2)を結ぶ線分を
以下では連結線分と称し、その塗りつぶし処理の詳細に
ついては後述する。
ある黒連結部分を塗りつぶし、ステップS603で連結線分
から上にある黒連結部分を塗りつぶす。なお、ステップ
S62,S603における塗りつぶし処理の詳細については後
述する。
結した領域を、ラベルcで塗りつぶすことができる。
し処理の詳細を図8のフローチャートに示し、説明す
る。なお、説明の簡略化のために、処理の起点となる黒
ブロックの中心点((x+w)/2,(y+h)/2)を、座標(X,
Y)で示すとする。すなわち、X=(x+w)/2、Y=(y+h)/2
とする。
し、ステップS802でiを値1だけデクリメントする。そ
して、ステップS803でbuf(i,Y)が値255に等しいか否か
を判定し、異なればステップS804へ進むが、等しければ
ステップS802へ戻ってiをさらにデクリメントする。
し、ステップS805では変数iにXを代入する。そしてス
テップS806でiを値1だけインクリメントし、ステップS
807でbuf(i,Y)が値255に等しいか否かを判定し、等しけ
ればステップS808へ進むが、異なればステップS806へ戻
ってiをさらにインクリメントする。
し、ステップS809では変数iに値x0を代入し、ステッ
プS810ではbuf(i,Y)にcを代入する。そしてステップS8
11でiを値1だけインクリメントし、ステップS812でi
がx1よりも大きければ処理を終了するが、そうでなけ
ればステップS810に戻る。
の両端におけるx座標を格納し、該連結線分をラベルc
で塗りつぶすことができる。
る黒連結部分の塗りつぶし処理の詳細を図9のフローチ
ャートに示し、説明する。なお、ここでもY=y+h/2と
し、したがって、(x0,Y)と(x1,Y)を結ぶ連結線分より
下の黒連結部分をラベルcで塗りつぶす。
ンクリメントし、ステップS902で変数iにx0を代入す
る。そしてステップS903でbuf(i,Y)が値255に等しいか
否かを判定し、異なればステップS904へ、等しければス
テップS906へ進む。
ントし、ステップS905でiがx1よりも大きければ処理
を終了するが、そうでなければステップS903に戻る。
プS907で(X,Y)を起点として、横方向、すなわち走査
線上の連結線分を塗りつぶす。なお、この走査線上の塗
りつぶし処理については図8のフローチャートで示した
ため、ここではその詳細な説明を省略する。
分から上にある黒連結部分の塗りつぶし処理について
は、基本的に上述した図9のフローチャートに示す、下
方向への塗りつぶし処理と同様であり、ステップS901に
おいてYをインクリメントする代わりにデクリメントす
れば良く、他のステップについては同様の処理を行えば
良い。
所定サイズの黒ブロックを含むオブジェクト、すなわち
所定サイズ以上の面積をもつオブジェクトについての
み、ラベル付けを行うことができる。したがって、微小
なノイズ領域に対してラベルを付けてしまうことがな
く、高速なラベリングが可能になる。
実施形態について説明する。
像から黒ブロックの探索を行なう際にまず2値画像全体
をブロックに分割した後に、各ブロックの内部が全て黒
画素であるか否かをチェックした。しかしながら黒ブロ
ックの探索方法としては他の方法も適用可能であり、例
えば第2実施形態においては、2値画像内におけるブロ
ックの左上座標を連続的に変化させていく方法について
説明する。この方法によれば演算負荷は高くなるもの
の、黒ブロックの検出性能を向上することができる。
ジェクト内の黒ブロックを探索する様子を示す図であ
る。同図によれば第2実施形態における探索の起点(x,
y)は、第1実施形態で図3に示したブロック境界からは
外れた位置にあることが分かる。
クの探索処理のフローチャートを示し、詳細に説明す
る。
y,x,j,iをそれぞれ値0で初期化する。そしてス
テップS1105でbuf(x+i,y+j)が黒画素を示す255であるか
否かを判断し、255であればステップS1106へ、255でな
ければステップS1110へ進む。
リメントし、ステップS1107でiがブロック幅を示すw
に等しければステップS1108へ進み、異なればステップS
1105へ進む。
リメントし、ステップS1109でjがブロック高さを示す
hに等しければ処理を終了し、このとき、(x,y)を左上
起点とするw×h画素ブロックが黒ブロックであるとし
て検出される。jがhと異なるときはステップS1104へ
戻る。
お、ここでxを単に値1だけインクリメントしても、最
終的には全く同様の結果が得られるが、i+1を加えるこ
とで探索の無駄を省き、処理を高速化できる。
すW以上であればステップS1112へ進み、そうでなけれ
ばステップS1103へ戻る。
ントし、ステップS1113でyが画像高さを示すHに等し
ければ処理を終了し、このとき、黒ブロックは存在しな
いと判定される。yがHに等しくなければステップS110
2へ戻る。
値画像からw画素×h画素の黒ブロックが検出される。
ば、所定サイズの黒ブロックをより高精度に検出するこ
とができる。したがって、有効なオブジェクトのみにつ
いてのラベリングを、より高精度に行うことができる。
ック内の全画素が黒画素であることを黒ブロックの判定
条件としたが、例えばノイズの状態によっては、黒領域
の内部に白画素が多数混入することがある。そこで本発
明においては例えば、ブロック内部の黒画素数をカウン
トし、これが所定の閾値を超えた場合に黒ブロックであ
ると判定しても良い。
形である必要はなく、例えば六角形等の多角形や、円形
もしくは楕円形であってもよいし、想定されるオブジェ
クトの形状に応じて選択可能なようにしてもよい。
サイズに限らず、例えば大きなブロックサイズから探索
をはじめ、オブジェクトが見つからなければ徐々にサイ
ズを小さくして探索を繰り返すようにしても良い。これ
により、想定されたよりも小さなオブジェクトをノイズ
と誤認し、無視してしまう危険性を回避できる。
機器(例えばホストコンピュータ、インタフェイス機
器、リーダ、プリンタなど)から構成されるシステムに
適用しても、一つの機器からなる装置(例えば、複写
機、ファクシミリ装置など)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
イズの影響を排除排した高速なラベリング処理を実現す
ることができる。
の構成を示すブロック図である。
例を示す図である。
するための図である。
すフローチャートである。
フローチャートである。
ーチャートである。
説明するための図である。
示すフローチャートである。
し処理を示すフローチャートである。
説明するための図である。
示すフローチャートである。
Claims (12)
- 【請求項1】 2値画像内のオブジェクトに対してラベ
リングを行う画像処理方法であって、 前記2値画像において、その内部における黒画素数が所
定割合以上であるような所定サイズのブロックを、黒ブ
ロックとして検出する黒ブロック検出工程と、 検出された黒ブロック内および該黒ブロックに連結して
いる黒画素について、所定のラベル値で置き換えるラベ
ル付け工程と、を有することを特徴とする画像処理方
法。 - 【請求項2】 前記黒ブロック検出工程においては、
その内部が全て黒画素からなるブロックを、前記黒ブロ
ックとして検出することを特徴とする請求項1記載の画
像処理方法。 - 【請求項3】 前記黒ブロック検出工程は、 前記2値画像全体を前記所定サイズのブロックに分割す
る分割工程と、 前記ブロックごとに黒ブロックであるか否かを判定する
判定工程と、を有することを特徴とする請求項1記載の
画像処理方法。 - 【請求項4】 前記黒ブロック検出工程は、 前記2値画像において前記所定サイズのブロック位置を
順次ずらすことによって、黒ブロックを検出することを
特徴とする請求項1記載の画像処理方法。 - 【請求項5】 前記ブロック検出工程は、前記2値画像
において前記所定サイズの黒ブックが検出されなかった
場合に、該所定サイズよりも小さなサイズの黒ブロック
を検出することを特徴とする請求項1記載の画像処理方
法。 - 【請求項6】 前記ラベル付け工程は、 前記黒ブロック内の基準ラインを前記ラベル値で置き換
える基準ラベル付け工程と、 前記前記基準ラインよりも上部に連結している黒画素を
前記ラベル値で置き換える上部ラベル付け工程と、 前記前記基準ラインよりも下部に連結している黒画素を
前記ラベル値で置き換える下部ラベル付け工程と、を有
することを特徴とする請求項1記載の画像処理方法。 - 【請求項7】 上記黒ブロックは矩形であることを特徴
とする請求項1記載の画像処理方法。 - 【請求項8】 上記ブロックは多角形であることを特徴
とする請求項1記載の画像処理方法。 - 【請求項9】 上記ブロックは円形であることを特徴と
する請求項1記載の画像処理方法。 - 【請求項10】 2値画像内のオブジェクトに対してラ
ベリングを行う画像処理装置であって、 前記2値画像において、その内部における黒画素数が所
定割合以上であるような所定サイズのブロックを、黒ブ
ロックとして検出する黒ブロック検出手段と、 検出された黒ブロック内および該黒ブロックに連結して
いる黒画素について、所定のラベル値で置き換えるラベ
ル付け手段と、を有することを特徴とする画像処理装
置。 - 【請求項11】 コンピュータ上で実行されることによ
って、請求項1乃至9のいずれかに記載の画像処理方法
を実現するプログラム。 - 【請求項12】 請求項11記載のプログラムを記録し
た記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062299A JP3814547B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置及びその方法 |
US10/375,195 US7321687B2 (en) | 2002-03-07 | 2003-02-28 | Apparatus and method for image processing to label an object in a binary image |
US11/843,481 US7567708B2 (en) | 2002-03-07 | 2007-08-22 | Apparatus and method for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062299A JP3814547B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003263642A true JP2003263642A (ja) | 2003-09-19 |
JP3814547B2 JP3814547B2 (ja) | 2006-08-30 |
Family
ID=29196137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002062299A Expired - Fee Related JP3814547B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3814547B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8818110B2 (en) | 2008-05-08 | 2014-08-26 | Canon Kabushiki Kaisha | Image processing apparatus that groups object images based on object attribute, and method for controlling the same |
CN107909083A (zh) * | 2017-11-10 | 2018-04-13 | 中国科学院地理科学与资源研究所 | 一种基于轮廓匹配优化的矩形检测提取方法 |
-
2002
- 2002-03-07 JP JP2002062299A patent/JP3814547B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8818110B2 (en) | 2008-05-08 | 2014-08-26 | Canon Kabushiki Kaisha | Image processing apparatus that groups object images based on object attribute, and method for controlling the same |
CN107909083A (zh) * | 2017-11-10 | 2018-04-13 | 中国科学院地理科学与资源研究所 | 一种基于轮廓匹配优化的矩形检测提取方法 |
CN107909083B (zh) * | 2017-11-10 | 2019-03-15 | 中国科学院地理科学与资源研究所 | 一种基于轮廓匹配优化的矩形检测提取方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3814547B2 (ja) | 2006-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4845715B2 (ja) | 画像処理方法、画像処理装置、プログラム、及び記憶媒体 | |
JP4745830B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP4310288B2 (ja) | 画像処理装置及びその方法、プログラム並びに記憶媒体 | |
US9219841B2 (en) | Image-processing device identifying object in image specified by encircling line | |
US7317835B2 (en) | Image processing method and apparatus | |
CN101388111A (zh) | 图像处理装置和图像处理方法 | |
JP2006155381A (ja) | 画像処理装置およびその方法 | |
JP2010056689A (ja) | 画像処理装置及び画像処理方法 | |
JP2010056691A (ja) | 画像処理装置及び画像処理方法 | |
JP4565396B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2008028716A (ja) | 画像処理方法及び装置 | |
JP3814547B2 (ja) | 画像処理装置及びその方法 | |
CN105025188A (zh) | 图像形成装置、图像处理装置和图像处理方法 | |
JP7301529B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP3885001B2 (ja) | 画像処理方法及び画像処理装置 | |
JP4146047B2 (ja) | 画像の傾き検知方法及び文書画像処理装置 | |
JP5517028B2 (ja) | 画像処理装置 | |
US8483482B2 (en) | Image processing device, image processing method and computer-readable medium | |
JP2006279090A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2009141525A (ja) | 画像処理装置及び画像処理方法 | |
JP2004140749A (ja) | 画像圧縮方法 | |
JP2007004724A (ja) | 文字検索装置、文字検索方法、及びプログラム | |
JP2003281469A (ja) | 文書画像処理方法 | |
JP2008165538A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2021033577A (ja) | 画像処理システムと画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3814547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |