JP2001222717A - 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 - Google Patents

文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体

Info

Publication number
JP2001222717A
JP2001222717A JP2000032294A JP2000032294A JP2001222717A JP 2001222717 A JP2001222717 A JP 2001222717A JP 2000032294 A JP2000032294 A JP 2000032294A JP 2000032294 A JP2000032294 A JP 2000032294A JP 2001222717 A JP2001222717 A JP 2001222717A
Authority
JP
Japan
Prior art keywords
color
cluster
pixels
document
document image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000032294A
Other languages
English (en)
Other versions
JP4001446B2 (ja
Inventor
Tsukasa Kouchi
司 幸地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2000032294A priority Critical patent/JP4001446B2/ja
Publication of JP2001222717A publication Critical patent/JP2001222717A/ja
Application granted granted Critical
Publication of JP4001446B2 publication Critical patent/JP4001446B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 文書内に大きな図や写真が存在する場合でも
正確に背景色を特定する文書画像認識方法及び装置を提
供する。 【解決手段】 文書画像の背景色を特定する方法が提供
される。その方法において、文書画像をデジタル画像と
して入力し、該文書画像における色をクラスタリング
し、該クラスタリングにより得られた複数のクラスタの
中で最も多くの画素数を有する第1のクラスタの第1の
色と、該第1のクラスタより画素数の少ない第2のクラ
スタの第2の色を決定し、該第1のクラスタと該第2の
クラスタの画素数の差が所定の値より小さく、該第2の
色が文書全体に亘り分布している場合に、該第2の色を
該文書画像の背景色とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、文書画像認識方法
に関し、特に、カラー文書画像の背景色を特定するため
の文書画像認識方法に関する。
【0002】
【従来の技術】文書画像認識の結果として最終的に必要
なものは、文字(コンテンツ)、表や罫線、図、写真、
及び読み順を正しく認識するためのレイアウト構成であ
るので、通常カラー文書画像の背景色を厳密に再現する
必要はない。それゆえ、カラー文書画像の背景色を精度
よく特定することは従来あまり考慮されてはいなかっ
た。
【0003】しかし、文書の背景色を除去することで、
必要な文書要素の抽出が可能になる場合があり、また、
背景色は画像特徴を利用した文書検索のための重要な特
徴の1つとなり得る。従って、カラー文書画像の背景色
を特定する技術は重要である。
【0004】カラー文書画像の背景色を特定する従来の
技術として、特開平06−348758「文書情報検索
装置及び方法」に、文書の外観を表す情報を検索キーと
して所望の文書を検索できる文書情報検装置装が開示さ
れており、そこでは文書の背景色が検索キーの一つとし
て検出・保持されている。
【0005】
【発明が解決しようとする課題】上記の従来技術では、
文書の背景色は単純に文書中に最も多く現れた色として
定義している。従って、単純で高速な処理が可能だが、
文書に大きな図・写真が存在する場合に誤った色を背景
色としてしてしまう可能性があった。
【0006】このように、文書に大きな図・写真が存在
する場合、色クラスタリングした結果、背景色クラスタ
サイズよりも別の色のクラスタサイズが大きくなって、
それを背景色としてしまうという問題点があった。
【0007】本発明は、上記の点に鑑みてなされたもの
であり、文書内に大きな図・写真が存在する場合でも正
確に背景色を特定する文書画像認識方法及び装置を提供
することを目的とする。
【0008】また、カラー文書画像の背景色特定は、文
書画像認識の結果を得るための前処理であることを踏ま
えて、単純で、かつ高速に処理を行うことができる文書
画像認識方法及び装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明は次のように構成される。
【0010】請求項1に記載の発明は、文書画像の背景
色を特定する方法であって、文書画像をデジタル画像と
して入力する入力ステップと、該文書画像における色を
クラスタリングするクラスタリングステップと、該クラ
スタリングにより得られた複数のクラスタの中で最も多
くの画素数を有する第1のクラスタの第1の色と、該第
1のクラスタより画素数の少ない第2のクラスタの第2
の色を決定する決定ステップと、該第1のクラスタと該
第2のクラスタの画素数の差が所定の値より小さく、該
第2の色が文書全体に亘り分布している場合に、該第2
の色を該文書画像の背景色とする背景色特定ステップと
を有する。
【0011】背景色は文書全体に分布しているという観
点から、第2の色が文書中の広範囲に分布している場合
にそれを背景色とするので、本発明によれば、文書中に
大きな図や写真がある場合でも背景色を精度良く求める
ことができる。上記の条件を満たさない場合は、最大ク
ラスタを背景色とすればよく、背景色を高速に求めるこ
とができる。
【0012】請求項2に記載の発明は、請求項1の記載
において、前記背景色特定ステップで、前記第1のクラ
スタと前記第2のクラスタの画素数の差が所定の値より
小さく、前記第2の色が文書全体に亘り分布し、更に、
前記第2の色の輝度が前記第1の色の輝度より大きい場
合に、該第2の色を背景色に決定することとする。
【0013】背景色は背景以外の領域より白っぽいとい
う観点から、輝度が大きいこととという条件を更に加え
たことによって、更に精度良く背景色を特定することが
可能となる。
【0014】請求項3、4に記載の発明は、上記の方法
の実施に適した装置であり、上記の作用効果と同様の作
用効果を有する。
【0015】請求項5、6に記載の発明は、コンピュー
タ上で上記の方法を実施することに適したプログラムを
記録した記録媒体であり、上記の作用効果と同様の作用
効果を有する。
【0016】
【発明の実施の形態】以下、図を参照して本発明におけ
る実施例を説明する。図1は本発明の文書画像認識装置
の構成図である。同図に示すように、本発明の文書画像
認識装置は、CPU(中央処理装置)100、メモリ1
01、スキャナ102、通信装置103、表示装置10
4、ハードディスク105、キーボード106、CD−
ROMドライブ107を有する。ハードディスク105
は文書画像認識装置の外部装置として接続してもよい
し、内部装置として有していてもよい。CPU100は
文書画像認識装置の全体を制御する。メモリ101はC
PU100で処理するデータやプログラムを保持する。
通信装置103は文書画像認識装置をLAN等のネット
ワークに接続するための制御を行う。キーボード106
はデータを入力する装置である。CD−ROMドライブ
107はCD−ROM等を駆動し、読み書きを行う。ス
キャナ102は文書画像認識装置の外部装置として接続
され、文書をカラーデジタル画像として入力する機能を
有する。CD−ROMドライブ107の他、MOドライ
ブ、FDドライブ、DVDドライブ等でもよい。
【0017】本発明において後述する処理を実行するプ
ログラムは、例えばCD−ROMに格納され、CD−R
OMドライブ107を介してハードディスク105にロ
ードされる。プログラムが起動されると、所定のプログ
ラムがメモリ101に展開され、処理が実行される。動
作の概要は次の通りである。
【0018】まず、スキャナ102を介して紙文書の内
容がカラーデジタル画像として入力され、メモリ101
又はハードディスク105に格納される。次に、以下で
詳述する背景色の特定を含む領域識別処理がCPU10
0により行われ、領域識別結果に対して、例えばOCR
処理が行われる。
【0019】次に、背景色を特定する処理について、図
2のフローチャートを参照して詳細に説明する。
【0020】ステップS1において、紙文書をスキャナ
102で、あるいはネットワークを介してカラーデジタ
ル画像として文書画像認識装置に入力する。本実施例で
は色数を24bitフルカラーと仮定するが、他の色数
や解像度でもよい。本発明では、基本的に画像の色数や
解像度には依存しない。ステップS2において平滑化を
行い、ステップS3にて画像圧縮を行う。平滑化と画像
圧縮の処理の順序は逆でもよい。
【0021】平滑化と画像圧縮は、文書中の大まかな色
分布を調べるための色クラスタリング(ステップS4)
の前処理として行う処理である。カラー画像の一部は異
なる色の網点で構成されており、これら網点構成はプリ
ンターやカラーコピーなどの機種によってそれぞれ異な
るものである。このようなカラー出力系の特性を均一に
するために、画像全体に対して平滑化を施す。従って、
必要がなければ平滑化を行わなくてもよい。また、一般
に平滑化は時間がかかる処理なので、速度が問題になる
場合にも行わなくてよい。画像圧縮は、画像へのアクセ
スコストを削減するために行う処理であり、画像圧縮の
ための圧縮率は、運用時に動的に変更することが可能で
ある。平滑化と同様、画像圧縮を行わなくてもよい。
【0022】次に、ステップS4として、適当な色座標
系(例えばRGB)のもとで色量子化を行い、大まかな
色分布を調べるために、画像全体に対して色クラスタリ
ングを行う。この色クラスタリングは、最終クラスタ数
を2〜10程度に設定し、画像処理分野での一般的な手
法によって行う。
【0023】ステップS5において、最大クラスタ(A
とする)及び、第2位のクラスタ(Bとする)の代表色
をそれぞれ決定する。クラスタの代表色の決定の方法に
は次の2種類がある。
【0024】(1)RGB各プレーンの平均値を求めて
代表色とする。
【0025】(2)輝度のヒストグラムをとって、その
中央値(メディアン)に相当する色を代表色とする。
【0026】一般に、(1)の平均値を求める方法は速
度の点で有利であり、(2)の中央値を求める方法は、
精度の点で有利である。
【0027】次に、背景色を特定する(ステップS6〜
S10)。一般に、背景画素数は他の色画素数よりも十
分に大きいので、属する画素数が最も多いクラスタの代
表色を、当該文書の背景色とする。
【0028】しかしながら、図3に示すように、背景よ
り大きな図・写真が文書存在する場合には、背景色に相
当する色クラスタに属する画素数よりも、別の色クラス
タに属する画素数の方が大きくなることがある。このよ
うな場合にも精度良く対応するために、本発明では、最
大クラスタC1のサイズをS1、第2位のクラスタC2
のサイズをS2とおくとき、S1とS2の差があるしき
い値よりも小さい場合に、C1とC2が特定の条件を満
たせば、第2位のクラスタC2の代表色を文書の背景色
とする。
【0029】すなわち、あるクラスタXに属する画素数
をクラスタXのサイズと呼び、それをN(X)と記述す
ることとすると、ステップS6において、N(A)がN
(B)よりも十分に大きい場合は、クラスタAの代表色
を該文書の背景色と決定して(ステップS7)処理を終
了する。ここで、「十分に大きい」とは具体的には、例
えば、1.5倍以上の開きがある場合である。すなわ
ち、N(A)>N(B)×1.5の場合である。
【0030】ステップS6において、N(A)がN
(B)よりも十分に大きくない場合、それぞれのクラス
タに属する画素の文書中における分布具合いを調べる。
ステップ8において、クラスタBに属する画素が大きな
連結成分として文書中に存在する場合、すなわち、クラ
スタBの代表色が文書の広範囲に分布している場合、該
クラスタの代表色を該文書の背景色と決定することが可
能である(ステップS8からS10への点線)。図4は
図3の文書における色の分布を示した図であり、色Bが
広範囲に分布している場合の例である。逆に、クラスタ
Bの代表色が文書に広範囲に分布していない場合、すな
わち、クラスタBに属する画素が非連結な多数の小さな
塊として存在するならば、クラスタBの代表色は該文書
の背景色とはなり得ないと判断して、クラスタAの代表
色を該文書の背景色と決定する(ステップS7)。ここ
で、「クラスタBの代表色は文書の広範囲に分布してい
る」とは具体的には、例えば、横方向のライン毎にクラ
スタBの代表色のヒストグラムを取ったとき、頻度0の
区間が50%以下の場合であるとすることができる。
【0031】ステップS8にて、クラスタBの代表色が
文書の広範囲に分布している場合であっても、背景色の
判断がつかない場合は、ステップ9にてクラスタBがク
ラスタAより白っぽいかどうかを調べ、より白っぽいク
ラスタの代表色を該文書の背景色と決定する(ステップ
S7、又はステップS10)。これは、背景色のほうが
背景以外の色より白っぽいと考えられるからである。こ
こで、「色Bは色Aよりも白っぽい」とは、具体的に
は、色Bの輝度が色Aの輝度よりも大きいとする。RG
B系では白を(255、255、255)、黒を(0、
0、0)と表すので、例えばGreen値が大きい方を
より白っぽいと定義することができる。
【0032】なお、上記の説明において、クラスタBは
第2位のクラスタとしたが、クラスタAよりサイズが小
さいクラスタであれば、第2位である必要はない。上記
のステップS6でNO、S8でYES、S9でYESの
条件を満たす限り、Bが背景色として選択される。
【0033】ステップS6において、N(A)がN
(B)よりも十分に大きくない場合、それ以降の処理を
行わず、この時点でユーザーに背景色の自動特定が困難
である旨の警告を発してもよい。例えば、「背景色自動
特定に失敗しました」等の警告を発する。
【0034】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。
【0035】
【発明の効果】上述の通り、本発明によれば、カラー文
書画像の背景色を高速に精度よく求めることができる。
また、文書中に大きな図・写真が存在する場合でも正確
に背景色を特定できる。従って、背景色を利用する画像
認識処理を効率良く行うことができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施例における文書画像認識装置の
構成図である。
【図2】本発明の一実施例における背景色特定処理のフ
ローチャートである。
【図3】背景より大きい写真が含まれた文書の例を示す
図である。
【図4】図3の文書における色の分布を示した図
【符号の説明】
100 CPU 101 メモリ 102 スキャナ 103 通信装置 104 表示装置 105 ハードディスク 106 キーボード 107 CD−ROMドライブ

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 文書画像の背景色を特定する方法であっ
    て、 文書画像をデジタル画像として入力する入力ステップ
    と、 該文書画像における色をクラスタリングするクラスタリ
    ングステップと、 該クラスタリングにより得られた複数のクラスタの中で
    最も多くの画素数を有する第1のクラスタの第1の色
    と、該第1のクラスタより画素数の少ない第2のクラス
    タの第2の色を決定する決定ステップと、 該第1のクラスタと該第2のクラスタの画素数の差が所
    定の値より小さく、該第2の色が文書全体に亘り分布し
    ている場合に、該第2の色を該文書画像の背景色とする
    背景色特定ステップと を有することを特徴とする方法。
  2. 【請求項2】 前記背景色特定ステップにおいて、 前記第1のクラスタと前記第2のクラスタの画素数の差
    が所定の値より小さく、前記第2の色が文書全体に亘り
    分布し、更に、前記第2の色の輝度が前記第1の色の輝
    度より大きい場合に、該第2の色を背景色とする請求項
    1に記載の方法。
  3. 【請求項3】 文書画像の背景色を特定する装置であっ
    て、 文書画像をデジタル画像として入力する入力手段と、 該文書画像における色をクラスタリングするクラスタリ
    ング手段と、 該クラスタリングにより得られた複数のクラスタの中で
    最も多くの画素数を有する第1のクラスタの第1の色
    と、該第1のクラスタより画素数の少ない第2のクラス
    タの第2の色を決定する決定手段と、 該第1のクラスタと該第2のクラスタの画素数の差が所
    定の値より小さく、該第2の色が文書全体に亘り分布し
    ている場合に、該第2の色を該文書画像の背景色とする
    背景色特定手段とを有することを特徴とする装置。
  4. 【請求項4】 前記背景色特定手段は、 前記第1のクラスタと前記第2のクラスタの画素数の差
    が所定の値より小さく、前記第2の色が文書全体に亘り
    分布し、更に、前記第2の色の輝度が前記第1の色の輝
    度より大きい場合に、該第2の色を背景色とする請求項
    3に記載の装置。
  5. 【請求項5】 コンピュータに文書画像の背景色を特定
    する処理を実行させるプログラムを記録したコンピュー
    タ読み取り可能な記録媒体であって、 文書画像をデジタル画像として入力する入力手順と、 該文書画像における色をクラスタリングするクラスタリ
    ング手順と、 該クラスタリングにより得られた複数のクラスタの中で
    最も多くの画素数を有する第1のクラスタの第1の色
    と、該第1のクラスタより画素数の少ない第2のクラス
    タの第2の色を決定する決定手順と、 該第1のクラスタと該第2のクラスタの画素数の差が所
    定の値より小さく、該第2の色が文書全体に亘り分布し
    ている場合に、該第2の色を該文書画像の背景色とする
    背景色特定手順とをコンピュータに実行させるプログラ
    ムを記録したコンピュータ読み取り可能な記録媒体。
  6. 【請求項6】 前記背景色特定手順において、 前記第1のクラスタと前記第2のクラスタの画素数の差
    が所定の値より小さく、前記第2の色が文書全体に亘り
    分布し、更に、前記第2の色の輝度が前記第1の色の輝
    度より大きい場合に、該第2の色を背景色とする請求項
    5に記載のプログラムを記録したコンピュータ読み取り
    可能な記録媒体。
JP2000032294A 2000-02-09 2000-02-09 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4001446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000032294A JP4001446B2 (ja) 2000-02-09 2000-02-09 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000032294A JP4001446B2 (ja) 2000-02-09 2000-02-09 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2001222717A true JP2001222717A (ja) 2001-08-17
JP4001446B2 JP4001446B2 (ja) 2007-10-31

Family

ID=18556916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000032294A Expired - Fee Related JP4001446B2 (ja) 2000-02-09 2000-02-09 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4001446B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252862A (ja) * 2007-03-05 2008-10-16 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2010182205A (ja) * 2009-02-06 2010-08-19 Canon Inc 画像処理方法および画像処理装置およびプログラム
JP2010182204A (ja) * 2009-02-06 2010-08-19 Canon Inc 画像処理方法および画像処理装置およびプログラム
JP2010186272A (ja) * 2009-02-10 2010-08-26 Canon Inc 画像処理方法および画像処理装置およびプログラム
CN113742025A (zh) * 2021-09-17 2021-12-03 北京字跳网络技术有限公司 页面生成方法、装置、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096355B (zh) * 2014-05-08 2019-09-17 腾讯科技(深圳)有限公司 图像处理方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252862A (ja) * 2007-03-05 2008-10-16 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2010182205A (ja) * 2009-02-06 2010-08-19 Canon Inc 画像処理方法および画像処理装置およびプログラム
JP2010182204A (ja) * 2009-02-06 2010-08-19 Canon Inc 画像処理方法および画像処理装置およびプログラム
JP2010186272A (ja) * 2009-02-10 2010-08-26 Canon Inc 画像処理方法および画像処理装置およびプログラム
CN113742025A (zh) * 2021-09-17 2021-12-03 北京字跳网络技术有限公司 页面生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP4001446B2 (ja) 2007-10-31

Similar Documents

Publication Publication Date Title
US7376272B2 (en) Method for image segmentation to identify regions with constant foreground color
JP5274495B2 (ja) 文書画像サイズ変更方法
JP2001297303A (ja) 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
JP3972751B2 (ja) 画像処理装置
JP2000067155A (ja) 画像処理装置及びその方法、コンピュ―タ可読メモリ
US6963663B1 (en) Image processing for image correction
US8229214B2 (en) Image processing apparatus and image processing method
KR101224936B1 (ko) 화상 처리 장치, 화상 형성 장치, 및 컴퓨터 판독 가능한 매체
JP6607490B2 (ja) 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体
JP4920814B2 (ja) 画像処理方法、装置および記録媒体
US9277074B2 (en) Image processing apparatus, method, and medium determining whether image data of a page to be processed is blank and contains a foreground object and transmitting the foreground object obtained by removing a background object
JP5335581B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP2001222717A (ja) 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
JP2004120092A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2003087562A (ja) 画像処理装置および画像処理方法
US20070047812A1 (en) Apparatus, system, and method for scanning segmentation
JP4710672B2 (ja) 文字色判別装置、文字色判別方法、およびコンピュータプログラム
US8295602B2 (en) Image processing apparatus and image processing method
JP2004304469A (ja) 原稿画像の領域分割・圧縮プログラム及び領域分割・圧縮方法
JP2000022943A (ja) 画像領域判別装置および方法ならびに画像領域判別プログラムを記録した記録媒体
JP2002342710A (ja) 文字切出し装置及びそれに用いる文字切出し方法並びにそのプログラム
US20010055426A1 (en) Image processor
JP2006109482A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP3707523B2 (ja) オブジェクト判別装置、オブジェクト判別方法およびオブジェクト判別プログラムを記録した媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees