JP2004139277A - 図形認識装置と図形認識プログラム - Google Patents

図形認識装置と図形認識プログラム Download PDF

Info

Publication number
JP2004139277A
JP2004139277A JP2002302166A JP2002302166A JP2004139277A JP 2004139277 A JP2004139277 A JP 2004139277A JP 2002302166 A JP2002302166 A JP 2002302166A JP 2002302166 A JP2002302166 A JP 2002302166A JP 2004139277 A JP2004139277 A JP 2004139277A
Authority
JP
Japan
Prior art keywords
point
points
angle
inflection
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002302166A
Other languages
English (en)
Other versions
JP4165175B2 (ja
Inventor
Atsuko Obara
小原 敦子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002302166A priority Critical patent/JP4165175B2/ja
Publication of JP2004139277A publication Critical patent/JP2004139277A/ja
Application granted granted Critical
Publication of JP4165175B2 publication Critical patent/JP4165175B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力された画像の輪郭点の凸凹の検出を減少させ輪郭に凸凹の少ない画像を復元する図形認識装置、図形認識プログラムを提供することを目的とする。
【解決手段】入力された図形画像から抽出されたパターン形状画素をもとに変曲点を抽出し、抽出された変曲点から直線、円弧を判別して画像を復元し出力する図形認識装置であって、抽出されたパターン形状画素の中から注目点を選択し、選択された注目点を頂点として注目点から所定の距離L離れた2 点により構成される角度を取得する注目点角度取得手段と、注目点からの所定の距離Lより近い点を比較点の頂点とし、各比較点から所定の距離L離れた2点とにより構成される角度を取得する比較点角度抽出手段と、注目点の角度とすべての比較点の角度との差が所定の閾値より大きい場合には、注目点を変曲点として抽出する第一変曲点抽出手段とを備える図形認識装置。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
近年、スキャナ等の入力機器の普及に伴って、画像を取り扱う機会が増加しており、それに伴って、文書を読み取るOCR(文字認識装置またはソフト)や、紙の情報を電子データとして復元する文書復元の需要が増加している。
本発明は、文書復元などを目的として、画像から図形を抽出し直線および円弧として表現する図形認識装置に関する。
【0002】
【従来の技術】
従来、画像中の図形を復元する際には、パターンの輪郭または細線化画像等パターンの骨組みを示す画像に対して、傾きが変化している点である変曲点を求め、その点をもとに、画像を構成する直線と円弧を判別していた。(例えば、特許文献1参照)
図8 に、従来例の図形認識装置の構成図を示す。光学的手段などにより、図形を入力する画像入力部2と、読み取られた画像を記憶する画像記憶部3と、読みとられた図形の輪郭点列を抽出する輪郭点抽出部4と、点列からサンプル点を抽出するサンプル点抽出部11と、サンプル点から変曲点を検出する変曲点検出部12と、変曲点より直線円弧を抽出する直線円弧検出部13と認識結果から画像を復元する画像形成部7と、その結果を表示する画像出力部8と各種情報を記憶する情報記憶部9とからなる。
【0003】
まず、画像入力部2は、文書などの画像を読取り、画像記憶部3に記憶し、記憶された画像をもとに、輪郭点抽出部4で、読取られた画像を点列化する。
次に、サンプル点抽出部11により、点列から一定間隔で、サンプル点を抽出し、情報記憶部9に記憶する。
次に、変曲点検出部12により、連続する各サンプル点間を結ぶベクトルを導出し、連続するベクトル間のなす角を求める。
【0004】
図9に従来例の変曲点検出の説明図を示す。
例えば、図9(a) の輪郭点列のサンプル点をA、B,C,Dとすると、それぞれA,B,C,Dのなす角度はa、b、c、d となる。そして、各サンプル点での隣接する角度の差が閾値より大きい点を変曲点と認識する。例えば、閾値より大きい点がDとすると、その点Dが変曲点として検出され、情報記憶部9に記憶する。
【0005】
次に、直線円弧判別部13により、情報記憶部9に記憶されている変曲点間のサンプル点の角度の平均値を求める。その値が所定値より大きいか否かで変曲点間を直線又は円弧と認識する。そして、その結果をもとに画像形成部7 により、画像を復元して、画像出力部8により復元した画像をを表示する。
【0006】
【特許文献1】
特公平04−62107(第1頁)
【0007】
【発明が解決しようとする課題】
しかし、スキャナ等で入力した画像は輪郭が滑らかではなく凹凸があり、変曲点を求める際に、その凹凸の影響により実際にはない変曲点を抽出してしまい、復元した画像に凸凹が残ってしまう問題がある。
本発明は、入力された画像の輪郭点の凸凹の検出を減少させ、輪郭に凸凹の少ない画像を復元する図形認識装置、図形認識プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
本願発明の図形認識装置は、入力された図形画像から抽出された輪郭または図形パターンの中心線といったパターンの形状を示すパターン形状画素の繋がりをもとに変曲点を抽出し、抽出された変曲点から直線、円弧を判別して画像を復元し出力する図形認識装置であって、抽出されたパターン形状画素の中から注目点を選択し、選択された注目点を頂点として注目点から所定の距離L離れた2点により構成される角度を取得する注目点角度取得手段と、注目点からの所定の距離Lより近い点を比較点の頂点とし、各比較点から所定の距離L離れた2点により構成される角度を取得する比較点角度抽出手段と、注目点の角度とすべての比較点の角度との差が所定の閾値より大きい場合には、注目点を変曲点として抽出する第一変曲点抽出手段とを備える構成である。
【0009】
この構成により、注目点の角度と、注目点の周囲の所定の距離L内にあるすべての比較点との角度を比較するため、注目点の周辺に凸凹があっても、注目点が変曲点の場合には、凸凹が形成する角度より大きいため、凸凹の影響を減少することができる。ここで、角度とは、3点のなす内角を、まっすぐな場合である180度と比較した場合の差とする。また、距離Lとは、画素数がL(整数値)を指す。
【0010】
また、注目点角度取得手段は、注目点を頂点として、注目点からパターン形状画素上に所定の距離L離れた2点とにより構成する角度と、注目点を頂点として、注目点からの所定の距離Lより近い2点により構成される複数の角度との平均をとる注目点角度平均取得手段を備え、比較点角度取得手段は、比較点を頂点として、比較点と、比較点から所定の距離L離れた2点とにより構成する角度と、比較点を頂点として比較点からの所定の距離Lより近い2点により構成される複数の角度との平均をとる比較点角度平均取得手段を備える構成である。
【0011】
この構成により、注目点を頂点にして、ある一定距離離れた2画素を端点とした角度のみでは、画像の凹凸に影響される場合がある。そこで、注目点を頂点として注目点から距離L離れた2点とにより構成する角度と、注目点を頂点として距離Lより近い2点により構成される複数の角度の平均をとり、注目点における角度とすることで、凸凹の影響をより減少させることができる。
【0012】
また、注目点の角度と比較点の角度との差が所定の閾値の範囲内のとき、既に変曲点として抽出されたものが比較点の中にある場合には、注目点を変曲点として抽出せず、比較点の中に変曲点として抽出されたものがない場合には、注目点を変曲点として抽出する第二変曲点抽出手段と、変曲点と変曲点の間隔差および各変曲点の角度差が各所定の閾値の範囲内にある変曲点の集合を検出する変曲点集合検出手段と、検出した集合から、変曲点が、所定の範囲の角度を有するときには、変曲点の集合をもとに、円弧を形成する円弧形成手段とを備える構成である。
【0013】
この構成により、同程度の角度を持つものを、一定間隔で変曲点とすることができ、更に所定の範囲の角度から、直線と円弧集合とを判別することで、円弧の変曲点の集合情報を取得擦ることが出来るので、円弧を容易に形成できる。
【0014】
【発明の実施の形態】
実施例の図形認識装置の構成図を図1に示す。
画像入力部2と画像記憶部3、輪郭点抽出部4と変曲点抽出部5と、直線円弧判別部6と、画像形成部7と、画像出力部8、情報記憶部9とから構成される。画像入力部2は、図形画像を入力し2値画像として画像記憶部3に記憶する。
【0015】
画像記憶部3は、入力された画像を記憶する。
輪郭点抽出部4は、画像パターンの輪郭画像を作成し、それをもとに図形のベクトル化を行う。輪郭抽出方法は、輪郭画像および細線化画像が作成できれば従来のいかなる方法でも構わない。
変曲点抽出部5は、輪郭点列から変曲点を抽出する。
【0016】
直線円弧判別部6は、直線と円弧を判別する。
画像形成部7は、直線、円弧データ情報から、画像を復元する。
画像出力部8は、復元された画像を出力する。
情報記憶部9は、輪郭情報、各変曲点の平均角度と座標位置、直線情報、円弧情報を記憶する。
【0017】
実施例の図形認識装置の処理の流れ図を図2に示す。
まず、画像入力部2が、文書等の図形を読取り、入力する(S11ステップ)。読取られた画像は、2値化され、画像記憶部3に記憶される。次に記憶された画像について、その輪郭を求める(S12ステップ)。
図3に輪郭抽出処理の説明図を示す。
【0018】
まず、画像を操作して黒画素を見つけたところaを出発点の注目点とする。そこから、右回りまたは左周りに輪郭を見つける。図3では、右回りとする。
次の画素を見つけるためには、注目点を中心として右回りに黒画素を探すことを行う。
例えば、bが注目点である場合には、bの前に注目点であった画素はaであるので、bを中心としたaの方向は、図3(b)において8の方向である、そこで、注目点を中心として8の方向から1画素右回りに移動した位置は、図3(b)において、1 の方向である。そこで、黒画素bの次の黒画素を探す場合には、bを中心として、位置1の方向の画素を開始点として右回りに黒画素を探す。その結果、位置4にある、画素cが見つかり(図3(c)参照)、画素bの次にくる輪郭は画素cであることが分かる。この処理を繰り返していき、開始点である画素aに戻ってくるまでつづけることで輪郭を構成する画素を抽出する(図3(d)参照)。抽出した輪郭情報は、情報記憶部9に記憶される。
【0019】
次に、輪郭情報から、変曲点を抽出する(S13ステップ)。
図4に変曲点抽出処理の流れ図を示す。
まず、抽出された輪郭を構成するある画素を注目点として抽出する(S21ステップ)。
次に、注目点の角度を算出する際には、注目点を中心に、一定範囲L離れた2点を抽出する。そしてその角度を求める。また、それぞれの点の角度は、角度算出に用いる点を一定距離L離れた点だけではなく、距離L以下の遠い点から近い点、複数の点を用いてその平均値を用いることで、それぞれの点における角度を決定する(S22ステップ)。
【0020】
図5に変曲点抽出処理の説明図を示す。
図5(a)輪郭点列のような場合、画素aを注目点とすると、ある一定距離L(本例では、5画素分の距離)だけ離れた2点とはそれぞれ、b、cとなり、画素aの角度θは、図5(b)のようにb−a−cから求める。b−a−cの角度と180 °の差とする。
【0021】
次に、画素a−c、a−b間の画素について、距離L以下の遠い点から近い点へ順番にその画素から、角度D−a−K、C−a−J、B−a−I、A−a−Hを同様に求める。
注目点の画素aの平均角度は、5つの角度の総和の1/5となる。
次に、注目点と一定範囲L離れた2点の間にある画素A〜b、H〜cを比較点として抽出し(S23ステップ)、その点から一定範囲L離れた2点を抽出し、その角度を求める。例えば、Aを比較点とすると、E−A−Kの角度を求める。
【0022】
また、それぞれの比較点の角度は、角度算出に用いる点を一定距離L離れた点だけではなく、注目点の場合と同様に、距離L以下の遠い点から近い点、複数の点を用いてその平均値を用いることで、それぞれの点における角度を決定する(S24ステップ)。
次に、注目点の平均角度−比較点の平均角度=Aを求める(S25ステップ)。次に、Aと閾値αとを比較する(S26ステップ)。
【0023】
A>αである場合は、注目点を変曲点として抽出し、情報記憶部9に平均角度と座標位置を記憶する(S27ステップ)。
また、注目点の平均角度が、比較点の平均角度より小さく、−A>αの場合は、注目点は、変曲点と判断しない(S28ステップ)。
また、|A|≦αの場合は、同程度の角度を持つ点が、距離L内にあった場合である(S29ステップ)。
【0024】
すなわち、同程度の角度を持つ点が距離L内にあった場合には、既に変曲点として抽出された点があれば、その変曲点を優先し、注目点は変曲点として抽出しないとする。変曲点がない場合には注目点を変曲点として抽出し、情報記憶部9に平均角度と座標位置を記憶する。
次にすべての変曲点が終了したか否かを判断し(S30ステップ)、終了していないときには、新たな注目点を抽出するため、S21ステップに戻り、輪郭点列が終了するまで同じ処理を繰り返し、終了していれば、処理を終了する。
【0025】
また、上記に使用する注目点と角度算出に用いる画素との距離Lは、解像度にあわせて可変とする。
このようにすることで、白黒二値画像から図形を抽出しその結果をベクトル化する目的で、線の曲がっている変曲点を見つける処理において、ある注目点を頂点として注目点から距離L離れた2点とにより構成する角度が、距離Lより近い点それぞれを頂点とし、それぞれから距離L離れた2点とにより構成される角度より大きい場合には、注目点を変曲点として抽出することで、変曲点周囲の凸凹画素を変曲点として抽出することを防ぐことができる。
【0026】
また、ある注目点を頂点として注目点から距離L離れた2点とにより構成する角度が、距離Lより近い点それぞれを頂点とし、それぞれから距離L離れた2点とにより構成される角度と同程度の場合、既に、距離Lより近い点のなかで変曲点として抽出されたものがある場合には、注目点を変曲点として抽出せず、距離Lより近い点のなかで変曲点として抽出されたものがない場合には、注目点を変曲点として抽出することで、曲点等のどの点も同一の角度を持つ場合に、一定間隔で変曲点を抽出することができる。
【0027】
次に、直線円弧判別処理を行う(S14ステップ)。
図6に直線円弧判別処理の流れ図を示す。
変曲点の中から、直線の変曲点の集合を求める(S51ステップ)。
この場合は、変曲点における角度が所定の角度、例えばほぼ0度の変曲点が連続している場合、または、変曲点間の角度がほぼ0度の場合である。
【0028】
すなわち、基本的に、変曲点は曲がっている個所であるので、変曲点の間を直線とみるが、しかし、ある変曲点Aにおける角度が0度に近く、Aをはさむ変曲点B,Cの角度が大きい場合には、B,C間を直線とする。また、角度が0度に近い変曲点が複数連続している場合には、それらの点の集合と直線との重なりが一定以上の割合である場合には、その変曲点の連続している部分を直線とする。
【0029】
そして、情報記憶部9にその直線の両端点の座標を直線情報として記憶する(S52ステップ)。
次に、変曲点の中から、直線情報以外で、ほぼ同間隔、同角度をもつ変曲点の各集合を求める(S53ステップ)。
次に各集合毎に各円弧の中心位置、半径を求める(S54ステップ)。
【0030】
円弧の判定は、それぞれの円弧候補中の任意の変曲点の3 点を抽出し、その座標値から求める。円は、r ×r=(x−a)×(x−a)+(y−b)×(y−b)で表せるので、3点の位置情報が分かれば、r、a、bの算出ができる。ここで、r:円弧の半径、x:x座標、y:y座標、a:円弧の中心のx座標、b:円弧の中心のy座標である。
【0031】
算出した円の数式により、前記3点以外の点が計算上の円弧上にあるか否かで確認を行う。一定割合以上の変曲点が計算上の円弧上に存在した場合には、その領域は円弧であると判断し、円弧として抽出する。このとき、完全に一致せずとも計算上の円弧からある一定距離はなれている場合でも計算上の円弧と一致するとみなす。
【0032】
求められた円弧情報を情報記憶部9に記憶する(S55ステップ)。
このようにすることで、白黒二値画像から図形を抽出しその結果をベクトル化する目的で、線の曲がっている変曲点を見つけ、円弧領域を抽出する処理において、変曲点と変曲点の間隔および変曲点における角度がそれぞれほぼ同程度の変曲点の集合を見つけることで、円弧の位置を容易に抽出することができる。
【0033】
図7 に図形情報抽出処理の説明図を示す。
直線円弧判別処理により、変曲点×から、画素a−b、a−c、b−f、c−d、e−fは直線として抽出され、d−eは円弧として抽出される。直線は、両端点の座標、円弧は中心部の座標および半径、円弧の両端点が抽出結果となる。次に、情報記憶部9から、得られた直線情報、円弧情報を読出し、画像形成部7にて画像を復元する(S15ステップ)。
【0034】
次に、その図形を画像出力部8によりディスプレイなどに出力する(S16ステップ)。
【0035】
【発明の効果】
本発明により、入力された画像の輪郭点の凸凹の検出を減少させることができるため、凸凹が減少した画像を復元できる。また、ほぼ同一間隔、ほぼ同一角度の変曲点情報を用いることで、画像の復元が容易となる。
【図面の簡単な説明】
【図1】実施例の図形認識装置の構成図
【図2】実施例の図形認識装置の処理の流れ図
【図3】輪郭抽出処理の説明図
【図4】変曲点抽出処理の流れ図
【図5】変曲点抽出処理の説明図
【図6】直線円弧判別処理の流れ図
【図7】図形情報抽出処理の説明図
【図8】従来例の図形認識装置の構成図
【図9】従来例の変曲点検出の説明図
【符号の説明】
1 図形認識装置
2 画像入力部
3 画像記憶部
4 輪郭点抽出部
5 変曲点抽出部
6 直線円弧判別部
7 画像形成部
8 画像出力部
9 情報記憶部
11 サンプル点抽出部
12 変曲点検出部
13 直線円弧検出部

Claims (4)

  1. 入力された図形画像から抽出された輪郭または図形パターンの中心線といったパターンの形状を示すパターン形状画素の繋がりをもとに変曲点を抽出し、抽出された変曲点から直線、円弧を判別して画像を復元し出力する図形認識装置であって、
    抽出されたパターン形状画素の中から注目点を選択し、選択された注目点を頂点として注目点から所定の距離L離れた2点により構成される角度を取得する注目点角度取得手段と、
    注目点からの所定の距離Lより近い点を比較点の頂点とし、各比較点から所定の距離L離れた2点により構成される角度を取得する比較点角度抽出手段と、
    注目点の角度とすべての比較点の角度との差が所定の閾値より大きい場合には、注目点を変曲点として抽出する第一変曲点抽出手段とを備える図形認識装置。
  2. 注目点角度取得手段は、注目点を頂点として、注目点からパターン形状画素上に所定の距離L離れた2点により構成する角度と、注目点を頂点として、注目点からの所定の距離Lより近い2点により構成される複数の角度との平均をとる注目点角度平均取得手段を備え、
    比較点角度取得手段は、比較点を頂点として、比較点と、比較点から所定の距離L離れた2点により構成する角度と、比較点を頂点として比較点からの所定の距離Lより近い2点により構成される複数の角度との平均をとる比較点角度平均取得手段を備えることを特徴とする請求項1記載の図形認識装置。
  3. 注目点の角度と比較点の角度との差が所定の閾値の範囲内のとき、既に変曲点として抽出されたものが比較点の中にある場合には、注目点を変曲点として抽出せず、比較点の中に変曲点として抽出されたものがない場合には、注目点を変曲点として抽出する第二変曲点抽出手段と、
    変曲点と変曲点の間隔差および各変曲点の角度差が各所定の閾値の範囲内にある変曲点の集合を検出する変曲点集合検出手段と、
    検出した集合から、変曲点が、所定の範囲の角度を有するときには、変曲点の集合をもとに、円弧を形成する円弧形成手段とを備えることを特徴とする請求項1記載の図形認識装置。
  4. 入力された図形画像から抽出された輪郭または図形パターンの中心線といったパターンの形状を示すパターン形状画素の繋がりをもとに変曲点を抽出し、抽出された変曲点から直線、円弧を判別して画像を復元し出力する図形認識機能をコンピュータに実現させるための図形認識プログラムであって、
    抽出されたパターン形状画素の中から注目点を選択し、選択された注目点を頂点として注目点から所定の距離L離れた2点により構成される角度を取得する注目点角度取得機能と、
    注目点からの所定の距離Lより近い点を比較点の頂点とし、各比較点から所定の距離L離れた2点により構成される角度を取得する比較点角度抽出機能と、
    注目点の角度とすべての比較点の角度との差が所定の閾値より大きい場合には、注目点を変曲点として抽出する第一変曲点抽出機能とをコンピュータに実現させるための図形認識プログラム。
JP2002302166A 2002-10-16 2002-10-16 図形認識装置 Expired - Fee Related JP4165175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002302166A JP4165175B2 (ja) 2002-10-16 2002-10-16 図形認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002302166A JP4165175B2 (ja) 2002-10-16 2002-10-16 図形認識装置

Publications (2)

Publication Number Publication Date
JP2004139277A true JP2004139277A (ja) 2004-05-13
JP4165175B2 JP4165175B2 (ja) 2008-10-15

Family

ID=32450328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002302166A Expired - Fee Related JP4165175B2 (ja) 2002-10-16 2002-10-16 図形認識装置

Country Status (1)

Country Link
JP (1) JP4165175B2 (ja)

Also Published As

Publication number Publication date
JP4165175B2 (ja) 2008-10-15

Similar Documents

Publication Publication Date Title
JP5298831B2 (ja) 画像処理装置及びプログラム
CN107577979B (zh) DataMatrix型二维码快速识别方法、装置及电子设备
EP2143041A1 (en) Photo-document segmentation method and system
JP5653141B2 (ja) 画像処理方法、画像処理装置、及び、プログラム
CN106296587B (zh) 轮胎模具图像的拼接方法
KR20100112155A (ko) 이미지 식별용 특징-기반 시그네처
JP2009169925A (ja) 画像検索装置および画像検索方法
JP2006313550A (ja) 文書自動分類システムと方法及びその記録媒体
EP2536123B1 (en) Image processing method and image processing apparatus
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
JP4867620B2 (ja) 画像処理装置及び画像処理プログラム
JP5500404B1 (ja) 画像処理装置及びそのプログラム
CN112132750A (zh) 一种视频处理方法与装置
JP2010044586A (ja) 2次元コード読取装置とそのプログラム
CN108647680B (zh) 图像定位框检测方法和装置
US11915498B2 (en) Reading system, reading device, and storage medium
JP4165175B2 (ja) 図形認識装置
CN114926345A (zh) 一种图像处理方法、装置、电子设备及存储介质
JP2014225753A (ja) マーカ検出装置、マーカ検出方法、及びプログラム
JP4790031B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2858530B2 (ja) エッジ強調装置
JPH1153539A (ja) 円形パターン判定方法および記録媒体
JP2015170205A (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
CN116468611B (zh) 图像拼接方法、装置、设备和存储介质
CN111681161B (zh) 折叠二维码图像的还原方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20080708

Free format text: JAPANESE INTERMEDIATE CODE: A01

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080721

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20110808

LAPS Cancellation because of no payment of annual fees