JP2004030038A - 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム - Google Patents

画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム Download PDF

Info

Publication number
JP2004030038A
JP2004030038A JP2002183104A JP2002183104A JP2004030038A JP 2004030038 A JP2004030038 A JP 2004030038A JP 2002183104 A JP2002183104 A JP 2002183104A JP 2002183104 A JP2002183104 A JP 2002183104A JP 2004030038 A JP2004030038 A JP 2004030038A
Authority
JP
Japan
Prior art keywords
character
shaping
conversion
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002183104A
Other languages
English (en)
Other versions
JP4248809B2 (ja
Inventor
Yoshifumi Tanimoto
谷本 好史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2002183104A priority Critical patent/JP4248809B2/ja
Publication of JP2004030038A publication Critical patent/JP2004030038A/ja
Application granted granted Critical
Publication of JP4248809B2 publication Critical patent/JP4248809B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】OCRソフトにより変換された文字コードデータを再度イメージデータに逆変換する場合に、元の原稿の文字領域を越えることなく整形できる画像処理装置およびそのプログラムを提供する。
【解決手段】画像処理装置20は、原画像より読み取った文字を文字コードに変換するとともに、その文字が含まれている文字列領域を識別し、ついで、識別した文字列領域を超えない文字配列領域を特定して、その文字配列領域内に、上記変換された文字コードのそれぞれを所定のサイズのイメージデータに逆変換整形して割り付けを行なう画像処理手段1を備える。
【選択図】図1

Description

【0001】
【発明の属する技術分野】
本発明は、文字を含む原画像をOCR処理して得た文字コードを、再度イメージデータに逆変換する機能を有する画像処理装置およびそのプログラムの改良に関する。
【0002】
【従来の技術】
近年、手書き文字や印刷文字を含んだ原画像を読み取ったイメージデータを文字コードに変換するOCRソフトウェアが普及しているが、変換した文字コード情報をさらにJPEGやBMPなどのイメージデータ情報に逆変換整形するソフトウェアも開発されている。
【0003】
この種の逆変換ソフトウェアによりイメージデータの整形を行なうと、元の手書き文字が特定のフォントで印刷出力でき、かつ、文字情報を絵や写真とともにイメージデータとして統合して管理できるメリットがある。
【0004】
特に絵や写真と文字を含んだ原稿の場合、OCR変換は文字に対してのみ行なわれるため、電子情報としては、絵や写真の部分のイメージデータと、文字の部分の文字コードデータとに分離されるため、イメージデータに統合しておける逆変換整形の利便性は高い。
【0005】
【発明が解決しようとする課題】
ところが、この種の逆変換整形方式によれば、OCR処理による生成後の文字コードデータにもとづき変換処理が実行されるので、元の原画像と比較すると、文字サイズが全く異なってしまう場合がある。
【0006】
特に絵や写真と文字で配列されている原稿画像の場合は、文字サイズが異なってしまうことで元の文字列領域をはみ出てしまうことがあり、全体としての画像イメージが原画像に比べて予想外に変化してしまうこともある。
【0007】
本発明は、上記問題を解決すべく提案されたもので、その目的は、OCRソフトにより変換された文字コードデータを再度イメージデータに逆変換する場合に、元の原稿の文字領域を越えることなく整形できる画像処理装置およびそのプログラムを提供することにある。
【0008】
また、第2の目的は、逆変換の際に文字のカラー等の修飾も容易に定義できる画像処理装置およびそのプログラムを提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するために請求項1に記載の画像処理装置は、文字を含む原画像をOCR処理して文字コードを生成し、その文字コードを再度イメージデータに逆変換する機能を有した画像処理装置であって、対の特徴を有する画像処理手段を備えている。
【0010】
すなわち、画像処理手段は、原画像より読み取った文字を文字コードに変換するとともに、その文字が含まれている文字列領域を識別し、ついで、識別した文字列領域を超えない文字配列領域を特定して、その文字配列領域内に変換された文字コードのそれぞれを所定のサイズのイメージデータに逆変換整形して割り付けを行なう。
【0011】
その結果、元の原画像の文字列領域が大きく変化することなく、イメージデータの整形を行なうことができる。
【0012】
請求項2では、画像処理手段は、文字配列領域にイメージデータとして割り当てられる文字コードについてのフォント種別を、オペレータの選択のために表示部に表示させる機能を備えている。
【0013】
請求項3に記載の画像処理装置は、文字を含む原画像をOCR処理して文字コードを生成し、その文字コードを再度イメージデータに逆変換する機能を有しており、原画像に含まれる文字や文字列と、逆変換整形されるイメージデータとの種々の変換態様を設定可能とした逆変換整形ルールテーブルを作成するテーブル作成手段と、作成した逆変換整形テーブルに従い、生成された文字コードをイメージデータに逆変換整形する画像処理手段とを備えている。
【0014】
請求項4に記載のデータ変換プログラムは、画像処理装置で読み取られた原画像データをOCR処理して得た文字コードを、再度イメージデータに逆変換整形するためのプログラムであって、次の特徴を有している。
【0015】
すなわち、本プログラムは、原画像に含まれる文字を文字コードに変換するとともに、それらの文字が含まれる文字列領域のサイズを判別して、文字列領域として識別するステップと、文字列領域に対して、そのサイズを超えない文字配列領域を特定し、その文字配列領域に割り当て配列すべき文字のフォントサイズを決定するステップと、そのフォントサイズにもとづいて、変換された文字コードのそれぞれをイメージデータに逆変換整形するステップとを備えている。
【0016】
請求項5に記載のプログラムは、請求項3に記載された逆変換整形ルールテーブルを、表示画面上で作成するための逆変換整形ルールテーブル作成プログラムであって、画像処理装置において次のステップを実行させる構成となっている。
【0017】
すなわち、本プログラムは、OCR処理される文字、文字列を変換対象条件とし、これに対応して生成されるイメージデータの表示態様を逆変換整形パターンとして対比させて入力するための逆変換条件入力画面を表示させるステップと、この逆変換条件入力画面に、変換対象条件、逆変換整形パターンが入力されたときには、実行可能な逆変換整形パターンとして登録するステップとを備えている。
【0018】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【0019】
図1は、本発明の画像処理装置20の要部構成の一例を示すブロック図である。
【0020】
ここでは、画像処理装置として、FAX送受信機能を備えたファクシミリ装置を説明するが、これに限定されることなく、コピー機能を有したものや、インターネットファクシミリ装置、画像読取装置(スキャナ装置)などであってもよい。
【0021】
また、本発明は2種類の方式の逆変換整形に関するものであるが、図1の画像処理装置は、そのいずれをも備えるものを示している。
【0022】
図において、1は、逆変換機能を有する画像処理手段や逆変換整形ルールを作成するためのテーブル作成手段を含み、以下の各部を制御する主制御部、2は電話回線に対する接続制御をするNCU、3はファクシミリ通信をするために信号の変復調をするモデム、4は画像データを一時記憶する画像メモリ、5は各種データを記憶するRAM、5aは後述する第2の逆変換方式を実施するための逆変換整形ルールテーブル、6は制御プログラムなどを予め記憶したROM、7は液晶画面やLEDなどで構成された表示部、8は各種操作キーなどで構成される操作部、9は原稿から画像データを読み取る原稿読取部、10はファクシミリ受信した画像データを記録紙に記録する記録部である。
【0023】
このファクシミリ装置20は、原稿読取部9で原画像を読み取り、読み取った画像データをNCU2、モデム3を介して送信するFAX送信機能と、NCU2、モデム3を介して受信した画像データを記録部10により記録紙に印字出力するFAX受信機能とを備えているほか、文字情報を含む原画像を読み取ってOCRソフトにより文字コードデータに変換する機能と、文字コードデータをさらにイメージデータに整形する逆変換機能とを有している。
【0024】
上述するように、この逆変換機能には2種類の変換方式があるが、まず第1の逆変換機能について図2〜図5を用いて説明する。
【0025】
図2(a)は手書き文字を含んだ原画像イメージ、(b)は(a)の原画像イメージにもとづいてOCR処理された後さらにイメージデータに逆変換された画像イメージである。
【0026】
(b)図で示すように、変換されたイメージデータの文字部分は、任意のフォントに変換されているだけではなく、元の文字列領域A、Bを超えることのないような文字配列領域C、D内にイメージデータが整形される。
【0027】
ここで、文字列領域とは原画像上の文字列または文字列群が含まれる領域で、(a)図のように、複数の領域が分離して存在する場合もある。また、文字配列領域とは、逆変換されたときに割り付けられる領域で、文字列領域に対応し、対応する文字列領域の範囲を越えないように特定されるものである。すなわち、特定された文字配列領域は、単に文字列領域のサイズ(画素数)と比べて等しいか小さいだけではなく、文字配列領域全体が文字列領域内に包含されるように位置される。ただし、所定の割合ではみ出す場合を許容してもよい。
【0028】
図3は、イメージデータ整形のための、文字列領域に含まれる文字の読取処理を示すフローチャートである。
【0029】
原稿読取部9で原稿を読み取ると、文字列領域を識別し、その文字列領域データをRAM5などに確保した文字列領域ファイル5bに保存し、OCR処理によりその文字列領域に含まれる文字列を文字コードに変換し、文字コードデータとして文字コードファイル5cに保存する(ステップ101〜104)。ここで、文字列領域データは、領域ごとに位置とサイズ(画素数)が特定できるものであればよい。例えば、文字列領域の原点座標と各辺の長さで構成されるデータなどが含まれる。
【0030】
そして、これらの文字列領域データ、文字コードデータにもとづいて、逆変換整形が実行される。
【0031】
図4は、逆変換整形処理の基本動作を示すフローチャートである。
【0032】
まず、文字列領域ファイル5bより1つの領域の位置とサイズを取得し、文字コードファイル5cより対応する文字列の文字コード群を取得する(ステップ201、202)。
【0033】
次に、取得した位置と領域サイズにもとづき文字列領域を超えない文字配列領域を特定し、その文字配列領域のサイズと文字列の文字数から判断して文字(フォント)サイズを決定し、その文字サイズでイメージデータの逆変換整形を行なう(ステップ203〜205)。
【0034】
上記ステップ201〜205の処理を全領域について繰り返す(ステップ206)。
【0035】
このように、原画像の文字列領域を超えないように文字(フォント)サイズを決定して逆変換整形するので、大きすぎる文字サイズにより元の文字列領域をはみ出すことがなく、絵や写真と文字列領域とのバランスを崩すことのない変換が可能となる。
【0036】
図3、図4で示す読取処理、逆変換整形処理は、オペレータ操作を介さずに自動的に連続処理がされるようにしてもよいし、読取処理が終了した時点でオペレータに報知し、その後のオペレータの指示操作により、逆変換整形が処理されるようにしてもよい。
【0037】
図5は、オペレータが逆変換整形の実行指示ができるようにした画面M1を示す図である。
【0038】
OCR処理が終了すると図5の報知、指示入力用のメッセージ画面M1が表示部7に表示され、逆変換の実行指示と、さらにイメージデータに変換する際のフォント種別の選択入力が可能となる。
【0039】
また、イメージデータに逆変換されたデータは、原画像に含まれる絵や写真のデータと合成され、1つのイメージデータファイルとして保存され、図2(b)に示すような印字出力が可能となる。
【0040】
次に、第2の逆変換機能について図6〜図9を用いて説明する。
【0041】
図6(a)は手書き文字を含んだ原画像イメージ、(b)は(a)の原画像イメージにもとづいてOCR処理された後さらにイメージデータに逆変換された画像イメージである。
【0042】
(b)図で示すように、変換されたイメージデータの文字部分は、任意のフォントに変換されているだけではなく、一部の文字列については文字修飾がなされてイメージデータに整形される。ここでは、変換例として、文字列「ABCD」については囲み線で、文字列「XYZ」については下線で修飾された場合を示している。
【0043】
この種の文字列修飾は所定の逆変換整形ルールにもとづいて行なわれ、そのルールは逆変換整形ルールテーブルに登録されているものを使用する。
【0044】
図7は、逆変換整形ルールにもとづく逆変換整形処理を示すフローチャートである。
【0045】
この例では、読み取った文字コードについて、逆変換整形ルールテーブルをサーチし、条件が合致した場合には、そのルールにしたがい文字修飾などによるイメージデータの整形がなされ、合致しない場合は、デフォルトのフォントのイメージデータの整形が行なわれるように処理するように実行される(ステップ301〜306)。
【0046】
なお、逆変換整形ルールテーブルによる逆変換は、このような処理手順によるものに限定されない。例えば、テーブルのルールごとに合致する文字列をサーチしながら整形する方法であってもよい。
【0047】
逆変換整形ルールテーブルは、図8に示すように、条件と変換方法を対応させたもので、条件には特定の文字列が、変換方法には所望の修飾方法が定義される。また、対象の文字列が複数回出現した場合に特定の修飾を行なえるようにも定義できる。
【0048】
また、変換方法は下線、カラー、囲み線などの単なる文字修飾だけに限らず、逆変換整形される種々の変換態様を登録できるものである。例えば、特定の文字列を全く異なる文字列に変換することや、省略文字を定義する(例えば、省略文字「カブ」を「株式会社」に変換するように定義する)ことも登録できる。
【0049】
このテーブルは、テーブル作成手段によって登録される。
【0050】
図8は、テーブル作成手段を構成する逆変換整形テーブル作成プログラムを実行するための逆変換条件入力画面M2を示す図である。
【0051】
この入力画面M2は表示部7に表示され、変換対象である原画像に含まれる文字、文字列と、これに対応する複数の逆変換整形パターンとを入力できるように構成されている。
【0052】
逆変換条件入力画面M2で変換対象と逆変換整形パターンを入力登録すると、その内容は逆変換整形ルールテーブルに保存される。そして、図6に示す逆変換整形処理を稼働させると、このルールテーブルにもとづき逆変換整形が実施される。
【0053】
オペレータがテーブルに自由に設定登録できるので、手書き文字を含む原稿でも、簡単にカラー等の文字修飾でイメージデータを整形することができ、プレゼンテーション用の資料などでも短時間で作成することができる。
【0054】
【発明の効果】
以上の説明からも理解できるように、請求項1に記載の画像処理装置は、原画像の文字列領域を超えないように文字サイズを決定して逆変換整形するので、大きすぎる文字サイズにより元の文字列領域をはみ出してしまうことがなく、原画像イメージを忠実に再現でき、絵や写真と文字列領域とのバランスを崩すことのない変換が可能となる。
【0055】
請求項2では、逆変換する際に変換する文字のフォント種別がオペレータにより選択できるので、好みのフォントでイメージデータの整形を行なうことができる。
【0056】
請求項3では、逆変換整形ルールテーブルに種々の変換態様を登録して、このルールテーブルにもとづき逆変換を自動実行するので、手書き文字を含む原稿でも、簡単にカラー等の文字修飾でイメージデータの整形を行なうことができる。その結果、プレゼンテーション用の資料などでも短時間で作成することができる。
【0057】
請求項4に記載のデータ変換プログラムは、文字列領域に対して、そのサイズを超えない文字配列領域を特定し、原画像に含まれる文字配列領域に割り当て配列すべき文字のフォントサイズを決定して逆変換整形を実行しているので、請求項1に記載の画像処理装置と同様の効果が期待できる。
【0058】
請求項5に記載の逆変換整形ルールテーブル作成プログラムは、請求項3に記載された逆変換整形ルールテーブルを、逆変換条件入力画面から登録できるようにしているので、請求項3に記載の画像処理装置を容易に実現することができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の要部構成の一例を示すブロック図である。
【図2】(a)は手書き文字を含んだ原画像イメージ、(b)はOCR処理後さらにイメージデータに逆変換された画像イメージである。
【図3】イメージデータ整形のための、文字列領域に含まれる文字の読取処理を示すフローチャートである。
【図4】逆変換整形処理の基本動作を示すフローチャートである。
【図5】、オペレータが逆変換整形の実行指示ができるようにした画面例を示す図である。
【図6】(a)は手書き文字を含んだ原画像イメージ、(b)はOCR処理後イメージデータに逆変換された画像イメージである。
【図7】逆変換整形ルールにもとづく逆変換整形処理を示すフローチャートである。
【図8】逆変換整形ルールテーブルの定義例を示す図である。
【図9】テーブル作成手段を構成する逆変換整形テーブル作成プログラムを実行するための逆変換条件入力画面の例を示す図である。
【符号の説明】
20・・・画像処理装置
A、B・・・文字列領域
C、D・・・文字配列領域
1・・・主制御部(画像処理手段、テーブル作成手段)
5・・・RAM
5a・・・逆変換整形ルールテーブル
7・・・表示部
M1・・・メッセージ画面
M2・・・逆変換条件入力画面

Claims (5)

  1. 文字を含む原画像をOCR処理して文字コードを生成し、その文字コードを再度イメージデータに逆変換する機能を有した画像処理装置において、
    原画像より読み取った文字を文字コードに変換するとともに、その文字が含まれている文字列領域を識別し、ついで、識別した文字列領域を超えない文字配列領域を特定して、その文字配列領域内に、上記変換された文字コードのそれぞれを所定のサイズのイメージデータに逆変換整形して割り付けを行なう画像処理手段を備えている、画像処理装置。
  2. 請求項1において、
    上記画像処理手段は、上記文字配列領域に、イメージデータとして割り当てられる文字コードについてのフォント種別を、オペレータの選択のために表示部に表示させる機能を備えている、画像処理装置。
  3. 文字を含む原画像をOCR処理して文字コードを生成し、その文字コードを再度イメージデータに逆変換する機能を有した画像処理装置において、
    原画像に含まれる文字や文字列と、逆変換整形されるイメージデータとの種々の変換態様を設定可能とした逆変換整形ルールテーブルを作成するテーブル作成手段と、
    作成した逆変換整形テーブルに従い、上記生成された文字コードをイメージデータに逆変換整形する画像処理手段とを備えている、画像処理装置。
  4. 画像処理装置で読み取られた原画像データをOCR処理して得た文字コードを、再度イメージデータに逆変換整形するためのデータ変換プログラムであって、原画像に含まれる文字を文字コードに変換するとともに、それらの文字が含まれる文字列領域のサイズを判別して、文字列領域として識別するステップと、
    上記文字列領域に対して、そのサイズを超えない文字配列領域を特定し、その文字配列領域に割り当て配列すべき文字のフォントサイズを決定するステップと、
    そのフォントサイズにもとづいて、上記変換された文字コードのそれぞれをイメージデータに逆変換整形するステップとを備えた、イメージデータ変換プログラム。
  5. 請求項3に記載された逆変換整形ルールテーブルを、表示画面上で作成するための逆変換整形ルールテーブル作成プログラムであって、
    OCR処理される文字、文字列を変換対象条件とし、これに対応して生成されるイメージデータの表示態様を逆変換整形パターンとして対比させて入力するための逆変換条件入力画面を表示させるステップと、
    この逆変換条件入力画面に、上記変換対象条件、逆変換整形パターンが入力されたときには、実行可能な逆変換整形パターンとして登録するステップとを備えた、逆変換整形ルールテーブル作成プログラム。
JP2002183104A 2002-06-24 2002-06-24 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム Expired - Fee Related JP4248809B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002183104A JP4248809B2 (ja) 2002-06-24 2002-06-24 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002183104A JP4248809B2 (ja) 2002-06-24 2002-06-24 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム

Publications (2)

Publication Number Publication Date
JP2004030038A true JP2004030038A (ja) 2004-01-29
JP4248809B2 JP4248809B2 (ja) 2009-04-02

Family

ID=31179420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002183104A Expired - Fee Related JP4248809B2 (ja) 2002-06-24 2002-06-24 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム

Country Status (1)

Country Link
JP (1) JP4248809B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170544A (ja) * 2013-02-28 2014-09-18 Ricoh Co Ltd 処理方法、処理システム及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170544A (ja) * 2013-02-28 2014-09-18 Ricoh Co Ltd 処理方法、処理システム及びコンピュータプログラム

Also Published As

Publication number Publication date
JP4248809B2 (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
JP4661580B2 (ja) 画像処理装置及びプログラム
JP5164368B2 (ja) 画像処理装置、画像処理方法
JP2006238289A (ja) 表示データの変倍方法
JP2006262078A (ja) 画像処理装置
JP2008236421A (ja) データ変換システムおよびコンピュータプログラム
JP2008242850A (ja) 画像処理装置、画像処理システム及び画像処理方法
JP2009219056A (ja) 画像出力装置、画像出力方法及び画像出力プログラム
JP2022184133A (ja) 電子透かし解析装置および電子透かし解析方法
US7561296B2 (en) Image processing apparatus
GB2241406A (en) Colour image transmitting method
JP2008288912A (ja) 画像処理装置および画像形成装置
JP6344162B2 (ja) 画像処理装置およびコンピュータプログラム
US7616822B2 (en) Image coding apparatus and image coding method
JP4248809B2 (ja) 画像処理装置及びイメージデータ変換プログラム、逆変換整形テーブル作成プログラム
JP2007043709A (ja) オーバレイ画像形成方法及びオーバレイ画像形成装置
JP2007028181A (ja) 画像処理装置
JP2007249774A (ja) 文字色判別装置、文字色判別方法、およびコンピュータプログラム
JPH11346288A (ja) 画像処理装置のパラメータ共有方法およびシステム
JP5979950B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6279025B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP3882657B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008092419A (ja) 画像処理装置、画像処理方法
JP2003234859A (ja) 画像処理装置
JP2006092067A (ja) 情報処理装置
JP2006146316A (ja) 画像処理装置及びそのシステム制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070424

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees