JP2005173730A - 帳票ocrプログラム、方法及び装置 - Google Patents

帳票ocrプログラム、方法及び装置 Download PDF

Info

Publication number
JP2005173730A
JP2005173730A JP2003409481A JP2003409481A JP2005173730A JP 2005173730 A JP2005173730 A JP 2005173730A JP 2003409481 A JP2003409481 A JP 2003409481A JP 2003409481 A JP2003409481 A JP 2003409481A JP 2005173730 A JP2005173730 A JP 2005173730A
Authority
JP
Japan
Prior art keywords
ocr
item name
item
entry field
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003409481A
Other languages
English (en)
Other versions
JP4347677B2 (ja
Inventor
Masatake Kurihara
雅健 栗原
Masahiro Ueno
正博 上野
Akio Adachi
昭夫 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003409481A priority Critical patent/JP4347677B2/ja
Publication of JP2005173730A publication Critical patent/JP2005173730A/ja
Application granted granted Critical
Publication of JP4347677B2 publication Critical patent/JP4347677B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】 項目のレイアウトが異なる帳票に対して柔軟に対応して認識精度の低下を防止する。
【解決手段】 帳票OCRプログラムは、帳票から、前記記入欄内の文字を認識する帳票OCR処理をコンピュータに実行させる。帳票OCR処理は、帳票イメージ取り込み処理,全面OCR処理,項目名枠特定処理,再OCRエリア設定処理,部分OCR処理からなる。全面OCR処理では、前記帳票イメージの全面に対してOCR処理を実行し、記入欄及び項目名枠の位置と、これらの枠内の文字列を認識する。この結果情報に基づいて、再度OCR処理をすべき記入欄を特定し、特定された記入欄に対して部分的にOCR処理を実行する。全面OCR処理において、帳票の項目のレイアウトを認識するので、予め帳票毎に項目のレイアウト情報を準備することなく、項目のレイアウトが異なる帳票に対して柔軟に対応することが可能となる。
【選択図】 図3

Description

本発明は、帳票などの文書を光学的にイメージデータとして読み取り、読み取ったイメージデータから文字認識を行う帳票OCRプログラム、方法及び装置に関するものである。
伝票や給与報告書などの帳票を、光学的にイメージデータとして読み取り、読み取ったイメージデータから帳票に記載された文字を認識するOCR(Optical Characterize Recognition)装置(例えば、下記特許文献1参照)が知られている。ここで、文字には、数字や記号も含まれる。帳票には、氏名,受給者番号,給与所得の額などの複数の項目に関して、それぞれの項目の個別具体的な文字が記入される記入欄が設けられており、この記入欄の近傍には、それぞれの項目の名称(項目名)が予めプリント(プレプリント)されている。記入欄や項目名は、それぞれ罫線によって構成された枠によって区画されて配列されている。OCR装置によって最終的に抽出したい情報は、記入欄内に記入された文字であり、OCR装置においては、この記入欄を特定しその欄内の文字を精度良く読み取ることが主要な課題となっている。
特許文献1記載のOCR装置は、予め帳票の種類毎に、前記項目名と前記記入欄との相対的な位置関係を示す論理レイアウト情報を用意しておき、帳票種別コードによって所望の帳票に対応する論理レイアウト情報を選択し、選択された論理レイアウト情報を参照しながら記入欄内の文字を認識する。論理レイアウト情報は、帳票上の項目名及び記入欄のレイアウトをテキストデータで表現したものであり、項目名と記入欄との相対的な位置関係は、各項目名を取り囲む項目名枠と記入欄とを表すテキストの記述順序によって示される。
例えば、帳票上、項目名「氏名」の右隣に記入欄がある場合には、ファイルには、”項目名「氏名」&記入欄”というように、氏名の項目名枠の右隣に&記号を挟んで記述される。この記述順序により項目名枠の右には記入欄があることが示される。また、項目名枠の下に記入欄がある場合には、1行目に”項目名「氏名」”を記述し、改行して項目名「氏名」の下に”記入欄”と記述することで、項目名枠の下に記入欄があることが示される。論理レイアウト情報には、こうした情報が帳票の全項目分収録される。
論理レイアウト情報は、絶対的な座標位置によって記入欄や項目名枠の位置を記述するものではなく、両者の相対的位置関係のみを記述したものである。このため、論理レイアウト情報を記入欄の特定に使用することにより、帳票をイメージデータ化する際の読み取り倍率を正確に合わせる必要もなく、帳票イメージデータの基準位置が基準座標位置からずれているといった場合でも、記入欄が特定不能になるということがなくなるので、記入欄の認識率が向上し、その結果文字認識率も向上する。
特開平10−207981号公報
しかしながら、例えば、給与支払報告書など、公的な機関によって記入項目が規定されている帳票でも、その帳票を作成するメーカーによって、記入欄や項目名のレイアウトは異なる。上記特許文献1記載のOCR装置では、項目のレイアウトが異なる場合には、認識精度が著しく低下してしまうという問題がある。もちろん、レイアウトが異なる帳票毎に論理レイアウト情報を予め作成し、これを登録しておけば、認識精度の低下を防止することはできる。しかし、レイアウトが異なる帳票の数は膨大であるため、すべての帳票の論理レイアウト情報を用意することは事実上不可能に近い。
本発明は、項目のレイアウトが異なる帳票に対して柔軟に対応して認識精度の低下を防止することができる帳票OCRプログラム、方法及び装置を提供することを目的とする。
本発明の帳票OCRプログラムは、複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR処理をコンピュータに実行させる帳票OCRプログラムにおいて、前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理ステップと、前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理ステップと、特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理ステップとからなることを特徴とする。
前記記入欄特定処理ステップは、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定する項目名枠特定処理ステップと、特定された項目名枠からそれに対応する記入欄を特定する再OCRエリア設定処理ステップとからなることが好ましい。
前記部分OCR処理ステップは、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用して実行されることが好ましい。
また、本発明の帳票OCR方法は、複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR方法において、前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理ステップと、前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理ステップと、特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理ステップとからなることを特徴とする。
前記記入欄特定処理ステップは、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定する項目名枠特定処理ステップと、特定された項目名枠からそれに対応する記入欄の位置を特定する再OCRエリア設定処理ステップとからなることが好ましい。
前記部分OCR処理ステップは、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用して実行されることが好ましい。
また、本発明の帳票OCR装置は、複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR装置において、前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理部と、前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理部と、特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理部とを備えたことを特徴とする帳票OCR装置。
前記記入欄特定処理部は、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定し、特定された項目名枠からそれに対応する記入欄の位置を特定することが好ましい。
前記部分OCR処理部は、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用してOCR処理を実行することが好ましい。
本発明は、複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR処理をコンピュータに実行させる帳票OCRプログラムにおいて、前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理ステップと、前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理ステップと、特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理ステップとからなるので、予め帳票毎に項目のレイアウト情報を準備することなく、項目のレイアウトが異なる帳票に対して柔軟に対応することが可能となり、認識精度の低下を防止することができる
図1に示す帳票OCRシステム10は、メインユニット11,イメージスキャナ12,イメージデータサーバ13とからなり、これらは、例えば、LAN14などの通信ネットワーク14によって接続されている。イメージスキャナ12の給紙トレイ12aには、例えば、数百枚という単位で給与報告書などの帳票16がセットされる。イメージスキャナ12は、これらの帳票16をCCDイメージセンサでスキャンして、1枚の帳票に対して1つの帳票イメージデータ35(図2参照)を出力する。帳票イメージデータ35は、画素データの集合であるビットマップデータとして生成される。イメージデータサーバ13は、HDD(ハードディスクドライブ)などのデータストレージデバイスを備えており、イメージスキャナ12から出力された数千枚分の帳票イメージデータを蓄積する。
メインユニット11は、イメージデータサーバ13にアクセスして、帳票イメージデータ35を1つずつ読み取り、読み取った帳票イメージデータ35に対してOCR処理を施す。メインユニット11が認識した文字のデータは、例えば、課税計算システム等に引き渡されて処理される。
メインユニット11は、例えば、パーソナルコンピュータやワークステーションをベースにして、これに帳票OCRプログラム28をインストールしたものであり、CPU21,RAM22,操作部24,ディスプレイ26,ハードディスクドライブ(HDD)27からなる。これらメインユニット11の各部は、データバス23によって接続されている。
CPU21は、オペレーティングシステムを実行してメインユニット11の各部を制御するとともに、帳票OCRプログラム28を実行する。RAM22は、CPU21がプログラムを実行する際に使用される作業用メモリである。帳票OCRプログラム28が実行される際には、RAM22に帳票OCRプログラム28や定義データなどがロードされる。操作部24は、キーボードやマウスなどの入力デバイスからなり、CPU21に対してコマンドを入力したり、処理条件の入力を行う。ディスプレイ26には、帳票OCRプログラム28の操作画面が表示される。HDD27は、データストレージデバイスであり、オペレーティングシステム,帳票OCRプログラム28の他、後述する各種の定義データ29,OCR処理で参照する辞書データなどを記憶する。
図2は、帳票16の説明図である。本例においては、給与所得報告書を帳票16の具体例として説明する。帳票16は、外枠31内に、「支払を受ける者」,「住所」,「氏名」,「受給者番号」,「フリガナ」などといった項目名がプレプリントされており、各項目名の近傍には、記入欄が設けられている。各項目名及び記入欄は、罫線によって区画されている。例えば、「受給者番号」や「支払金額」という項目名は、それぞれ枠32a,33aによって区画されており、「受給者番号」の項目名枠32aの右隣に隣接する枠32bは、受給者番号そのものが記入される記入欄を構成する記入枠であり、「支払金額」の項目名枠33aの下に隣接する記入欄も枠33bによって区画されている。
図3は、帳票OCRプログラム28の帳票OCR処理手順の全体を示すフローチャートである。帳票OCRプログラム28の処理ステップは、帳票イメージ取り込み処理,全面OCR処理,記入欄特定処理,部分OCR処理からなる。記入欄特定処理は、項目名枠特定処理と再OCRエリア設定処理からなる。
帳票イメージ取り込み処理は、イメージデータサーバ13から、帳票イメージデータ35を1帳票分ずつ読み出す。この帳票イメージデータ35に対して全面OCR処理が実行される。
全面OCR処理は、帳票16の全面に対してOCR処理を実行するとともに、外枠31内に存在するすべての項目名枠と記入枠とを認識するとともに、各項目の項目名や記入欄内の文字列を認識する。認識された枠は、座標情報で表現されるベクトルデータに変換され、文字は、テキストデータに変換される。
図4は、全面OCR処理の手順を示すフローチャートである。全面OCR処理は、外枠31の左上に設定された原点Oを起点として、左端から右端に向かって順に行われ、最終的に右下の頂点に至る。全画面OCR処理では、1つの枠を検出すると、その枠情報,枠内の行情報,枠内の文字情報を認識する。
図5(A)に示すように、これら認識した情報は、枠毎に1つの認識情報レコードとしてまとめられ、当該認識情報レコードには、枠番号として、認識した順序でシーケンス番号が付与される。行情報には、枠内の文字が記入される行数及びその行の座標情報が含まれる。枠内の文字情報には、各行毎の文字数や、認識した文字そのもの、各文字の座標情報が含まれる。そして、全面分の認識情報レコードをまとめて、全面OCR結果ファイル36として出力する。出力された全面OCR結果ファイル36は、RAM22や、HDD27に設定されたワーク領域に一時的に記憶される。
図5(B)は、全面OCR結果ファイル36の内容のより具体的な説明図である。帳票16において、一番左上の枠は最初に認識されるので、枠番号として「1」が付与される。その枠には、「支払を受ける者」という文字がプレプリントされており、このプレプリントされた文字を認識した文字情報が、正確に認識されると「支払を受ける者」という認識文字となる。文字認識率は100%ではないので、正確に認識できない場合もある。その場合には、誤認識した文字情報が、そのまま認識文字となる。また、この枠内の行数は、1行目が「支払」,2行目が「を受け」,3行目が「る者」というように、3行に渡っているので、枠内の行数は「3」となる。各文字の座標は、1文字毎にその左上と右下のそれぞれのXY座標が抽出される。
帳票OCRプログラム28は、辞書データ30(図1参照)を参照してOCR処理を実行する。この辞書データ30には、システム辞書とユーザー辞書とがある。システム辞書は、英数字,記号,かな,カタカナ,漢字など複数の文字の属性に関わらず汎用的に使用される辞書であるのに対して、ユーザー辞書は、文字の各属性に特化した専用の辞書であり、英数字用のユーザー辞書,記号用のユーザー辞書など、各属性毎に複数の種類がある。ユーザー辞書は、該当する属性の文字認識率は、システム辞書に比較してはるかに高いが、他の属性の文字認識には使用できない。これらシステム辞書とユーザー辞書とは、HDD27に記憶されており、CPU21が帳票OCRプログラム27を実行する際に適宜使用される。全面OCR処理においては、異なる属性の項目が複数混在する全面がOCR対象エリアなので、システム辞書が選択される。
全面OCR処理が終了すると、項目名枠特定処理が実行される。項目名枠特定処理は、項目定義ファイル37に基づいて、全面OCR結果ファイル36内のすべての認識情報レコードのうち、項目名枠の認識情報レコードを特定する。
図6(A)に示すように、項目定義ファイル37は、帳票16に記載される項目名毎の複数の定義レコードからなり、各定義レコードには、項目名と、各項目名毎に再OCRが必要か否かを指定する再OCR指定情報と、各項目名とそれらに対応する記入欄との相対的な位置関係を示す記入欄の位置情報と、各項目名の近傍の項目名との相対位置情報とが含まれている。また、図示しないが、この項目定義ファイル37には、後述するように、再度OCR処理を実行するエリアの項目番号である再OCR項目番号が含まれている。
記入欄の位置情報は、各項目名のどの方向に隣接して記入欄が存在するかを示す情報である。この記入欄の位置情報は、数字で規定されており、それぞれの数字には、図6(B)に示すように、「1」は、「項目名の右に位置する枠が記入欄」、「2」は、「項目名の下に位置する枠が記入欄」というように、それぞれの意味が定義されている。例えば、支払金額の項目は、その項目名の下に記入欄が位置するので、記入欄の位置情報は、「2」と指定される。
近傍の項目名との相対位置情報は、具体的には、「受給者番号」という項目名の左には「氏名」という項目名があり、下には「フリガナ」という項目名があるという形で記述される。この近傍の項目名との相対位置情報は、後述するように、項目名枠特定処理において、ある項目名をキーに、それに対応する項目名枠を特定できなかった場合に使用される。
図7に示すフローチャートは、項目名枠特定処理の具体的な手順を示す。まず、項目定義ファイル37から項目名枠を特定すべき1つの項目名を読み出し、その項目名と、全面OCR結果ファイル36に含まれる認識文字とを照合することにより、前記項目名に対応する項目名枠の枠番号をサーチする。そして、認識文字と項目名とが一致した場合には、図8に示すように、全面OCR結果ファイル36からその枠番号を読み出し、これを項目定義ファイル37の対応する項目名のレコードに追加して、項目名枠特定データファイル38を生成する。
例えば、「受給者番号」の項目名枠を特定する場合には、項目定義ファイル37から、「受給者番号」を読み出し、この「受給者番号」をキーに、全面OCR結果データファイル36内の認識文字と照合を行うことにより、特定対象となる項目名枠の枠番号をサーチする。サーチできた場合、すなわち、全面OCR結果データファイル36内に「受給者番号」という文字列が存在した場合には、その認識文字に対応する枠番号を項目定義ファイル36の受給者番号のレコードに追加して、項目名枠特定データファイル38を作成する。
しかし、全面OCR処理において、文字列を誤認識していたり認識不能だった場合には、当然ながら全面OCR結果ファイル36内に「受給者番号」という文字列は存在しない。このように特定すべき項目名枠の枠番号をサーチできなかった場合には、特定すべき項目名の近傍に位置する項目名をキーにサーチ処理を実行する。例えば、「受給者番号」という文字列が存在しない場合には、項目定義データファイル37内の相対位置情報を参照して、「氏名」や「フリガナ」といった、「受給者番号」の近傍に位置する項目名を調べ、その項目名をキーにサーチ処理を実行する。そして、全面OCR結果データファイル36内に「氏名」という文字列が見つかった場合には、前記相対位置情報(「氏名」の右側に「受給者番号」が存在する)に基づいて、「受給者番号」の項目名枠の枠番号を推定する。この推定した枠番号を、検索対象となる項目名枠の枠番号として項目定義データに追加する。
このように、所望の項目名をキーにそれに対応する項目名枠の特定ができなかった場合に、所望の項目名の近傍に位置する項目名をキーに前記項目名枠を推定することにより、全面OCR処理において文字列を誤認識したり認識不能であった場合でも、所望の項目名枠を特定することが可能になる。
こうした近傍の項目名によるサーチは、全面OCR結果ファイル36の全データに渡って実行してもよい。例えば、「受給者番号」の項目名枠を特定する際に、まずはじめに、「受給者番号」をキーにサーチを行い、それでサーチが不能な場合には、その近傍にある「氏名」や「フリガナ」といった項目名がサーチキーとして使用され、それでも見つからない場合には、「氏名」や「フリガナ」の近傍の項目名をキーにサーチを行うというように、全データに渡ってサーチを実行することも可能である。しかし、こうすると、サーチ処理の負荷が増大して、サーチ時間も非常に大きくなる。
そこで、帳票OCRプログラム28では、推定処理の際のサーチ範囲を規定することで、サーチ範囲を限定している。図2に示すバンド(バンド1〜5)とは、それぞれサーチ範囲を示し、項目定義ファイル37(図6参照)にはそれぞれの項目がどのバンドに属するかを示すバンドNoが含まれている。バンドは、帳票16の筆記方向、すなわち本例においては帳票16は横書きなので、横方向に延びた帯状のエリアとして定義される。本例では、1番左上の「支払を受ける者」の項目の幅をバンド1とし、「種別」,「支払金額」,「給与所得控除後の金額」,「所得控除の額の合計額」,「源泉徴収額」の各項目が並ぶ幅をバンド2というようにバンドを定義している。このバンドの定義は、座標情報などの物理的な位置情報によってなされるのではなく、項目名によって論理的に定義される。すなわち、バンド1の定義は、バンド1の範囲を座標情報によって定義するのではなく、バンド1内に含まれる複数の項目名(氏名,フリガナなど)を記述することによって行われる。
このように、サーチ範囲を限定したことで、例えば、「種別」という項目名枠を特定する場合には、推定処理に使用されるサーチキーが、「支払金額」,「給与所得控除後の金額」,「所得控除の額の合計額」,「源泉徴収額」の4つの項目名に限定される。これにより、サーチ処理の負荷が軽減されサーチ時間が短くなる。
また、近傍の項目名をキーにサーチ処理を実行しても、所望の項目名枠を特定できない場合にはエラーとする。エラーの場合には、項目名枠特定データファイル38の枠番号欄は空白となる。こうした項目名枠特定処理によって、項目定義ファイル37の各項目名のレコードと、全面OCR結果ファイル36の各レコードとが対応付けられる。
項目名枠特定処理の後には、再OCRエリア設定処理が実行される。再OCRエリア設定処理は、項目名枠特定データファイル38と、再OCR項目定義ファイル39とに基づいて、再OCRすべきエリアを指定する再OCRエリアデータファイル41を出力する。
図9に示すように、再OCR項目定義ファイル39は、再度OCRすべき項目の記入欄に関する情報を、項目毎に定義したファイルである。再OCR項目は、例えば、「受給者番号」,「フリガナ」,「種別」,「支払金額」,「給与所得控除後の金額」,「所得控除の額の合計額」,「源泉徴収額」などである。これらの項目は、項目定義ファイル37において、再OCR指定がなされる。再OCR項目定義ファイル39は、各項目毎に、再OCR項目番号,項目名,属性とを含む情報が1レコードになっている。属性情報は、英字,数字,カナ,かな漢字など記入される項目の文字属性の情報である。再OCR処理をする際には、この属性情報に基づいて、属性に適合するユーザー辞書が選択される。
図10は、再OCRエリア設定処理の手順を示すフローチャートである。再OCRエリア設定処理では、まず、項目名枠特定データファイル38から、再OCR指定がなされている項目名枠のレコードを1つ読み出す。そして、当該項目名枠に対応する記入欄の位置情報に基づいて、全面OCR結果ファイル36内の各認識情報レコードの中から、記入欄の認識情報レコードを特定し、抽出する。
そして、再OCR項目定義ファイル39から該当する項目の属性情報を読み出し、その属性情報に基づいて、記入欄内の不要な認識文字の情報を除去する。例えば、図11に示すように、支払金額の記入欄46には、その欄内に、金額を示す文字列「5,600,000」の他、その上の行に、「内」,「円」といった文字列がプレプリントされている。全面OCR結果ファイル36の認識情報レコードには、記入欄46の枠情報とその枠内の行情報や文字情報がすべて格納されている。
再OCR処理をすべきエリアは、記入欄46内のうち、金額そのもの(「5,600,000」)が記述されたエリアのみでよい。その他の文字列は、認識不要であるばかりでなく、必要な文字列を認識する際のノイズになるおそれもある。このため、帳票OCRプログラム28では、再OCRエリア設定処理において、前記認識情報レコードから、こうした不要文字に関する情報を除去している。不要文字か否かの判断は、属性情報に基づいて行われる。例えば、支払金額の属性は数字であるので、文字列の中から数字以外のものが不要文字と判断される。不要文字が除去されると、認識情報レコードには、記入欄46の枠情報と、その欄内の金額の位置を示す文字座標46aとが残る。
こうして不要な認識文字情報が除去された認識情報レコードと、その記入欄の属性情報とを結合したデータが、再OCRエリアデータとして出力される。こうした処理が、再OCR処理を実行する全項目に対して行われ、全項目分のデータをまとめた再OCRエリアデータファイル41が生成される。
このように、項目枠特定処理と再OCRエリア設定処理とを行うことにより、再度OCRすべき記入欄の特定が行われる。
部分OCR処理は、再OCRエリアデータファイル41を参照して、帳票イメージの再OCR指定されたエリアに対して部分的にOCR処理を実行する。まず、再OCRエリアデータファイル41から、記入欄のエリア情報を1項目分読み出す。次に、読み出した項目の属性に対応するユーザー辞書を設定する。例えば、支払金額の記入欄の場合には、属性が数字であるので、数字用のユーザー辞書を設定する。そして、エリア情報の座標情報から、再OCRエリアを特定し、そのエリアのOCR処理を実行する。こうした処理を全項目分繰り返す。認識された文字列は、再OCR項目番号,項目名とともに、部分OCR結果ファイル42に出力される。このように、文字属性に応じたユーザー辞書を使用して部分OCR処理が行われるので、精度が高い文字認識を行うことができる。
以下、上記構成による作用について説明する。オペレータが、イメージスキャナ12に帳票16をセットして、読み取り指示を与えると、イメージスキャナ12が帳票16をイメージデータに変換し、そのイメージデータがイメージデータサーバ13に蓄積される。次に、オペレータがメインユニット11から、帳票OCR処理実行指示を与えると、帳票OCRプログラム28が起動する。帳票OCRプログラムは、イメージデータサーバ13から帳票イメージデータを1ファイルずつ取り込み、帳票OCR処理を実行する。
まず、全面OCR処理が実行されて、外枠31内の全項目分の項目名枠,記入枠及び枠内の文字列が認識され、これらの認識情報が枠毎に認識情報レコードとしてまとめられ、全面OCR結果ファイル36として出力される。この全面OCR処理により、帳票16の各項目の枠のレイアウトが認識される。
次に、この全面OCR結果ファイル36と、項目定義ファイル37とに基づいて、項目名枠特定処理が実行されて、項目名枠が特定される。この項目名枠特定処理においては、所望の項目名をキーに、対応する項目名枠が特定されるが、その項目名で特定ができない場合には、近傍の項目名をキーとして、所望の項目名枠が推定される。このため、全面OCR処理において、所望の項目名を誤認識していたり、認識不能であった場合でも、項目名枠の特定が可能になるので、記入欄の特定率が向上する。項目名枠特定処理の結果は、項目名枠特定データファイル38として出力される。
この前記項目名枠特定データファイル38と再OCR項目定義ファイル39とに基づいて、再OCRエリア設定処理が実行されて、再OCRエリア(再度OCRすべき記入欄)が特定される。この再OCRエリア設定処理によって、記入欄の位置及びその属性の特定,及び不要文字情報の除去が行われ、その結果情報として再OCRエリアデータファイル41が出力される。
部分OCR処理は、この再OCRエリアデータファイル41に基づいて、指定された記入欄に対して再度OCR処理を実行する。この部分OCR処理では、属性情報に基づいて、対象となる記入欄に適合したユーザー辞書が選択されるから、精度の高い文字認識が可能となる。
このように、帳票OCRプログラム28は、まず、全面OCR処理により、帳票16の各項目のレイアウトを認識した後、その結果情報と項目定義データに基づいて記入欄を特定している。このため、項目のレイアウトが異なる場合でも、予め帳票毎のレイアウト情報を準備することなく、必要な項目名を含む項目定義データを準備するだけで済むので、柔軟な対応が可能となり、認識精度の低下がなくなる。
上記実施形態では、帳票OCRシステムのメインユニットとして、汎用的なパーソナルコンピュータやワークステーションをベースに帳票OCRプログラムをインストールした形態の帳票OCR装置を使用し、各処理ステップのすべてをコンピュータがソフトウエアを実行することにより実現する例で説明しているが、もちろん、メインユニットとしては、各処理ステップのうち少なくとも一部を専用のハードウエアによって実行する処理部を備えた専用の帳票OCR装置を使用してもよい。
帳票OCRシステムの全体構成図である。 帳票の説明図である。 帳票OCR処理の全体の手順を示すフローチャートである。 全面OCR処理の手順を示すフローチャートである。 全面OCR結果ファイルの説明図である。 項目定義ファイルの説明図である。 項目名枠特定処理の手順を示すフローチャートである。 項目名枠特定処理の説明図である。 再OCRエリア設定処理の説明図である。 再OCRエリア設定処理の手順を示すフローチャートである。 不要文字除去処理の説明図である。 部分OCR処理の手順を示すフローチャートである。
符号の説明
10 帳票OCRシステム
11 メインユニット
16 帳票
21 CPU
22 RAM
27 HDD
35 帳票イメージデータ
36 全面OCR結果ファイル
37 項目定義ファイル
38 項目名枠特定データファイル
39 再OCR項目定義ファイル
41 再OCRエリアデータファイル
42 部分OCR結果ファイル

Claims (9)

  1. 複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR処理をコンピュータに実行させる帳票OCRプログラムにおいて、
    前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理ステップと、
    前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理ステップと、
    特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理ステップとからなることを特徴とする帳票OCRプログラム。
  2. 前記記入欄特定処理ステップは、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定する項目名枠特定処理ステップと、特定された項目名枠からそれに対応する記入欄を特定する再OCRエリア設定処理ステップとからなることを特徴とする請求項1記載の帳票OCRプログラム。
  3. 前記部分OCR処理ステップは、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用して実行されることを特徴とする請求項1又は2記載の帳票OCRプログラム。
  4. 複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR方法において、
    前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理ステップと、
    前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理ステップと、
    特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理ステップとからなることを特徴とする帳票OCR方法。
  5. 前記記入欄特定処理ステップは、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定する項目名枠特定処理ステップと、特定された項目名枠からそれに対応する記入欄の位置を特定する再OCRエリア設定処理ステップとからなることを特徴とする請求項4記載の帳票OCR方法。
  6. 前記部分OCR処理ステップは、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用して実行されることを特徴とする請求項4又は5記載の帳票OCR方法。
  7. 複数の項目に関して、その記入欄と予めプリントされた項目名とが配列され、前記記入欄と項目名とがそれぞれ罫線によって区画された帳票を読み取った帳票イメージから、前記記入欄内の文字を認識する帳票OCR装置において、
    前記帳票イメージの全面に対してOCR処理を実行し、前記記入欄を区画する記入枠の位置,前記項目名を取り囲む項目名枠の位置,及びこれらの枠内の文字列を認識する全面OCR処理部と、
    前記全面OCR処理ステップの結果情報に基づいて、再度OCR処理をすべき記入欄を特定する記入欄特定処理部と、
    特定された記入欄に対して部分的にOCR処理を実行する部分OCR処理部とを備えたことを特徴とする帳票OCR装置。
  8. 前記記入欄特定処理部は、予め項目名を定義した項目定義データから、所望の項目名を読み出し、これを前記全面OCR処理ステップの結果情報内の認識文字と照合することにより、項目名枠を特定し、特定された項目名枠からそれに対応する記入欄の位置を特定することを特徴とする請求項7記載の帳票OCR装置。
  9. 前記部分OCR処理部は、予め定義された各項目の文字属性情報に基づいて、対象となる記入欄の属性に適合した辞書データを使用してOCR処理を実行することを特徴とする請求項7又は8記載の帳票OCR装置。
JP2003409481A 2003-12-08 2003-12-08 帳票ocrプログラム、方法及び装置 Expired - Fee Related JP4347677B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003409481A JP4347677B2 (ja) 2003-12-08 2003-12-08 帳票ocrプログラム、方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003409481A JP4347677B2 (ja) 2003-12-08 2003-12-08 帳票ocrプログラム、方法及び装置

Publications (2)

Publication Number Publication Date
JP2005173730A true JP2005173730A (ja) 2005-06-30
JP4347677B2 JP4347677B2 (ja) 2009-10-21

Family

ID=34730855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003409481A Expired - Fee Related JP4347677B2 (ja) 2003-12-08 2003-12-08 帳票ocrプログラム、方法及び装置

Country Status (1)

Country Link
JP (1) JP4347677B2 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021068A (ja) * 2006-07-12 2008-01-31 Hitachi Computer Peripherals Co Ltd 帳票認識装置及び帳票認識プログラム
JP2008191833A (ja) * 2007-02-02 2008-08-21 Fujitsu Ltd 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
JP2012517637A (ja) * 2009-02-10 2012-08-02 コファックス, インコーポレイテッド 文書の有効性を決定するためのシステム、方法およびコンピュータプログラム製品
US8774516B2 (en) 2009-02-10 2014-07-08 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8855375B2 (en) 2012-01-12 2014-10-07 Kofax, Inc. Systems and methods for mobile image capture and processing
US8879846B2 (en) 2009-02-10 2014-11-04 Kofax, Inc. Systems, methods and computer program products for processing financial documents
US8885229B1 (en) 2013-05-03 2014-11-11 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US8958605B2 (en) 2009-02-10 2015-02-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9058515B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9058580B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9137417B2 (en) 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
US9141926B2 (en) 2013-04-23 2015-09-22 Kofax, Inc. Smart mobile application development platform
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9311531B2 (en) 2013-03-13 2016-04-12 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9483794B2 (en) 2012-01-12 2016-11-01 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9747269B2 (en) 2009-02-10 2017-08-29 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2021016078A (ja) * 2019-07-11 2021-02-12 株式会社リコー 情報処理システム、情報処理方法、機器
JP7468004B2 (ja) 2020-03-11 2024-04-16 富士フイルムビジネスイノベーション株式会社 帳票処理装置及びプログラム

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US9137417B2 (en) 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
JP4733577B2 (ja) * 2006-07-12 2011-07-27 日立コンピュータ機器株式会社 帳票認識装置及び帳票認識プログラム
JP2008021068A (ja) * 2006-07-12 2008-01-31 Hitachi Computer Peripherals Co Ltd 帳票認識装置及び帳票認識プログラム
JP2008191833A (ja) * 2007-02-02 2008-08-21 Fujitsu Ltd 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
US8224090B2 (en) 2007-02-02 2012-07-17 Fujitsu Limited Apparatus and method for analyzing and determining correlation of information in a document
JP2012517637A (ja) * 2009-02-10 2012-08-02 コファックス, インコーポレイテッド 文書の有効性を決定するためのシステム、方法およびコンピュータプログラム製品
US8855425B2 (en) 2009-02-10 2014-10-07 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8774516B2 (en) 2009-02-10 2014-07-08 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US8879846B2 (en) 2009-02-10 2014-11-04 Kofax, Inc. Systems, methods and computer program products for processing financial documents
US9747269B2 (en) 2009-02-10 2017-08-29 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
US8958605B2 (en) 2009-02-10 2015-02-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
JP2014116025A (ja) * 2009-02-10 2014-06-26 Kofax Inc 文書の有効性を決定するためのシステム、方法およびコンピュータプログラム製品
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9396388B2 (en) 2009-02-10 2016-07-19 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9342741B2 (en) 2009-02-10 2016-05-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8971587B2 (en) 2012-01-12 2015-03-03 Kofax, Inc. Systems and methods for mobile image capture and processing
US8989515B2 (en) 2012-01-12 2015-03-24 Kofax, Inc. Systems and methods for mobile image capture and processing
US9158967B2 (en) 2012-01-12 2015-10-13 Kofax, Inc. Systems and methods for mobile image capture and processing
US9165187B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US10664919B2 (en) 2012-01-12 2020-05-26 Kofax, Inc. Systems and methods for mobile image capture and processing
US10657600B2 (en) 2012-01-12 2020-05-19 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058580B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9342742B2 (en) 2012-01-12 2016-05-17 Kofax, Inc. Systems and methods for mobile image capture and processing
US8855375B2 (en) 2012-01-12 2014-10-07 Kofax, Inc. Systems and methods for mobile image capture and processing
US8879120B2 (en) 2012-01-12 2014-11-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058515B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9483794B2 (en) 2012-01-12 2016-11-01 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9996741B2 (en) 2013-03-13 2018-06-12 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9754164B2 (en) 2013-03-13 2017-09-05 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9311531B2 (en) 2013-03-13 2016-04-12 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US10127441B2 (en) 2013-03-13 2018-11-13 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9141926B2 (en) 2013-04-23 2015-09-22 Kofax, Inc. Smart mobile application development platform
US10146803B2 (en) 2013-04-23 2018-12-04 Kofax, Inc Smart mobile application development platform
US9584729B2 (en) 2013-05-03 2017-02-28 Kofax, Inc. Systems and methods for improving video captured using mobile devices
US8885229B1 (en) 2013-05-03 2014-11-11 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9253349B2 (en) 2013-05-03 2016-02-02 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9946954B2 (en) 2013-09-27 2018-04-17 Kofax, Inc. Determining distance between an object and a capture device based on captured image data
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9747504B2 (en) 2013-11-15 2017-08-29 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2021016078A (ja) * 2019-07-11 2021-02-12 株式会社リコー 情報処理システム、情報処理方法、機器
JP7342472B2 (ja) 2019-07-11 2023-09-12 株式会社リコー 情報処理システム、情報処理方法
JP7468004B2 (ja) 2020-03-11 2024-04-16 富士フイルムビジネスイノベーション株式会社 帳票処理装置及びプログラム

Also Published As

Publication number Publication date
JP4347677B2 (ja) 2009-10-21

Similar Documents

Publication Publication Date Title
JP4347677B2 (ja) 帳票ocrプログラム、方法及び装置
US9613267B2 (en) Method and system of extracting label:value data from a document
US6400845B1 (en) System and method for data extraction from digital images
KR100412317B1 (ko) 문자인식/수정방법및장치
US11182604B1 (en) Computerized recognition and extraction of tables in digitized documents
JP4996940B2 (ja) 帳票認識装置およびそのプログラム
JP2004139484A (ja) 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム
US11475688B2 (en) Information processing apparatus and information processing method for extracting information from document image
JP2007058605A (ja) 文書管理システム
CN112084748A (zh) 一种文本比对方法
JP2019057311A (ja) 帳票情報認識装置および帳票情報認識方法
JP6856916B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2009093305A (ja) 帳票認識装置
JP5623574B2 (ja) 帳票識別装置および帳票識別方法
JP4347675B2 (ja) 帳票ocrプログラム、方法及び装置
JP2008108114A (ja) 文書処理装置および文書処理方法
WO2007070010A1 (en) Improvements in electronic document analysis
WO2014068770A1 (ja) データ抽出方法、データ抽出装置及びそのプログラム
JP2000322417A (ja) 画像ファイリング装置及び方法及び記憶媒体
JP6080586B2 (ja) 文字認識システム、文字認識プログラム及び文字認識方法
JP4518212B2 (ja) 画像処理装置及びプログラム
JP5134383B2 (ja) Ocr装置、証跡管理装置及び証跡管理システム
JP2021140831A (ja) 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム
JP4517822B2 (ja) 画像処理装置及びプログラム
JP6007720B2 (ja) 情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees