JP2009053827A - 帳票画像処理装置及び帳票画像処理プログラム - Google Patents

Abstract

【課題】帳票画像の構成に応じて局所的な歪みを補正することができる帳票画像処理装置及び帳票画像処理プログラムを提供する。
【解決手段】画像取得部２４が未記入の帳票画像を取得し、特徴画像探索部２６が帳票画像の指定された読取領域及びその周辺から特徴画像を探索する。位置関係検出部２８は、特徴画像と読取領域との相対的な位置関係を検出し、登録部３０が、上記読取領域と上記特徴画像との相対的な位置関係等を帳票定義として登録する。次に、画像取得部２４が取得した記入済みの帳票画像について、特徴画像探索部２６が上記帳票定義に基づいて読取領域を設定し、当該読取領域の周辺に存在する特徴画像を探索し、補正部３２が、上記探索した特徴画像と帳票定義中の特徴画像との位置関係から記入済みの帳票画像の位置を補正し、文字認識部３４が、補正後の帳票画像の読取領域に存在する文字列を認識する。
【選択図】図２

Description

本発明は、帳票画像処理装置及び帳票画像処理プログラムに関する。

従来より、帳票などに記載された情報を認識し、データベースへ格納する帳票処理が行われていた。この帳票処理を行うためには、情報を取り出す部分を定義する帳票定義を事前に作成し、この帳票定義に基づいて記入済みの帳票画像から所望の情報を取り出していた。

このように、帳票画像から情報を取り出す際には、帳票定義を作成するときに使用した帳票画像と上記記入済みの帳票画像との位置合わせを行う必要がある。このため、下記特許文献１では、指定された読取領域において、罫線を構成する黒点の射影を求めることで、読取領域の上下左右へのずれを補正し、位置合わせを行う技術が開示されている。この場合、帳票画像を取得する際に画像が回転して生ずるずれは考慮されていない。また、罫線の存在を前提としているため、罫線が存在しない帳票画像は対象とならない。
特開平９−６２７８０号公報

本発明の目的は、帳票画像の構成に応じて局所的な歪みを補正することができる帳票画像処理装置及び帳票画像処理プログラムを提供することにある。

上記目的を達成するために、請求項１記載の帳票画像処理装置の発明は、帳票画像を取得する画像取得手段と、前記帳票画像の指定された読取領域及びその周辺から特徴的な画像を探索する特徴画像探索手段と、前記特徴的な画像と指定された読取領域との相対的な位置関係を検出する位置関係検出手段と、前記読取領域と前記特徴的な画像及び前記相対的な位置関係とを帳票定義として登録する登録手段と、前記画像取得手段が取得した記入済みの帳票画像について、前記特徴画像探索手段が前記帳票定義に基づいて所定の大きさの読取領域を設定して当該読取領域及びその周辺に存在する特徴的な画像を探索したときに、前記探索した特徴的な画像と前記帳票定義として登録されている特徴的な画像との位置関係から前記記入済みの帳票画像を補正する補正手段と、前記補正した記入済みの帳票画像における前記読取領域に存在する文字列を認識する文字認識手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記特徴的な画像が、前記読取領域を囲う罫線上の交点であることを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記特徴的な画像が、前記読取領域周辺に予め印刷されている印刷文字から抽出される画像であることを特徴とする。

請求項４記載の帳票画像処理プログラムの発明は、コンピュータを、帳票画像を取得する画像取得手段、前記帳票画像の指定された読取領域から特徴的な画像を探索する特徴画像探索手段、前記特徴的な画像と指定された読取領域との相対的な位置関係を検出する位置関係検出手段、前記読取領域と前記特徴的な画像及び前記相対的な位置関係とを帳票定義として登録する登録手段、前記画像取得手段が取得した記入済みの帳票画像について、前記特徴画像探索手段が前記帳票定義に基づいて所定の大きさの読取領域を設定して当該読取領域内に存在する特徴的な画像を探索したときに、前記探索した特徴的な画像と前記帳票定義に登録されている特徴的な画像との位置関係から前記記入済みの帳票画像を補正する補正手段、前記補正した記入済みの帳票画像における前記読取領域に存在する文字を認識する文字認識手段、として機能させることを特徴とする。

請求項１の発明によれば、本構成を有していない場合に比べて、記入済みの帳票画像の構成に応じて局所的な歪みを補正することができる。

請求項２及び請求項３の発明によれば、本構成を有していない場合に比べて、罫線を使用せずに記入済みの帳票画像の局所的な歪みを補正することができる。

請求項４の発明によれば、本構成を有していない場合に比べて、記入済みの帳票画像の構成に応じて局所的な歪みを補正することができる帳票画像処理プログラムを提供できる。

以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。

図１には、本発明にかかる帳票画像処理装置の一実施形態のハードウェア構成が示される。図１において、帳票画像処理装置は、中央処理装置（例えばＣＰＵを用いることができる）１０、ランダムアクセスメモリ（ＲＡＭ）１２、画像読取装置１４、表示装置１６、入力装置１８及びハードディスク装置（ＨＤＤ）２０を含んで構成されている。また、これらの構成要素は、バス２２により互いに接続されている。

ＣＰＵ１０は、ＲＡＭ１２またはハードディスク装置２０に格納されている制御プログラムに基づいて、後述する各部の動作を制御する。ＲＡＭ１２は主としてＣＰＵ１０の作業領域として機能する。

また、画像読取装置１４は、スキャナ等により構成され、帳票画像を読み取る装置である。

また、表示装置１６は、液晶ディスプレイ等により構成され、処理対象の帳票画像等を表示する。

また、入力装置１８は、キーボード、ポインティングデバイス等により構成され、使用者が動作指示等を入力するために使用する。

また、ハードディスク装置２０は、コンピュータが読み取り可能な大容量の記憶装置であり、後述する処理に必要となる種々のデータを記憶することができる。

図２には、本発明にかかる帳票画像処理装置の一実施形態の機能ブロック図が示される。図２において、帳票画像処理装置は、画像取得部２４、特徴画像探索部２６、位置関係検出部２８、登録部３０、補正部３２及び文字認識部３４を含んで構成されている。

画像取得部２４は、例えば図１に示される画像読取装置１４を含んで構成され、紙媒体に作成された帳票の画像（帳票画像）を取得する。この帳票画像には、未記入の帳票画像と記入済の帳票画像とがある。ここで、未記入とは、後述する読取領域内に文字等が記入されておらず、罫線や印刷文字だけが存在する帳票の画像である。また、記入済の帳票画像とは、上記読取領域内に文字等が記入されている帳票の画像である。なお、ファクシミリ装置により読み取った帳票画像を適宜な通信手段を介して取得する構成としてもよい。

特徴画像探索部２６は、例えば図１に示されたＣＰＵ１０及びＣＰＵ１０の処理動作を制御するプログラムを含んで構成され、帳票画像の指定された読取領域及びその周辺から特徴的な画像（以後、特徴画像という）を探索する。ここで、読取領域の指定は、例えば上記画像取得部２４が取得し、表示装置１６に表示された帳票画像を参照しつつ利用者がポインティングデバイス等の入力装置１８により所望の領域を指示して行うことができる。また、特徴画像とは、例えば読取領域を囲う罫線上の交点、屈曲点及び端点、読取領域周辺に予め印刷されている印刷文字または下線から抽出される画像等の、帳票画像の位置合わせに使用できる帳票画像上の領域である。さらに、特徴画像探索部２６は、画像取得部２４が取得した記入済の帳票画像について、後述する登録部３０に登録された帳票定義に基づいて所定の大きさの読取領域を設定し、当該読取領域及びその周辺に存在する特徴画像を探索する処理も行う。

位置関係検出部２８は、例えば図１に示されたＣＰＵ１０及びＣＰＵ１０の処理動作を制御するプログラムを含んで構成され、上記特徴画像と指定された読取領域との相対的な位置関係を検出する。

登録部３０は、例えばＣＰＵ１０及びＣＰＵ１０の処理動作を制御するプログラム並びにＲＡＭ１２及びハードディスク装置２０により構成され、上記読取領域と特徴画像及び特徴画像と読取領域との相対的な位置関係とにより帳票定義を作成し、登録する。

補正部３２は、特徴画像探索部２６が記入済みの帳票画像について探索した特徴画像と上記帳票定義として登録されている特徴画像との位置関係から、上記画像取得部２４が取得した記入済みの帳票画像を補正する。この補正は、例えば画像の回転、平行移動、変形の修正等である。ここで、変形の修正とは、例えば記入済みの帳票画像が台形に変形している場合に、特徴画像である交点の配置等に基づいて元の画像の形状に修正することをいう。

文字認識部３４は、例えばＣＰＵ１０及びＣＰＵ１０の処理動作を制御するプログラムを含んで構成され、ＯＣＲ（光学文字認識）処理等により、補正部３２が補正した記入済みの帳票画像の読取領域に含まれる文字列を認識する。

図３（ａ），（ｂ）には、特徴画像の例が示される。図３（ａ）では、破線で示された読取領域Ａを囲う罫線上の交点Ｂが特徴画像とされている。また、図３（ｂ）では、罫線上に指定された読取領域Ａの左隣に予め印刷されている「氏名」という印刷文字Ｃが特徴画像とされている。なお、図３（ｂ）において、印刷文字Ｃではなく、下線の端点Ｄまたは下線Ｄ’を特徴画像としてもよい。

図４には、登録部３０に登録される帳票定義の例が示される。図４において、帳票定義には、読取領域の座標情報、特徴画像の種別、特徴画像の範囲と中心からの距離が含まれる。

「読取領域の座標情報」は、読取領域の左端、上端、右端及び下端の座標値である。この座標値は、適宜な基準点からの画素数として規定することができる。また、「特徴画像の種別」としては、上述したように罫線の交点や端点、印刷文字等がある。また、「特徴画像の範囲」とは、交点や端点であれば当該点を表す領域の大きさ（縦横の画素数）であり、文字であれば当該文字を含む所定の領域（例えば外接矩形）の大きさ（縦横の画素数）である。また、「中心からの距離」とは、読取領域の中心からの距離である。

図５（ａ），（ｂ）には、上記「中心からの距離」の説明図が示される。図５（ａ）は、特徴画像の種別が罫線の交点Ｂの場合である。図５（ａ）において、破線で示された読取領域Ａの中心点がαで示されており、その中心点αから各交点Ｂ間での距離が「中心からの距離」に相当する。

また、図５（ｂ）は、特徴画像の種別が「氏名」という印字文字Ｃの場合である。図５（ｂ）において、破線で示された読取領域Ａの中心点がαで示されており、その中心点αから「氏名」を含む所定の領域の重心までの距離が「中心からの距離」に相当する。

図６には、本発明にかかる帳票画像処理装置の動作例のフローが示される。図６は、未記入の帳票画像から帳票定義を作成し、登録する手順である。図６において、画像取得部２４が未記入の帳票画像を取得すると（Ｓ１０１）、その帳票画像を表示装置１６に表示する。次に、利用者がポインティングデバイス等の入力装置１８により帳票画像上の所望の領域を指示すると、特徴画像探索部２６が、指示された領域を読取領域として指定する（Ｓ１０２）。この読取領域は、例えば図３（ａ）に破線で示されるように、帳票に情報が記載された場合に、その記載された情報を読みとるための領域である。

次に、特徴画像探索部２６は、指定された読取領域の周辺で特徴画像を探索する（Ｓ１０３）。特徴画像の探索は、上記読取領域の周辺で予め決められた範囲に特徴画像が有るか否かを探索し（Ｓ１０４）、特徴画像が有った場合には、読取領域の中心から最も近い位置で出現する特徴画像を採用する。一方、Ｓ１０４で予め決められた探索範囲で特徴画像を見つけることができない場合には、所定の大きさだけ探索範囲を拡張し（Ｓ１０５）、Ｓ１０３に戻って再度特徴画像の探索を行う。特徴画像を印刷文字として設定した場合には、帳票画像の位置合わせが比較的容易であるが、交点あるいは端点の場合には、１つで位置合わせをすることができない。そのため、特徴画像探索部２６では、選択した特徴画像が交点あるいは端点であると判定した場合には、特徴画像の種類に応じて探索範囲の拡張を行う。例えば、特徴画像が交点の場合は３つ以上探索できるまで、端点である場合は２つ以上探索できるまで、探索範囲の拡張を行うのが好適である。

位置関係検出部２８は、特徴画像と上記指定された読取領域との相対的な位置関係を検出する（Ｓ１０６）。相対的な位置関係は、例えば読取領域の中心からの距離である。

登録部３０は、上記位置関係検出部２８が検出した相対的な位置関係に加えて、特徴画像の種別、特徴画像の範囲等を求め、図４にしめされる帳票定義として登録する（Ｓ１０７）。この場合、帳票定義とともに、帳票定義を作成するために使用した帳票画像も登録する。

図７には、本発明にかかる帳票画像処理装置の他の動作例のフローが示される。図７は、帳票定義に基づいて、記入済みの帳票画像から情報を取得する手順である。図７において、画像取得部２４が記入済みの帳票画像を取得すると（Ｓ２０１）、特徴画像探索部２６が登録部３０から帳票定義を受け取り、帳票定義に含まれる読取領域を、画像取得部２４が取得した記入済みの帳票画像上に設定する（Ｓ２０２）。ここで、特徴画像探索部２６が登録部３０から受け取る帳票定義の選択方法としては、例えば利用者が表示装置１６に表示された帳票定義の一覧からポインティングデバイス等の入力装置１８により入力した指示によって選択する方法や、帳票画像からタイトル文字を切り出して文字認識処理（ＯＣＲ）を行い、認識結果と同じ文書名（タイトル）を持つ帳票定義を選択する方法等がある。ただし、ここでは適当な帳票定義が選択できれば、どのような方法でもかまわない。

次に、特徴画像探索部２６は、帳票定義に含まれる特徴画像の「中心からの距離」に基づいて、読取領域の周辺に特徴画像探索範囲を設定する（Ｓ２０３）。

図８には、Ｓ２０３において特徴画像探索部２６が実行する特徴画像探索範囲の設定処理の例の説明図が示される。図８は、特徴画像が罫線の交点Ｂであり、かつ画像取得部２４が取得した記入済みの帳票画像に傾きがある場合の例である。図８において、読取領域の周辺に特徴画像探索範囲を小さく設定すると、所定個数（例えば、特徴画像が交点の場合は３つ以上、端点の場合は２つ以上）の特徴画像（本例では交点Ｂ）を探索できない場合がある。そこで、特徴画像探索範囲Ｅは、設定した読取領域の中心から各特徴画像までの距離の範囲を包含する領域として設定する。例えば、帳票定義に記録された特徴画像までの最大距離を半径とする円が理想的な特徴画像探索範囲であるが、処理の容易さから特徴画像までの距離の最大値の例えば２倍の値を１辺とする矩形領域を特徴画像探索範囲Ｅとする。

図９（ａ），（ｂ）には、Ｓ２０３において特徴画像探索部２６が実行する特徴画像探索範囲の設定処理の他の例の説明図が示される。図９は、特徴画像が印刷文字「氏名」であり、かつ画像取得部２４が取得した記入済みの帳票画像に傾きがある場合の例である。特徴画像探索部２６が帳票定義に基づいて特徴画像（本例では印刷文字Ｃ）の範囲及び読取領域の中心から特徴画像までの距離から、帳票画像上で特徴画像が存在するべき場所を推定し特徴画像探索範囲Ｅを設定する。このとき、図９（ａ）に示されるように、推定した特徴画像探索範囲Ｅの境界上に画素がかかっていた場合には、図９（ｂ）に示されるように、該当する画素塊を全て包含するように特徴画像探索範囲Ｅを拡張する。

なお、図９（ａ）に示される読取領域Ａの下線を特徴画像とする場合には、下線の存在範囲として推定した領域に特徴画像探索範囲Ｅ’を設定し、この特徴画像探索範囲Ｅ’に存在する線分を切り出す。この時、推定した範囲に黒画素がかかっていた場合には、連結する黒画素を包含するように特徴画像探索範囲Ｅ’を拡張する。

次に、図７に戻り、図８または図９（ａ），（ｂ）のように設定された特徴画像探索範囲ＥまたはＥ’の中で、帳票定義に記録された特徴画像を特徴画像探索部２６が探索する（Ｓ２０４）。

次に、補正部３２は、帳票定義として登録されている特徴画像をテンプレートとし、画像取得部２４が取得した記入済みの帳票画像から特徴画像探索部２６が探索した特徴画像とのマッチングを行い、記入済みの帳票画像の位置及び傾きを補正する（Ｓ２０５）。この補正は、記入済みの帳票画像の平行移動、回転、変形の修正等である。この補正により、帳票定義として登録されている特徴画像と特徴画像探索部２６が探索した特徴画像との一致度が所定の閾値以上であるか否かを確認し（Ｓ２０６）、閾値以上である場合に、その位置及び傾きを補正後の帳票画像とする。一方、一致度が所定の閾値より小さい場合には、その位置でのマッチングが失敗したとして、その位置での情報取得処理（Ｓ２０７）は行わない。

このような補正処理により、例えば図８または図９（ａ），（ｂ）に示されるように、画像取得部２４が取得した記入済みの帳票画像に傾きや歪みがある場合にも、帳票定義に基づいて設定した読取領域内に罫線が入ったり、記入された文字が欠けたりすることを回避できる。

なお、特徴画像が印刷文字の場合には、上記テンプレートマッチングの他に、文字の特徴量を使用した帳票画像の補正も可能である。図１０には、文字の特徴量を使用した帳票画像の補正処理の説明図が示される。図１０ににおいて、印刷文字である「氏」の外接矩形Ｆを求め、外接矩形Ｆ内を矩形領域に分割する。なお、外接矩形Ｆ及び矩形領域は、破線で示されている。この各矩形領域内で特徴量として文字を構成する画素数を求める。次に、外接矩形内の印刷文字だけを回転し、各回転角度における画素数を算出する。この画素数が、予め帳票定義とともに登録されていた未記入の帳票画像に設定した上記各矩形領域内での画素数に最も一致した角度を記入済みの帳票画像の傾きとする。

文字認識部３４は、Ｓ２０５で補正した帳票画像の読取領域に存在する文字列を認識し、帳票画像に記入された情報を取得する（Ｓ２０７）。ここで取得された文字列は、適宜なデータベースへ格納される。

本発明にかかる帳票画像処理装置の一実施形態のハードウェア構成を示す図である。 本発明にかかる帳票画像処理装置の一実施形態の機能ブロック図である。 特徴画像の例を示す図である。 帳票定義の例を示す図である。 中心からの距離の説明図である。 本発明にかかる帳票画像処理装置の動作例のフロー図である。 本発明にかかる帳票画像処理装置の他の動作例のフロー図である。 特徴画像探索範囲の設定処理の例の説明図である。 特徴画像探索範囲の設定処理の他の例の説明図である。 文字の特徴量を使用した帳票画像の補正処理の説明図である。

符号の説明

１０ ＣＰＵ、１２ ＲＡＭ、１４ 画像読取装置、１６ 表示装置、１８ 入力装置、２０ ハードディスク装置、２２ バス、２４ 画像取得部、２６ 特徴画像探索部、２８ 位置関係検出部、３０ 登録部、３２ 補正部、３４ 文字認識部。

Claims (4)

1. 帳票画像を取得する画像取得手段と、
   前記帳票画像の指定された読取領域及びその周辺から特徴的な画像を探索する特徴画像探索手段と、
   前記特徴的な画像と指定された読取領域との相対的な位置関係を検出する位置関係検出手段と、
   前記読取領域と前記特徴的な画像及び前記相対的な位置関係とを帳票定義として登録する登録手段と、
   前記画像取得手段が取得した記入済みの帳票画像について、前記特徴画像探索手段が前記帳票定義に基づいて所定の大きさの読取領域を設定して当該読取領域及びその周辺に存在する特徴的な画像を探索したときに、前記探索した特徴的な画像と前記帳票定義として登録されている特徴的な画像との位置関係から前記記入済みの帳票画像を補正する補正手段と、
   前記補正した記入済みの帳票画像における前記読取領域に存在する文字列を認識する文字認識手段と、
   を備えることを特徴とする帳票画像処理装置。
2. 請求項１記載の帳票画像処理装置において、前記特徴的な画像は、前記読取領域を囲う罫線上の交点であることを特徴とする帳票画像処理装置。
3. 請求項１記載の帳票画像処理装置において、前記特徴的な画像は、前記読取領域周辺に予め印刷されている印刷文字から抽出される画像であることを特徴とする帳票画像処理装置。
4. コンピュータを、
   帳票画像を取得する画像取得手段、
   前記帳票画像の指定された読取領域から特徴的な画像を探索する特徴画像探索手段、
   前記特徴的な画像と指定された読取領域との相対的な位置関係を検出する位置関係検出手段、
   前記読取領域と前記特徴的な画像及び前記相対的な位置関係とを帳票定義として登録する登録手段、
   前記画像取得手段が取得した記入済みの帳票画像について、前記特徴画像探索手段が前記帳票定義に基づいて所定の大きさの読取領域を設定して当該読取領域内に存在する特徴的な画像を探索したときに、前記探索した特徴的な画像と前記帳票定義に登録されている特徴的な画像との位置関係から前記記入済みの帳票画像を補正する補正手段、
   前記補正した記入済みの帳票画像における前記読取領域に存在する文字を認識する文字認識手段、
   として機能させることを特徴とする帳票画像処理プログラム。

Images