JP2012098984A - 帳票データ補正方法および帳票データ補正プログラム - Google Patents

Abstract

【課題】スキャナ等によって帳票の画像データを取得する際に、帳票が回転してずれた状態で取得された場合であっても画像データの回転角を補正する。
【解決手段】正しい角度の登録帳票の第１の特徴点の情報がデータベースに登録されており、入力帳票の画像データから第２の特徴点を抽出するステップと、第２の特徴点と各登録帳票の第１の特徴点とをマッチングすることで入力帳票に対応する登録帳票を識別するステップと、第２の特徴点と識別された登録帳票の第１の特徴点の座標を帳票の中心点を原点として再計算するステップと、第２の特徴点とこれに対応する識別された登録帳票の第１の特徴点のペア毎に、原点と第１の特徴点とを結ぶ線分と原点と第２の特徴点とを結ぶ線分とのなす角度を計算するステップと、特徴点のペア毎に計算された角度の平均を入力帳票の回転角を取得するステップと、入力帳票の画像データを回転角によって補正するステップとを有する。
【選択図】図１

Description

本発明は、帳票等の書類を画像データとして取り扱う技術に関し、特に、スタンド型スキャナやデジタルカメラ等によって取得した帳票の画像データを補正する帳票データ補正方法および帳票データ補正プログラムに適用して有効な技術に関するものである。

従前より業務上の様々な場面で定型のフォームからなる帳票等の書類が利用されている。これらの帳票に記入された文字データ等をコンピュータシステム等に転入力する代わりにＯＣＲ（Optical Character Reader：光学文字読取装置）による文字認識も行われている。特に近年では、帳票等の書類の管理におけるペーパーレス化や業務システムでのワークフローによる利用の容易さなども考慮して、帳票等の書類をスキャナ等で読み取って画像データとして管理するとともに、ＯＣＲソフトウェア等により画像データからソフトウェア的に文字を識別するということも行われる。

スキャナ等により取得した帳票の画像データを、例えばＯＣＲソフトウェアによって文字を認識してデータ処理する場合なども含めて業務上利用するためには、一般的にはまず、対象の画像データが複数種類の帳票のうちいずれのものであるかを特定することが行われる。画像データから帳票の種類を特定する手法には種々のものが考えられる。

例えば、特開２００２−３２４２３６号公報（特許文献１）には、入力帳票から特徴として１または複数の枠の中心点を抽出し、入力帳票の入力特徴あるいは予め登録されている登録帳票の特徴のいずれかを９０度単位で回転させ、入力帳票の特徴に点座標を付与した入力点と、登録帳票の特徴に点座標を付与した辞書点との距離を算出し、前記距離が所定値以下であれば入力点に対応付けられた辞書点が存在すると判定し、対応付けられた点数、入力点数及び辞書点数を基に照合の一致の程度を求めることで入力特徴と登録特徴とを照合し、最も一致した角度を帳票の向きとして、特徴に対応する帳票種類を帳票識別結果として出力する帳票識別方法が記載されている。これによれば、帳票が９０度回転した向きや上下逆すなわち１８０度回転した状態でスキャナに入力された場合であっても、正立の状態の帳票と同様に帳票識別を行うことができ高精度な帳票識別が可能となる。

一方、上記のような、入力帳票や登録帳票をスキャンして得られた画像データにおける特徴点の抽出や、画像データ間の特徴点のマッチングによる対応関係の判定などの処理には、昨今ではＯｐｅｎＣＶ（非特許文献１）等の既存のオープンソースの画像処理ライブラリが利用される場合が多い。例えば、ＯｐｅｃＣＶを利用することで、入力帳票や登録帳票の画像データにおける特徴点の抽出処理や、画像データのスケール変化、平行移動、回転などに強い特徴点のマッチング処理を自動で行うことができ（非特許文献２）、これらの処理によって入力帳票がいずれの登録帳票に対応するかを判定して入力帳票の種類を識別することができる。

特開２００２−３２４２３６号公報

"ＯｐｅｎＣＶ．ｊｐ opencv samples and documents"、［online］、［平成２２年１０月２５日検索］、インターネット＜URL：http://opencv.jp/＞ "３日で作る高速特定物体認識システム（４）特徴点のマッチング"、［online］、平成２１年１１月２日、［平成２２年１０月２５日検索］、インターネット＜URL：http://d.hatena.ne.jp/aidiary/20091102/1257167398＞

特許文献１に記載された帳票識別方法では、帳票が９０度や１８０度回転した状態でスキャンされた場合であっても正位の状態の帳票と同様に帳票識別を行うことができる。

しかしながら、スキャンする帳票に厚みがあったり枚数が多い場合など、帳票の種類によってはスタンド型スキャナなどの非接触型のスキャナやデジタルカメラ等によって入力帳票の画像データを撮影して取得する場合も多い。このような場合では、必ずしも入力帳票が正しい位置と角度、もしくはそこから９０度単位で回転した状態で配置されるとは限らず、位置がずれたり９０度単位ではない中途半端な角度で回転した状態で配置されやすい。従って、入力帳票の画像データも中途半端な角度で回転した状態で取得される場合が多い。

非特許文献１等に記載されたＯｐｅｎＣＶ等の画像処理ライブラリを利用すれば、入力帳票の画像データが平行移動や回転等している場合であっても登録帳票の特徴点とのマッチングが可能であり、入力帳票の種類を識別することができる。しかしながら、入力帳票の画像データは回転により角度がずれているため、これをそのまま保持してＯＣＲによる文字認識等を含む業務処理に利用すると問題が生じる場合があり、正しい角度に補正した画像データが必要となる。

そこで本発明の目的は、スキャナ等によって帳票等の書類の画像データを取得する際に、帳票が回転してずれた状態で取得された場合であっても、画像データの回転角を補正することができる帳票データ補正方法および帳票データ補正プログラムを提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による帳票データ補正方法は、スキャナにより入力帳票をスキャンして取得した画像データの回転角をコンピュータシステムにより補正する帳票データ補正方法であって、以下の特徴を有するものである。

すなわち、前記コンピュータシステムには、識別対象とする複数種類の登録帳票についてそれぞれ、予め前記登録帳票をスキャンして取得した正しい角度の画像データから抽出された１つ以上の第１の特徴点についての座標を含む情報がデータベースに登録されており、前記コンピュータシステムが、前記入力帳票の画像データから座標の情報を含む１つ以上の第２の特徴点を抽出するステップと、前記コンピュータシステムが、前記第２の特徴点と、前記データベースに登録されている前記各登録帳票における前記第１の特徴点とをマッチングすることで、前記入力帳票の種類に対応する前記登録帳票を識別するステップとを有する。

さらに、前記コンピュータシステムが、前記入力帳票の前記第２の特徴点と、識別された前記登録帳票の前記第１の特徴点の座標を、それぞれの帳票の中心点を原点として再計算するステップと、前記コンピュータシステムが、前記入力帳票の前記第２の特徴点と、これに対応する識別された前記登録帳票の前記第１の特徴点のペア毎に、前記原点と前記第１の特徴点とを結ぶ線分と、前記原点と前記第２の特徴点とを結ぶ線分とのなす角度を計算するステップと、前記コンピュータシステムが、前記特徴点のペア毎に計算された前記角度の平均を計算して、前記入力帳票の回転角を取得するステップと、前記コンピュータシステムが、前記入力帳票の画像データを前記回転角によって補正するステップとを有することを特徴とするものである。

また、本発明は、スキャナにより入力帳票をスキャンして取得した画像データの回転角を補正する処理をコンピュータシステム上で実行する帳票データ補正プログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明の代表的な実施の形態によれば、スキャナ等によって帳票等の書類の画像データを取得する際に、帳票が回転してずれた状態で取得された場合であっても、画像データの回転角を補正することが可能となる。

本発明の一実施の形態における入力帳票をスキャンして補正した画像データを出力する処理の流れの例について示したフローチャートである。 本発明の一実施の形態における入力帳票と各登録帳票との特徴点のマッチングにより入力帳票の種類を識別する処理の例について概要を示した図である。 本発明の一実施の形態における入力帳票と登録帳票の特徴点ペアによって入力帳票の回転角を算出する処理の例について概要を示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜概要＞
本発明の一実施の形態である帳票データ補正方法は、例えば、帳票等の書類からスキャナ等により画像データを取得し、当該画像データを利用したＯＣＲ等の処理を行う業務システムなどで利用されるものであり、入力帳票が任意の角度で回転してずれた状態で画像データが取得されたような場合であっても、回転角を補正することで、ずれがない正しい角度の画像データを得ることを可能とするものである。

本実施の形態では、対象の帳票として、例えば、金融機関における各種の払込用帳票や宅配サービスの伝票などを対象としているが、罫線等によってレイアウトされた定型フォーマットを有する書類、すなわち同一種類の複数の書類に対して既存の画像処理ライブラリによって同一の特徴点の抽出が可能であるような書類であれば特に限定されない（以下ではこれらを総称して単に「帳票」と記載する場合がある）。同一の特徴点の抽出が可能であることで、入力帳票と登録帳票の特徴点のマッチングにより、入力帳票の種類を識別することが可能となる。

また、上記のような帳票は、例えば、紙質や厚み等の制約からオートシートフィーダ等によるスキャナでの自動連続読み込みが困難であったり、業務上多数の帳票を短時間で処理する必要があるものが多い。従って、本実施の形態では主に、蓋部を有する一般的なスキャナではなく、スタンド型スキャナなどの非接触型のスキャナやデジタルカメラ等により入力帳票の画像データをスキャンして取得することを想定しているが、これに限らず、蓋部を有する一般的なスキャナによって画像データを取得するものであってもよい（以下では上記の様な帳票の画像データを取得するための機器を総称して単に「スキャナ」と記載する場合がある）。

本実施の形態の帳票データ補正方法では、識別対象とする各帳票について、予めブランクの帳票をスキャンして取得した画像データからＯｐｅｎＣＶ等の画像処理ライブラリを利用して１つ以上の特徴点を抽出し、各特徴点の情報をデータベースに登録しておく。入力帳票をスキャンして得られた画像データに対して、上記と同様に画像処理ライブラリを利用して特徴点を抽出し、抽出した特徴点と、データベースに予め登録されている各登録帳票の特徴点とを画像処理ライブラリを利用してマッチングすることで、入力帳票の種類を識別する。

さらに、入力帳票の各特徴点と、識別した登録帳票の対応する各特徴点とに基づいて入力帳票のずれ（回転角）を算出し、この回転角を用いて入力帳票の画像データを補正することで正しい角度の画像データを得る。従って、予めデータベースに登録しておく登録帳票のデータは、正しい角度でスキャンされた、もしくはスキャンした後に正しい角度に補正されたものに基づくマスタデータであることが必要となる。

なお、以上の一連の処理は、コンピュータシステム上で稼働するプログラムにより実行することができる。従って、例えばスキャナシステムやスキャナ用ソフトウェアに組み込んだり、これらと連携可能なように実装することで、スキャン処理から補正された画像データの出力までの処理を自動で行うことが可能である。

＜処理フロー＞
図１は、入力帳票をスキャンして補正した画像データを出力する処理の流れの例について示したフローチャートである。帳票のスキャン処理を開始すると、まずスキャナやデジタルカメラ等により入力帳票をスキャン（もしくは撮影）して画像データを取得する（Ｓ０１）。このとき、スキャンされた全体の画像データから入力帳票部分の外周の矩形（バウンディングボックス）を算出し、この部分を切り出して入力帳票の画像データとする。複数の入力帳票を一度にスキャンした場合は、入力帳票毎にバウンディングボックスを算出して個別の画像データとして取得する。なお、バウンディングボックスの算出についても、ＯｐｅｎＣＶ等の既存の画像処理ライブラリの機能を利用することができる。

次に、入力帳票の画像データから画像処理ライブラリを利用して１つ以上の特徴点を抽出する（Ｓ０２）。抽出する情報には少なくとも特徴点の座標の情報を含む。次に、抽出した入力帳票の特徴点と、予めデータベースに登録されている各登録帳票の特徴点とを画像処理ライブラリを利用してそれぞれマッチングすることで、入力帳票と対応する登録帳票を識別する、すなわち入力帳票の種類を識別する（Ｓ０３）。

図２は、入力帳票と各登録帳票との特徴点のマッチングにより入力帳票の種類を識別する処理の例について概要を示した図である。図２の上段には入力帳票１１の画像データの例が示されており、正しい角度から若干回転してずれた状態でスキャンされていることを示している。また、入力帳票１１上の黒丸は、画像処理ライブラリによって計算され抽出された特徴点（入力特徴点１２）の例を示している。

また、図２の下段にはデータベース（帳票特徴点ＤＢ２０）に予め登録された登録帳票２１の特徴点（登録特徴点２２）の例が示されている。登録帳票２１上の黒三角が登録特徴点２２を示している。

帳票特徴点ＤＢ２０のデータ構成は特に限定しないが、例えば、各登録帳票２１の種類を識別するＩＤや帳票名をキーとして、既存の画像処理ライブラリによって計算された各登録特徴点２２の座標情報を保持する。各登録帳票２１の画像データをさらに保持していてもよい。登録特徴点２２の座標については、後述する処理の便宜のため、登録帳票２１の中心（バウンディングボックスの中心）を原点とした座標系に変換しておいてもよい。

入力帳票１１の入力特徴点１２と、各登録帳票２１の登録特徴点２２とのマッチングは、例えば非特許文献２等に記載されているように既存の画像処理ライブラリを利用して行うことができる。例えば、入力帳票１１の各入力特徴点１２に対応する各登録帳票２１の登録特徴点２２およびそれらの間の距離を算出し、距離の合計が最小となる登録帳票２１を入力帳票１１に対応するものとして識別する。図２の例では、帳票特徴点ＤＢ２０の各登録帳票２１のうち、右上に示された登録帳票２１が識別された帳票であることを示している。また、実線で結ばれた入力特徴点１２と登録特徴点２２が対応する特徴点ペアであることを示している。

図１に戻り、ステップＳ０３で入力帳票１１に対応する登録帳票２１が識別されると、入力帳票１１の各入力特徴点１２および識別された登録帳票２１の各登録特徴点２２の座標を、各帳票の中心（バウンディングボックスの中心）を原点とした座標系によって再計算（変換）する（Ｓ０４）。すなわち、入力帳票１１と識別された登録帳票２１の画像データを中心が一致するように重ね合わせた状態とする。なお、帳票特徴点ＤＢ２０に登録帳票２１の各登録特徴点２２の座標が予め中心を原点として再計算された状態で登録されている場合は、登録特徴点２２についての再計算は不要である。

図３は、入力帳票１１と登録帳票２１の特徴点ペアによって入力帳票１１の回転角を算出する処理の例について概要を示した図である。図３に示すように、入力帳票１１と登録帳票２１の画像データを各帳票の中心が一致するように重ね合わせた状態とし、中心を原点Ｏとした座標系によって各特徴点を再計算する。

図１に戻り、ステップＳ０４で各特徴点の座標が再計算されると、この座標に基づいて、入力特徴点１２と対応する登録特徴点２２のペア毎に、原点と入力特徴点１２とを結ぶ線分と、原点と登録特徴点２２とを結ぶ線分とのなす角（入力帳票１１の回転角）を計算する（Ｓ０５）。図３の例では、原点Ｏとｉ番目の入力特徴点ｉ（１２ｉ）とを結ぶ線分と、原点Ｏと対応するi番目の登録特徴点ｉ（２２ｉ）とを結ぶ線分とのなす角θ_ｉを計算する。

ここでは例えば、単純に余弦定理を用いることができる。図示するように入力特徴点ｉ（１２ｉ）と登録特徴点ｉ（２２ｉ）とを結ぶ線分の長さをａ、原点Ｏと入力特徴点ｉ（１２ｉ）とを結ぶ線分の長さをｂ、原点Ｏと登録特徴点ｉ（２２ｉ）とを結ぶ線分の長さをｃとすると、θ_ｉは以下の式によって求められる。

図１に戻り、ステップＳ０５で入力特徴点１２と対応する登録特徴点２２のペア毎に回転角θ_ｉが計算されると、θ_ｉの平均値を計算して入力帳票１１全体としての回転角θを取得する（Ｓ０６）。スキャンにより取得した画像データには歪等の誤差があり、各特徴点ペアについて計算したθ_ｉにはばらつきがあるためである。なお、必要となる精度や処理速度等との関係で、例えば全ての特徴点ペアではなく１つ以上の任意の特徴点ペアのみを対象として平均を取得してもよい。入力特徴点１２と対応する登録特徴点２２のペアがｎ個ある場合、単純にθは以下の式によって求められる。

θが得られると、入力帳票１１の画像データを原点（バウンディングボックスの中心）を軸としてθだけ逆方向に回転させることで補正し（Ｓ０７）、補正後の画像データを出力することで帳票のスキャン処理を終了する。これにより、入力帳票１１の画像データを登録帳票２１と同様にずれがない正しい回転角の画像データとして取得することができ、ＯＣＲ処理等の後続の業務処理で有効に利用することができる。

以上に説明したように、本発明の一実施の形態である帳票データ補正方法によれば、スキャナ等によって帳票等の書類の画像データを取得する際に、入力帳票が任意の角度で回転してずれた状態で画像データが取得されたような場合であっても、入力帳票と対応する登録帳票とにおける対応する特徴点の座標に基づいて入力帳票の回転角を算出して補正することで、ずれがない正しい角度の画像データを得ることが可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、スタンド型スキャナやデジタルカメラ等によって取得した帳票の画像データを補正する帳票データ補正方法および帳票データ補正プログラムに利用可能である。

１１…入力帳票、１２…入力特徴点、１２ｉ…入力特徴点ｉ、
２０…帳票特徴点ＤＢ、２１…登録帳票、２２…登録特徴点、２２ｉ…登録特徴点ｉ。

Claims (2)

1. スキャナにより入力帳票をスキャンして取得した画像データの回転角をコンピュータシステムにより補正する帳票データ補正方法であって、
   前記コンピュータシステムには、識別対象とする複数種類の登録帳票についてそれぞれ、予め前記登録帳票をスキャンして取得した正しい角度の画像データから抽出された１つ以上の第１の特徴点についての座標を含む情報がデータベースに登録されており、
   前記コンピュータシステムが、前記入力帳票の画像データから座標の情報を含む１つ以上の第２の特徴点を抽出するステップと、
   前記コンピュータシステムが、前記第２の特徴点と、前記データベースに登録されている前記各登録帳票における前記第１の特徴点とをマッチングすることで、前記入力帳票の種類に対応する前記登録帳票を識別するステップと、
   前記コンピュータシステムが、前記入力帳票の前記第２の特徴点と、識別された前記登録帳票の前記第１の特徴点の座標を、それぞれの帳票の中心点を原点として再計算するステップと、
   前記コンピュータシステムが、前記入力帳票の前記第２の特徴点と、これに対応する識別された前記登録帳票の前記第１の特徴点のペア毎に、前記原点と前記第１の特徴点とを結ぶ線分と、前記原点と前記第２の特徴点とを結ぶ線分とのなす角度を計算するステップと、
   前記コンピュータシステムが、前記特徴点のペア毎に計算された前記角度の平均を計算して、前記入力帳票の回転角を取得するステップと、
   前記コンピュータシステムが、前記入力帳票の画像データを前記回転角によって補正するステップとを有することを特徴とする帳票データ補正方法。
2. スキャナにより入力帳票をスキャンして取得した画像データの回転角を補正する処理をコンピュータシステム上で実行する帳票データ補正プログラムであって、
   前記コンピュータシステムには、識別対象とする複数種類の登録帳票についてそれぞれ、予め前記登録帳票をスキャンして取得した正しい角度の画像データから抽出された１つ以上の第１の特徴点についての座標を含む情報がデータベースに登録されており、
   前記入力帳票の画像データから座標の情報を含む１つ以上の第２の特徴点を抽出する処理と、
   前記第２の特徴点と、前記データベースに登録されている前記各登録帳票における前記第１の特徴点とをマッチングすることで、前記入力帳票の種類に対応する前記登録帳票を識別する処理と、
   前記入力帳票の前記第２の特徴点と、識別された前記登録帳票の前記第１の特徴点の座標を、それぞれの帳票の中心点を原点として再計算する処理と、
   前記入力帳票の前記第２の特徴点と、これに対応する識別された前記登録帳票の前記第１の特徴点のペア毎に、前記原点と前記第１の特徴点とを結ぶ線分と、前記原点と前記第２の特徴点とを結ぶ線分とのなす角度を計算する処理と、
   前記特徴点のペア毎に計算された前記角度の平均を計算して、前記入力帳票の回転角を取得する処理と、
   前記入力帳票の画像データを前記回転角によって補正する処理とを実行することを特徴とする帳票データ補正プログラム。