JP2005275830A

JP2005275830A - 帳票認識方法

Info

Publication number: JP2005275830A
Application number: JP2004088304A
Authority: JP
Inventors: Yoshihiro Shima; 好博嶋
Original assignee: Hitachi Computer Peripherals Co Ltd
Current assignee: Hitachi Information and Telecommunication Engineering Ltd
Priority date: 2004-03-25
Filing date: 2004-03-25
Publication date: 2005-10-06

Abstract

【課題】多様、複雑な帳票の読取り位置の事前設定を効率化する。また、枠構造が同一で内容枠がことなる帳票の読取りを正確に行なう。
【解決手段】親子関係、階層関係を有する項目名から内容枠を抽出する。
【選択図】図１

Description

本発明は多様なレイアウトを有する帳票から文字データを読み取り自動的に入力する帳票認識方法に関する。

従来の帳票認識方法では、読取り位置が予め決められている定形帳票を認識対象としており、多様なレイアウトを有する帳票を読み取ることは困難であった。そのため、特開平９−３１９８２４号公報（特許文献１）に、帳票の項目名を読取り、項目枠と内容枠の配置関係を利用して内容枠を抽出し、当該内容枠内の文字列を読み取る方法が開示されている。しかしながら、この従来方法では、項目枠の隣に内容枠があるというような項目枠と内容枠の関係が単純な帳票を対象としている。項目名が階層を有する帳票や、縦方向の項目名と横方向の項目名をもつ二次元の表形式の帳票など、複雑なレイアウトを有する帳票から内容枠を抽出することは、従来、考慮されていなかった。また、特開２００２−３２４２３６号公報（特許文献２）に、帳票の枠を抽出して、枠の幾何学的な構造を予め登録している構造と照合し、帳票の種類を識別する方法が開示されている。

特開平９−３１９８２４号公報

特開２００２−３２４２３６号公報

本発明の認識対象である帳票のレイアウトは多様であり、かつ複雑な構造を有している。このような多様、複雑な帳票は読取り位置を予め設定しておくことができない非定形な帳票である。予め読取り位置を設定することは膨大な人手作業となり、データ入力の効率が低下するという問題がある。読取り位置の事前設定作業を省くため、項目名が親子関係を有する階層的な配置をしている帳票や、縦方向と横方向の二次元の項目名からなる帳票に対して、対応する内容枠を自動的に抽出することを目的とする。また、類似した帳票で枠の構造が同一ではあるが、データを記入した内容枠が左右、あるいは、上下にずれているような帳票に対して、正確に該当する内容枠を抽出することを目的とする。

親子関係を有する項目名から内容枠を抽出する手段を有する。また、二次元の関係を有する項目名から内容枠を抽出するする手段を有する。親子関係を有する項目名の配置方向を手がかりに内容枠を探索する。また、二次元関係を有する項目名位置の交差位置を手がかりに内容枠を探索する。

項目名および階層構造や二次元構造といった項目の種類を予め与えることによって、内容枠を自動的に抽出することができる。このため、内容枠の座標を帳票ごとに設定する作業が不要となり、読取りの準備時間が短縮できるという効果がある。また、多様なレイアウトを有する帳票に対しても高精度かつ簡単に内容枠を抽出することができ、従来読取りが不可能な帳票に対して自動的にデータを入力することができるという効果がある。

図１は本発明の実施形態を示す帳票認識システムの構成図である。画像入力部１０１はスキャナから構成されており、帳票の表面画像をデジタル画像として入力する。帳票認識部１０２は帳票画像から枠を抽出するとともに、枠内の文字列を読み取る。項目枠抽出部１０５、内容枠抽出部１０６は、項目名辞書１０３を参照しており、帳票画像から項目枠および項目枠に対応した内容枠をそれぞれ抽出する。項目名辞書１０３には、項目名と項目関係を示す種類、例えば、単純関係、階層関係、二次元関係などの種類が具備されている。内容枠内の文字列認識部１０７では、抽出した内容枠に記載されている文字列を読み取る。認識結果保管部１０４では、記入文字列の認識結果を保管する。本実施例では、画像入力部１０１、帳票認識部１０２、認識結果保管部１０４は、通信回線１００で接続されている構成であるが、かならずしも、この構成に限定したものでなく、例えば、帳票認識部１０２と認識結果保管部１０４を小型計算機の内部に実装した構成であってもよい。

図２は読取り対象である帳票画像の例を示す図である。帳票画像２００では、枠２０１、２０２、２０３、２０４が抽出されている。項目名が文字列２１１、２１３である。項目枠２０１、２０３に対して、内容枠２０２、２０４がそれぞれ配置されている。内容枠２０２、２０４に記載された文字列２１２、２１４がデータ入力対象の文字列である。別の帳票画像２２０では、上記の帳票画像２００とレイアウトが異なっており、項目枠２２１、２２３が上下逆になった帳票の例である。このような帳票画像２００、２２０が混在した状態で帳票画像を認識するために、項目名２１１，２１３や２３１，２３３を読取り、対応する内容枠２０２、２０４や２２２、２２４を自動的に抽出する。項目名を読み取ることによって、枠線構造が同じような上記帳票画像２００、２２０に対しても、正確に内容枠を抽出することができるという効果がある。

図３は項目名が階層構造を有する帳票画像の例である。帳票画像３００には、項目名「入荷」３２１があり、その子関係になる項目名「個数」３２３、「金額」３２４がある。一方、項目名「出荷」３２２に対して、その子関係になる項目名「個数」３２５、「金額」３２６がある。なお、項目枠が３０１、３０２、３０３、３０４、３０５、３０６である。また、内容枠が３０７、３０８、３０９、３１０である。単純に項目名、例えば、「個数」３２３の文字列を読取り、内容枠３０７を決定することは困難である。その理由は、文字列「個数」は、項目枠３０３だけでなく、項目枠３０５にも、当該文字列「個数」３２５が記載されており、求める内容枠が３０７なのか、それとも３０９であるのか、判定できないためである。従って、本発明では、項目名の階層を手がかりに、内容枠を抽出する。予め、項目名の階層関係として、親が「入荷」３２１であり、子が「個数」３２３であることを登録しておく。

内容枠を探索する際、先ず、文字列の認識によって項目名を求め、項目名の親子関係から内容枠を決定することができ、複数の同一の項目名を有する帳票に対して、対応する内容枠を正確に抽出することができるという効果がある。別の帳票画像３４０では、先の帳票画像３００と異なり、項目枠３４３、３４４の左右が入れ替わっている。また、項目枠２４５、３５６の左右が、先の帳票画像３００と異なり、入れ替わっている。このような、帳票の読取りにおいては、従来の枠構造を用いた読み取り枠の抽出方法（特許文献２）では、枠構造が帳票画像３００と３４０で同一のため、「金額」３５３に対応する内容枠３４７、「個数」３５４に対応する内容枠３４８を誤りなく抽出することはできない。本発明では、項目名の親子関係から内容枠を決定するため、項目名が入れ替わっているような帳票画像３４０に対して、正確に内容枠３４７、３４８、３４９、３５０を抽出することができるという効果がある。

図４は項目名が二次元の関係を有する帳票画像の例である。帳票画像４００では、項目枠４０１，４０２，４０３が横軸方向に配置しており、項目枠４０４，４０７が縦軸方向に配置している帳票である。項目名「みかん」４１３に対して、項目名「個数」４１１に対応する内容枠が４０５である。また、項目名「みかん」４１３に対して、項目名「金額」４１２に対応する内容枠が４０６である。項目名「りんご」４１６に対して、項目名「個数」４１１に対応する内容枠が４０８、項目名「金額」４１２に対応する内容枠が４０９である。単純に項目名として「みかん」４１３を指定しても、内容枠４９５、内容枠４０６のいづれの枠の文字列を認識すべきか決定することはできない。本発明では、項目名の二次元の関係を予め登録しておき、項目名「みかん」４１３と項目名「個数」４１１の対の項目名を手がかりに、対応する内容枠４０５を探索し、当該内容枠４０５の内部の文字列を認識する。帳票画像４２０では、項目名「金額」４３１と項目名「個数」４３２が、上記帳票画像４００と異なっている。

このように項目名が左右あるいは上下に入れ替わっているような帳票画像に対して、縦軸方向の項目名が「みかん」４２４で、横軸方向の項目名が「個数」４３２に対応する内容枠４２６を正しく抽出することができるという効果がある。なお、横軸方向の項目枠が４２１、４２２、４２３、縦軸方向の項目枠が４２４、４２７である。それぞれ、項目名４３０、４３１、４３２および項目名４３３、４３６が横軸方向、および縦軸方向に記載されている。内容枠は４２５、４２６、４２８、４２７であり、それぞれ内容文字列４３４、４３５、４３７、４３８が記載されている。

図５は本発明の処理手順の概要を示す図である。予め設定している階層または二次元の関係を有する項目名を手がかりに内容枠を探索する処理の手順を説明する。先ず、ステップ５００で帳票画像を入力する。次いで、ステップ５０１で帳票画像から線分を検出し枠を抽出する。ステップ５０２で各枠内の文字列を認識する。そして、ステップ５０３で、読み取った文字列から予め登録している項目名を単語照合の手段により取り出す。ステップ５０４で、項目文字列から各該当する項目枠を決定する。このとき、項目名辞書１０３に予め登録しているい項目名同士には、階層関係や二次元関係などの項目名間の関係があり、これらの項目名間の関係を使用して項目枠を決定する。例えば、項目名「個数」が３２４、３２５の二箇所に出現する帳票画像３００に対して、親関係の項目名「入荷」３２１、「出荷」３２２を参照することにより、「入荷」３２１の子関係の「個数」３２４と「出荷」３２２の子関係の「個数」３２５の二つの同じ項目名をもつ項目枠を区別することができる。次いで、ステップ５０５で内容枠を探索する。この時、階層関係を有する項目名同士では、項目枠の親子関係の幾何学的な方向を参照して、その方向の延長上に該当する内容枠を探索する。また、二次元関係を有する項目名同士では、それらの項目枠が縦方向、横方向に交差する付近の内容枠を探索する。ステップ５０６では検出した内容枠を予め登録しているデータ項目（読取りフィールド）ごとに出力する。

図６は階層関係を有する項目名辞書１０３のデータ形式を説明する図である。項目名辞書のテーブル６００には、読取りフィールドごとに項目名とその階層関係が予め格納されている。帳票画像３００を例にして、項目名辞書を説明する。内容枠、即ち、読取りフィールドに対応して６０１、６０２、６０３，６０４で示す項目名辞書が具備されている。内容枠３０７が上記読取りフィールド６０１に対応しており、内容枠３０８、３０９、３１０がそれぞれ６０２、６０３，６０４に対応している。読取りフィールドの識別情報として６１０に示すデータＡで表現する情報が格納されている。本情報はフィールドを示す番号であってもよい。６１１「階層」は項目名間の関係を示しており、６１２で示す「親：入荷」は、項目名３２１「入荷」に対応している。また、６１３で示す「子：個数」は、項目名３２３「個数」に対応している。同じように、それぞれ、帳票画像３００の項目名と当該辞書が対応している。

図７は二次元関係を有する項目名辞書１０３のデータ形式を説明する図である。項目名辞書のテーブル７００には、読取りフィールドごとに項目名とその階層関係が予め格納されている。帳票画像３００を例にして、項目名辞書を説明する。内容枠、即ち、読取りフィールドに対応して７０１、７０２、７０３，７０４で示す項目名辞書が具備されている。内容枠４０５が上記読取りフィールド７０１に対応しており、内容枠４０６、４０８、４０９がそれぞれ７０２、７０３，７０４に対応している。読取りフィールドの識別情報として７１０に示すデータ１で表現する情報が格納されている。本情報はフィールドを示す番号であってもよい。７１１「二次元」は項目名間の関係を示しており、７１２で示す「横：個数」は、項目名４１１「個数」に対応している。また、７１３で示す「縦：みかん」は、項目名４１３「みかん」に対応している。同じように、それぞれ、帳票画像４００の項目名と当該辞書が対応している。

図８はステップ５０５の項目名の階層関係を手がかりにした内容枠探索処理を説明する図である。階層関係を有する項目名をもつ帳票画像８００に対して、ステップ５０３、５０４によって項目枠８０１、８０３、８０４、および、それらの項目名８２１、８２３、８２４が決定されている。また、項目枠８０２、８０５、８０６、および、それらの項目名８２２、８２５、８２６が決定されている。項目名８２１と項目名８２３は階層関係を持ち、親関係が項目名８２１、子関係が項目名８２３である。同じように、項目名８２４に対して親が項目名８２１である。また、親関係の項目名８２２に対して、子関係の項目名８２５、８２６が検出されている。内容枠の探索においては、項目名が親子関係をもつ項目枠の幾何学的配置を手がかりに、内容枠を探索する。例えば、親関係の項目枠８０１に対して、子関係の項目枠８０３の幾何学的な配置方向を求める。項目名８２１から項目名８２３への矢印８４１が、親子関係の配置方向である。この方向を手がかりに、項目枠８０３の位置を基準に矢印８４２の方向で内容枠を探索し、項目名８２３に対応する内容枠８０７を検出する。同じく、親関係の項目枠８０１に対して、子関係の項目枠８０４の幾何学的な配置方向を求める。項目名８２１から項目名８２４への矢印８４３が、親子関係の配置方向である。この方向を手がかりに、項目枠８０４の位置を基準に矢印８４４の方向で内容枠を探索し、項目名８２４に対応する内容枠８０８を検出する。同様に、親子関係の幾何学的な配置方向８４５、８４７を手がかりに内容枠の探索方向８４６、８４８を求め、内容枠８０９、８１０を決定する。

図９はステップ５０４の項目枠決定処理の詳細処理を説明する流れ図である。ステップ５０３の項目文字列照合によって項目文字列の候補が抽出されており、階層関係を有する項目枠に対して、先ず、ステップ９００で親項目の文字列候補の位置を入力する。次いで、ステップ９０１で子項目文字列候補の位置を入力する。ステップ９０２で、親項目と子項目配置関係をチェックし、隣接する項目名をステップ９０３で親項目名、子項目名として登録する。このように項目名の配置関係をチェックすることにより、例えば、項目名「個数」８２３と項目名「個数」８２５のように、同じ文字列が帳票内に記載されていても、これらの項目名「個数」を区別し、親関係の項目名を正確に決定することができるという効果がある。

図１０はステップ５０５の内容枠の探索処理の詳細な流れ図である。項目名辞書１０３には予め内容枠、即ち読取りフィールドの読むべきデータごとに項目名、項目名の関係が格納されている。ステップ１０００で内容枠のデータ識別番号が尽きるまで、ステップ１００１以降の処理を行なう。先ず、ステップ１００１で項目枠の位置座標を入力する。そして、ステップ１００２で項目の種類、即ち、単純な関係、階層関係、二次元関係いづれかを入力する。この項目の種類は、項目名辞書１０３に読むべきデータごとに登録されており、当該辞書を参照して獲得する。次いで、ステップ１００３で項目の種類ごとに処理を分岐する。もし、項目の種類が「単純」であれば、ステップ１００４において項目枠の右方向および下方向の枠を探索する。また、もし、項目の種類が「階層」であれば、ステップ１００５で親関係の枠から子関係の枠への方向の延長方向を探索する。また、もし、項目の種類が「二次元」であれば、ステップ１００６で横軸方向および縦軸方向の交差付近を探索する。このような探索により求めた内容枠をステップ１００７で、データ識別番号に対応した内容枠として登録する。

図１１は記入文字列の認識結果保管部１０４のデータ格納形式を説明する図である。内容枠内の文字列認識部１０７で内容枠内の文字列を読み取った結果は、内容枠、即ち、読取りフィールドごとに結果文字列が格納される。格納データ１１００は、帳票画像３００の読取り結果であり、読取り結果情報１１０１は内容枠３０７の読取り結果であり、データ識別番号「データＡ」に対応して内容データ「１０」が格納されている。同じく読取り結果情報１１０２，１１０３，１１０４はそれぞれ内容枠３０８、３０９、３１０の読取り結果である。格納データ１１１０は、帳票画像４００の読取り結果であり、読取り情報１１１１、１１１２、１１１３、１１１４はそれぞれ内容枠４０５、４０６、４０８、４０９の読取り結果である。

図１２はステップ５０５の項目名の二次元関係を手がかりにした内容枠探索処理を説明する図である。二次元関係を有する項目名をもつ帳票画像１２００に対して、ステップ５０３、５０４によって横軸方向の項目枠１２０１、１２０２、および、それらの項目名１２１１、１２１２が決定されている。また、縦軸方向の項目枠１２０３、１２０４、および、それらの項目名１２１３、１２１４が決定されている。項目名１２１１、１２１２と項目名１２１３、１２１４は二次元関係を持つ。内容枠の探索においては、項目名が二次元関係をもつ項目枠の幾何学的配置を手がかりに、内容枠を探索する。例えば、横軸方向の項目枠１２０２に対して、縦軸方向の項目枠１２０３の幾何学的な交差位置を求める。項目名１２１２から下方への矢印１２３０が、内容枠の探索方向である。また、項目名１２１３から右方への矢印１２３１が、内容枠の探索方向である。これら、矢印１２３０、１２３１の交差付近を手がかりに内容枠１２２２を決定する。

帳票のデータ入力を効率よく行なうことに利用される。本発明によれば、項目名が階層的に配置され、項目名同士に親子関係を有するような帳票から内容枠を自動的に抽出し、当該内容枠の文字列を読み取ることができる。このため、多様な帳票のデータ入力を効率的に行なうことが可能である。また、項目名が縦方向と横方向の二次元に配置された帳票に対して、内容枠を抽出し、当該内容枠の文字列を読み取ることができる。このため、本発明が利用可能な帳票範囲が広範囲となり、様々な構造を有する多様な帳票のデータ入力が可能である。

本発明の実施形態を示す帳票認識システムの構成図である。読取り対象である帳票画像の例を示す図である。項目名が階層構造を有する帳票画像の例である。項目名が二次元の関係を有する帳票画像の例である。本発明の処理手順の概要を示す図である。階層関係を有する項目名辞書１０３のデータ形式を説明する図である。二次元関係を有する項目名辞書１０３のデータ形式を説明する図である。ステップ５０５の内容枠探索処理を説明する図である。ステップ５０４の項目枠決定処理の詳細処理を説明する流れ図である。ステップ５０５の内容枠の探索処理の詳細な流れ図である。記入文字列の認識結果保管部１０４のデータ格納形式を説明する図である。ステップ５０５の項目名の二次元関係を手がかりにした内容枠探索処理を説明する図である。

符号の説明

１０３‥項目名辞書、１０５‥項目枠抽出部、１０６‥内容枠抽出部、１０７‥内容枠の文字列認識部、２１１‥単純関係を有する項目名、２０２‥内容枠、３２１‥親関係を有する項目名、３２３‥子関係を有する項目名、３０７‥親子関係を有する項目名に対応した内容枠、４１１‥二次元関係の横軸方向の項目名、４０４‥二次元関係の縦軸方向の項目名、４０５‥二次元関係の項目名に対応した内容枠、５０４‥項目枠蹴決定ステップ、５０５‥内容枠探索ステップ、６００‥階層関係を有する項目名辞書、７００‥二次元関係を有する項目名辞書、８４１‥親子関係の項目名の配置方向、８４２‥親子関係の項目名に対応した内容枠の探索方向、１２３０‥横軸方向の項目名を手がかりにした内容枠の探索方向、１２３１‥縦軸方向の項目名を手がかりにした内容枠の探索方向。

Claims

帳票の項目名を手がかりに内容枠を抽出する帳票認識方法において、入力された帳票画像データから複数の項目枠を抽出するステップと、該抽出された複数の項目枠の項目名をそれぞれ特定するステップと、該特定された複数の項目名を元に、項目名の親子関係を記載した項目名辞書を参照して該複数の項目枠の親子関係を特定するステップと、該複数の項目枠の位置関係と該特定された親子関係とをもとに該複数の項目枠に対応する内容枠を抽出するステップとを有することを特徴とする帳票認識方法。
帳票の項目名を手がかりに内容枠を抽出する帳票認識方法において、入力された帳票画像データから複数の項目枠を抽出するステップと、該抽出された複数の項目枠の項目名をそれぞれ特定するステップと、該特定された複数の項目名を元に、項目名の二次元の関係を記載した項目名辞書を参照して該複数の項目枠の二次元の関係を特定するステップと、該複数の項目枠の位置関係と該特定された二次元の関係とをもとに該複数の項目枠に対応する内容枠を抽出するステップとを有することを特徴とする帳票認識方法。
請求項１の内容枠を抽出する方法は、親子関係を有する項目名の配置方向を手がかりに内容枠を探索することを特徴とする帳票認識方法。
請求項２の内容枠を抽出する方法は、二次元関係を有する項目名位置の交差位置を手がかりに内容枠を探索することを特徴とする帳票認識方法。