JP2023036833A

JP2023036833A - 情報処理装置、及びプログラム

Info

Publication number: JP2023036833A
Application number: JP2022207647A
Authority: JP
Inventors: 一也谷川; Kazuya Tanigawa; 順太田; Jun Ota
Original assignee: Milabo Co Ltd
Current assignee: Milabo Co Ltd
Priority date: 2020-05-12
Filing date: 2022-12-23
Publication date: 2023-03-14
Anticipated expiration: 2040-05-12
Also published as: JP7283756B2; JP2021179743A; JP7458600B2

Abstract

【課題】光学的に読み取られた帳票の記入枠の領域を、人為的操作なく認識できる情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、受け入れ部２１で受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する記入枠候補抽出部２２と、画像データの第１の軸方向に配列された、第１矩形サブグループを少なくとも一つ認識する第１認識部２３と、第１矩形サブグループ毎に、外接する第１グループ矩形を設定する第１グループ化部２４と、画像データの、第１の軸方向に交差する第２の軸方向に配列され、第２矩形サブグループを少なくとも一つ認識する第２認識部２５と、第２矩形サブグループ毎に、外接する第２グループ矩形を設定する第２グループ化部２６と、第１グループ矩形と、第２グループ矩形との交差範囲を記入枠として認識し、認識した記入枠内の画像データを抽出して所定の処理に供する記入枠認識部２７と、を有する。【選択図】図３

Description

本発明は、帳票の画像を処理する情報処理装置及びプログラムに関する。

情報の記入枠を複数含む帳票から、各記入枠に記入された情報を読み取る技術が実用化されている。この技術では、予め帳票の種類ごとに、記入枠の領域を特定する座標情報と、当該座標情報で特定される領域がどのような情報を記入する記入枠に対応するかを表す情報とを、関連付けて領域情報として記憶しておく。

情報の読み取りの際には、帳票の種類を特定し、当該特定した種類の帳票に関して記憶している、上記領域情報を参照し、当該帳票上の情報記入枠内の情報を読み取ることとしている。

特開平２０１１－１６９４５１号公報

しかしながら、上記領域情報は、必ずしも用意されているとは限らない。例えば新規の帳票や、類似する帳票であっても記入枠の位置が変更されている場合もあり得る。このような場合に、読み取った帳票上の記入枠の領域を、人為的操作なく認識することで、領域情報の生成を簡便にすることなどが望まれている。

本発明は上記実情に鑑みて為されたもので、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく認識できる情報処理装置、及びプログラムを提供することを、その目的の一つとする。

なお、光学的文字認識を行うため、ノイズが重畳していないと判定される文字の領域を行方向または列方向に延伸して文字が含まれると想定される領域を見出す技術が特許文献１に開示されている。しかしながらこの特許文献１に開示の技術では、記入枠の領域を認識することはできない。

上記従来例の問題点を解決する本発明の一態様は、情報処理装置であって、帳票の画像データを受け入れる手段と、前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、を有することとしたものである。

本発明によると、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく認識できる。

本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。本発明の実施の形態に係る情報処理装置が処理の対象とする帳票の例を表す説明図である。本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。本発明の実施の形態に係る情報処理装置による記入枠の候補の検出処理の例を表す説明図である。本発明の実施の形態に係る情報処理装置によるグループ化の処理の例を表す説明図である。本発明の実施の形態に係る情報処理装置による記入枠の認識処理の例を表す説明図である。本発明の実施の形態に係る情報処理装置が処理の対象とする帳票に含まれる、表組の別の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５とを含んで構成される一般的なコンピュータ装置であり、スキャナ２等のデバイスに接続されている。

制御部１１は、プロセッサ等の制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、例えばスキャナ２が光学的に読み取って得た帳票の画像データを受け入れる。本実施の形態の例では、ここで読み取られる帳票は、図２に例示するように、情報を記入するための枠（記入枠）が複数、行方向及び列方向に整列して配された表組（Ｔ）を含むものであるとする。

制御部１１は、帳票の画像データを受け入れると、当該受け入れた画像データから、帳票上の記入枠の候補を認識し、当該記入枠の候補に外接矩形を抽出する。制御部１１は、帳票の画像データの第１の軸方向に配列された、上記抽出した複数の外接矩形を含む第１矩形サブグループを少なくとも一つ認識し、さらに、認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の上記外接矩形にさらに外接する第１グループ矩形を設定する。

また制御部１１は、帳票の画像データの、第２の軸方向に配列された、上記複数の外接矩形を含む第２矩形サブグループを少なくとも一つ認識し、当該認識した第２矩形サブグループごとに、当該第２矩形サブグループに含まれる上記複数の外接矩形にさらに外接する第２グループ矩形を設定する。ここで第１の軸方向と第２の軸方向とは互いに交差する（非平行である）ものとする。

制御部１１は、ここで設定した第１グループ矩形と第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する。この制御部１１の詳しい動作については後に述べる。

記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、キーボード等であり、ユーザの操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示出力する。

インタフェース部１５は、例えばＵＳＢインタフェース等を含む。本実施の形態の一例では、スキャナ２等のデバイスは、このインタフェース部１５を介して情報処理装置１に接続される。

また本実施の形態の情報処理装置１に接続されるスキャナ２は、光学的に紙媒体上に形成された文字や図形を読み取り、画像データとして出力するものである。

次に、制御部１１の処理例について説明する。本実施の形態では、この制御部１１は、図３に例示するように、受入部２１と、記入枠候補抽出部２２と、第１認識部２３と、第１グループ化部２４と、第２認識部２５と、第２グループ化部２６と、記入枠認識部２７と、情報出力部２８とを含んで構成されている。

受入部２１は、インタフェース部１５を介してスキャナ２から、スキャナ２が読み取った帳票の画像データを受け入れる。この画像データは、いわゆるビットマップ画像データである。

また、上述したように本実施の形態の情報処理装置１が処理の対象とする帳票の例は、図２に例示したように、情報を記入するための枠（記入枠）が複数、行方向及び列方向に整列して配された表組（Ｔ）を含むものである。図２の例では、表組（Ｔ）は、時間帯ごとの担当者の氏名を記入するための記入枠Ａが行方向に整列して複数配され、列方向には担当場所ごとの担当者の氏名を記入するための記入枠Ａが整列して配されているものとしている。つまり、この表組（Ｔ）では、各担当場所ごと、各時間帯ごとに、担当者の氏名が記入された状態となっているものとする。またこの表組（Ｔ）において、第１行目は時間帯を識別する情報が記入される記入枠（Ｄ）を配列したものとし、第１列目は担当場所を識別する情報が記入される記入枠（Ｐ）が配列されているものとする。

また本実施の形態の情報処理装置１は、受け入れた帳票の画像データに対して第１の軸方向と、第１の軸方向に交差する第２の軸方向とを設定する。ここで第１、第２の軸方向は互いに直交した方向としてよい。以下の例では、第１の軸方向を行方向（スキャナ２の副走査方向）、第２の軸方向を列方向（スキャナ２の主走査方向）とする。

記入枠候補抽出部２２は、受入部２１が受け入れた帳票の画像データから、帳票上の記入枠の候補を認識し、当該認識した記入枠の候補の領域に外接する外接矩形を抽出する。具体的な例として、本実施の形態では、記入枠候補抽出部２２は、記入枠が矩形状の図形により表されているため、ハフ変換により直線の方向が行方向または列方向に整列するよう、受入部２１が受け入れた帳票の画像データを回転処理する。

そして記入枠候補抽出部２２は、行ごと及び列ごとに、有意画素（例えば輝度が所定のしきい値を下回る画素を黒とし、そうでない画素を白とする処理（二値化処理）をして黒色となる画素）の数をカウントし、有意画素が所定の方法で定めたカウントしきい値より多い行または列を見出す。記入枠候補抽出部２２は、当該見出した行または列に含まれ、有意画素が連続する範囲を抽出し、当該範囲の大きさが予め定めた連続しきい値より大きい場合に、当該連続した範囲を、記入枠を区切る罫線であると認識する。

記入枠候補抽出部２２は、行方向に互いに隣接する一対の罫線の間の矩形であって、列方向に互いに隣接する一対の罫線で仕切られる矩形部分を、記入枠の候補の領域として認識する。記入枠候補抽出部２２は、当該認識した各記入枠の候補の領域に外接する矩形を表す情報を、外接矩形を表す情報として出力する。

この例では、図４（ａ）に例示するように、互いに隣接する記入枠の候補は、一つの罫線を共有する。すなわち記入枠Ａ１の右辺の罫線は、記入枠Ａ２の左辺の罫線でもあり、記入枠Ａ１の下辺の罫線は、記入枠Ａ３の上辺の罫線でもある。

また、別の方法では、記入枠候補抽出部２２は、帳票の画像データ内の有意画素塊（文字）に外接する矩形（文字矩形）を認識する。ここで文字を構成する有意画素に外接する文字矩形を認識する処理については広く知られた方法を採用できるので、ここでの詳しい説明を省略する。

記入枠候補抽出部２２は、認識した複数の文字矩形を所定の文字グループ化条件に基づいてグループ化する。ここで文字グループ化条件は、例えば互いに隣接する文字矩形までの距離が所定の文字間隔しきい値を下回るとの条件でよい。また罫線が別途認識できる場合は、上記文字間隔しきい値に係る条件を満足し、かつ、認識した罫線で分断されないとの条件などとしておく。

この場合、記入枠候補抽出部２２は、文字グループ化条件によりグループ化された複数の文字矩形にさらに外接する文字列外接矩形を生成し、この生成した文字列外接矩形内の領域を、記入枠の候補の領域とする。

この例では、図４（ｂ）に例示するように、記入枠の候補の領域Ａ′１，Ａ′２，Ａ′３は、罫線で仕切られる領域に内包される。またこの例では、記入枠の候補の領域に外接する矩形（外接矩形）は、文字列外接矩形そのものを用いてよい。

第１認識部２３は、記入枠候補抽出部２２が抽出した複数の外接矩形のいずれか一つを選択して、当該選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形を検出する。

第１認識部２３は、選択した外接矩形と、検出した他の外接矩形とを含む第１矩形サブグループを設定する。

第１認識部２３は、いずれの第１矩形サブグループに属していない外接矩形（かつ、後で説明する第１孤立矩形として設定されていない外接矩形）があれば、当該外接矩形の一つをさらに選択して上記の処理を繰り返す。なお、選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形が存在しない場合、第１認識部２３は、選択した外接矩形を、第１孤立矩形として設定する。

一例として、この第１認識部２３は、図５に例示するように、外接矩形Ａを選択した場合、この外接矩形Ａの上辺，下辺をそれぞれ延長した線分ＡＨ，ＡＢを仮想的に設定し、この範囲に重なる、外接矩形Ａとは異なる外接矩形（他の外接矩形）Ｂ，Ｃ，Ｄ…を見出す。第１認識部２３は、見出した他の外接矩形のそれぞれについて、線分ＡＨ，ＡＢの間にある面積ＲINと、線分ＡＨ，ＡＢの外にある部分の面積ＲOUTとを比較し、条件：
ＲIN＞ＲOUT、かつ、
ＲOUT＜Ｒrow_th
を満足するか否かを調べる。ここでＲrow_thは、経験的に定められるしきい値であり、線分ＡＨ，ＡＢの外にある部分の面積がどの程度であれば、選択した外接矩形Ａが属する第１矩形サブグループに含めるかを定めるものである。

そして第１認識部２３は、上記条件を満足すると判断される外接矩形と、外接矩形Ａとをグループ化して、一つの第１矩形サブグループとする。図５の例では、外接矩形Ａ，Ｂ，Ｃが一つの第１矩形サブグループに属するものとされ、外接矩形Ｄは、ＲIN＞ＲOUTでないために、外接矩形Ａが属する第１矩形サブグループにはグループ化されない。

第１グループ化部２４は、第１認識部２３が設定した少なくとも一つの第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する。

第２認識部２５は、記入枠候補抽出部２２が抽出した複数の外接矩形のいずれか一つを選択して、当該選択した外接矩形に対して、帳票の画像データの列方向（第２の軸方向に相当する）に存在する他の外接矩形を検出する。

第２認識部２５は、選択した外接矩形と、検出した他の外接矩形とを含む第２矩形サブグループを設定する。

第２認識部２５は、いずれの第２矩形サブグループに属していない外接矩形（かつ、後で説明する第２孤立矩形として設定されていない外接矩形）があれば、当該外接矩形の一つをさらに選択して上記の処理を繰り返す。なお、選択した外接矩形に対して、帳票の画像データの列方向（第２の軸方向に相当する）に存在する他の外接矩形が存在しない場合、第２認識部２５は、選択した外接矩形を、第２孤立矩形として設定する。

一例として、この第２認識部２５が、図５に例示する外接矩形Ａを選択した場合、この外接矩形Ａの左辺，右辺をそれぞれ延長した線分ＡＬ，ＡＲを仮想的に設定し、この範囲に重なる、外接矩形Ａとは異なる外接矩形（他の外接矩形）Ｅ，Ｆ，Ｇ…を見出す。第２認識部２５は、見出した他の外接矩形のそれぞれについて、線分ＡＬ，ＡＲの間にある面積ＲINと、線分ＡＬ，ＡＲの外にある部分の面積ＲOUTとを比較し、条件：
ＲIN＞ＲOUT、かつ、
ＲOUT＜Ｒcolumn_th
を満足するか否かを調べる。ここでＲcolumn_thは、経験的に定められるしきい値であり、線分ＡＬ，ＡＲの外にある部分の面積がどの程度であれば、選択した外接矩形Ａが属する第２矩形サブグループに含めるかを定めるものである。

そして第２認識部２５は、上記条件を満足すると判断される外接矩形と、外接矩形Ａとをグループ化して、一つの第２矩形サブグループとする。図５の例では、外接矩形Ａ，Ｅ，Ｆが一つの第２矩形サブグループに属するものとされ、外接矩形Ｇは、ＲIN＞ＲOUTでないために、外接矩形Ａが属する第２矩形サブグループにはグループ化されない。

第２グループ化部２６は、第２認識部２５が設定した少なくとも一つの第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する。

記入枠認識部２７は、第１グループ化部２４が設定した第１グループ矩形と、第２グループ化部２６が設定した第２グループ矩形との交差範囲を、記入枠として認識する。本実施の形態の例では、第１グループ化部２４は一般に複数ｎ個の第１グループ矩形を設定する。この第１グループ矩形は、行方向に延びる矩形であり、列方向に配列されている。また、第２グループ化部２６は一般に複数ｍ個の第２グループ矩形を設定する。この第２グループ矩形は、列方向に延びる矩形であり、行方向に配列されている。

そこでこの記入枠認識部２７が認識する第１グループ矩形と第２グループ矩形との交差範囲は、ｎ×ｍ個あり、記入枠認識部２７は、ｎ×ｍ個の記入枠を認識する。記入枠認識部２７は、認識した記入枠のそれぞれに固有の識別子を発行し、また当該記入枠のそれぞれに外接する矩形を特定する座標情報（当該矩形の左上及び右下の座標でよい）を得て、対応する識別子に関連付けて、記入枠データベースとして記憶部１２に格納する。

情報出力部２８は、記憶部１２に格納された記入枠データベースを参照し、固有の識別子及びそれに関連付けられた座標情報が表す、帳票の画像データ上の領域内の画像データ（各記入枠内の画像データ）を、所定の処理に供する。ここで所定の処理は、例えば、各記入枠内の画像データに基づく文字認識処理でよい。情報出力部２８は、当該所定の処理の結果を、出力する。

［動作］
本実施の形態の情報処理装置１は、以上の構成を備えており、次のように動作する。以下の例では、スキャナ２が読み取る帳票には、図６（ａ）に例示するように、記入枠（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆで示される部分）がそれぞれ所定の間隔をおいて、マトリクス状に（行方向及び列方向に）配列され、それぞれ文字列ＡＡＡ，ＢＢ，ＣＣ，ＤＤＤ，ＥＥ，ＦＦＦ（それぞれ文字数は互いに異なってよい）が記入されているものとする。また、図６（ａ）の例では、罫線はないものとしている。

情報処理装置１の制御部１１がインタフェース部１５を介してスキャナ２から、スキャナ２が読み取った上記図６（ａ）の表組を含む帳票の画像データを受け入れると、制御部１１は、受け入れた帳票の画像データに対して第１の軸方向としての行方向と、第１の軸方向に交差する第２の軸方向としての列方向とを設定する。

制御部１１は、この帳票の画像データから、記入枠を区切る罫線の認識を試みてもよいが、罫線は認識できないため、罫線を用いない方法、例えば文字の領域を認識する方法を用いることとする。具体的に制御部１１は、受け入れた帳票の画像データから、有意画素塊（文字）に外接する矩形（文字矩形）を認識する。また制御部１１は、認識した文字矩形を、互いに隣接する文字矩形までの距離が所定の文字間隔しきい値を下回るとの文字グループ化条件でグループ化する。この処理により、文字列ＡＡＡ，ＢＢ，ＣＣ，ＤＤＤ，ＥＥ，ＦＦＦがそれぞれ互いに異なるグループとしてグループ化される。

そして制御部１１は、文字グループ化条件によりグループ化された複数の文字矩形にさらに外接する文字列外接矩形を生成し（図６（ａ）のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）、この生成した文字列外接矩形内の領域を、記入枠の候補の領域とする。

次に制御部１１は、記入枠の候補の領域のそれぞれに外接する複数の外接矩形のいずれか一つを選択する。例えば制御部１１が文字列ＡＡＡに外接する外接矩形を選択したとする。制御部１１は、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形を検出する。ここでは文字列ＡＡＡに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＢＢに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＡＡＡの外接矩形）と、検出した他の外接矩形（文字列ＢＢの外接矩形）とを含む第１矩形サブグループを設定し、図６（ｂ）に例示するように、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ１を設定する。

また制御部１１は、いずれの第１矩形サブグループに属していない外接矩形の一つ、例えば文字列ＣＣに外接する外接矩形を選択し、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形を検出する。ここでは文字列ＣＣに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＤＤＤに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＣＣの外接矩形）と、検出した他の外接矩形（文字列ＤＤＤの外接矩形）とを含む第１矩形サブグループを設定し、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ２を設定する。

同様にして制御部１１は、文字列ＥＥの外接矩形と、文字列ＦＦＦの外接矩形とを含む第１矩形サブグループを設定し、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ３を設定する（図６（ｂ））。

また制御部１１は、第１グループ矩形を設定した処理とは別に、記入枠の候補の領域のそれぞれに外接する複数の外接矩形のいずれか一つを選択する。例えばここで制御部１１が文字列ＡＡＡに外接する外接矩形を選択したとする。制御部１１は、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形を検出する。ここでは文字列ＡＡＡに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＣＣに外接する外接矩形、及び文字列ＥＥに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＡＡＡの外接矩形）と、検出した他の外接矩形（文字列ＢＢの外接矩形及び文字列ＥＥの外接矩形）とを含む第２矩形サブグループを設定し、図６（ｃ）に例示するように、その第２矩形サブグループに含まれる外接矩形に外接する第２グループ矩形Ｙ１を設定する。

以下、制御部１１は、いずれの第２矩形サブグループに属していない外接矩形の一つを選択して上記処理を繰り返す。ここでは、例えば制御部１１は、文字列ＢＢに外接する外接矩形を選択し、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形として、文字列ＤＤＤに外接する外接矩形及び文字列ＦＦＦに外接する外接矩形を検出する。制御部１１は、選択した外接矩形（文字列ＣＣの外接矩形）と、検出した他の外接矩形（文字列ＤＤＤの外接矩形及び文字列ＦＦＦの外接矩形）とを含む第２矩形サブグループを設定し、その第２矩形サブグループに含まれる外接矩形に外接する第２グループ矩形Ｙ２を設定する。

制御部１１は、第１グループ矩形Ｘ１，Ｘ２，Ｘ３と、第２グループ矩形Ｙ１，Ｙ２の交差範囲ＲＡ，ＲＢ，ＲＣ，ＲＤ，ＲＥ，ＲＦ（図６（ｄ））を、記入枠として認識し、これら交差範囲に外接する外接矩形を表す情報を、各記入枠を特定する外接矩形の情報として記録する。

制御部１１は、この記録を用いて、当該記録に含まれる情報で特定される各外接矩形内の画像データが、各記入枠内の画像データであるとして、例えば各記入枠内の画像データに基づく文字認識処理を行い、記入枠ごとの文字認識処理の結果を出力する。

［外接矩形の選択基準］
なお、ここまでの説明において、制御部１１は、第１認識部２３としての処理において、外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向（または列方向）に存在する他の外接矩形を検出してグループ化するものとした。この際、選択した外接矩形を行方向（または列方向）に延長した領域に重なりあう他の外接矩形であって、当該重なりあう範囲の面積が当該他の外接矩形全体の面積に対して所定の比より大きい場合にグループ化する、といった条件としていたが当該グループ化の条件はこれに限られない。

例えば制御部１１は、ここでグループ化する条件として、複数の外接矩形に含まれる一対の外接矩形間の距離に基づく基準、または複数の外接矩形の形状に基づく基準を用いた条件を採用してもよい。

ここで複数の外接矩形に含まれる一対の外接矩形間の距離に基づく基準は、例えば選択した外接矩形に対して、帳票の画像データの行方向（または列方向）に存在する他の外接矩形であって、選択した外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回るか、または選択した外接矩形と同じ第１矩形サブグループ（または第２矩形サブグループ）に属するいずれかの外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る、との条件とすることができる。

この例では、制御部１１は、当初は選択した外接矩形に対して帳票の画像データの行方向に存在し、かつ、選択した外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る他の外接矩形を見出すと、当該他の外接矩形と、選択した外接矩形とが属する第１矩形サブグループを設定する。そして制御部１１は、選択した外接矩形に対して帳票の画像データの行方向に存在する他の外接矩形であって、選択した外接矩形が属する第１矩形サブグループに属するいずれかの外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る他の外接矩形を見出すごとに、当該見出した他の外接矩形を、選択した外接矩形が属する第１矩形サブグループに追加する処理を繰り返す。

これにより、２つの表組が２つ以上、第１の軸方向に連続して配されているときに、当該表組間の距離を下回り、各表組内の記入枠化の距離を上回る距離を上記グループ化しきい値として設定すれば、各表組の各記入枠がそれぞれ別々に識別されることとなる。なお制御部１１は、列方向についても同様の処理を行うこととしてもよい。この場合、２つの表組が２つ以上、第２の軸方向に連続して配されているときに、当該表組間の距離を下回り、各表組内の記入枠化の距離を上回る距離を上記グループ化しきい値として設定すれば、各表組の各記入枠がそれぞれ別々に識別されることとなる。

また制御部１１は、グループ化する条件として外接矩形の形状に基づく基準を用いることとしてもよい。この場合制御部１１は、記入枠候補抽出部２２が得た外接矩形を、その大きさ（幅及び高さ）並びに、幅と高さとの比（アスペクト）を用いて、クラスタリングする。このクラスタリングの方法は、k-means法など広く知られた方法を採用できるので、詳しい説明は省略する。

制御部１１は、クラスタリングにより得られたクラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第１矩形サブグループを設定することとしてもよい。

この例では、図７に例示する表組Ｔを次のように処理する。ここで図７の表組Ｔは、列方向の項目名の記入枠をＮ個（Ｎは１以上の整数）含む列ヘッダＨＣと、行方向の項目名の記入枠をＭ個（Ｍは１以上の整数）含む行ヘッダＨＲと、記入枠をＮ×Ｍ個含む、表組の本体部ＴＢとに区分されるものとする。また、列ヘッダＨＣに含まれる記入枠は、それぞれ幅ＣＷ，高さＣＨであり、本体部ＴＢの記入枠はそれぞれ幅ＣＷ，高さＲＨであり、行ヘッダＨＲに含まれる記入枠がそれぞれ幅ＲＷ，高さＲＨであるとする。

さらにここで、ＲＨ＜ＣＨであり、ＲＷ＞ＣＷであるとする。つまり、列方向の項目名の記入枠の高さＣＨは、本体部ＴＢ内の記入枠の高さＲＨより大きく、行方向の項目名の記入枠の幅ＲＷは、本体部ＴＢ内の記入枠の幅ＣＷより大きい。

制御部１１は、記入枠の候補の領域に外接する外接矩形をそれぞれ抽出し、抽出した外接矩形を、その幅，高さ，幅と高さとの比（アスペクト）との３次元のベクトル情報に基づいてクラスタリングする。このクラスタリングの結果、図７の例の表組Ｔでは、抽出した外接矩形が、列方向の項目名の記入枠の外接矩形のクラスタ（クラスタＩ）と、行方向の項目名の記入枠の外接矩形のクラスタ（クラスタＩＩ）と、本体部ＴＢ内の記入枠の外接矩形のクラスタ（クラスタＩＩＩ）とに分類される。

制御部１１は、クラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第１矩形サブグループを設定する。

これにより、クラスタＩ内の外接矩形と、クラスタＩＩ内の外接矩形と、クラスタＩＩＩ内の外接矩形とがそれぞれ互いに異なる第１矩形サブグループに属することとなる。

また制御部１１は、行方向と同様に、クラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第２矩形サブグループを設定する。

これにより、クラスタＩ内の外接矩形と、クラスタＩＩ内の外接矩形と、クラスタＩＩＩ内の外接矩形とがそれぞれ互いに異なる第２矩形サブグループに属することとなる。

さらに制御部１１は、クラスタを順次選択しつつ、選択したクラスタの外接矩形が属する第１矩形サブグループと、当該選択したクラスタの第２矩形サブグループとの交差範囲をそれぞれ記入枠として認識する。

図７の例では、列方向の項目名の記入枠の外接矩形が属するクラスタＩを選択したときには、制御部１１は、列方向の項目名の記入枠の外接矩形のすべてが含まれる第１グループ矩形と、列方向の項目名の記入枠の外接矩形がそれぞれ１つずつ含まれる第２グループ矩形との交差範囲である、列方向の項目名の記入枠を、それぞれ記入枠として認識することとなる。

同様に、行方向の項目名の記入枠の外接矩形が属するクラスタＩＩを選択したときには、制御部１１は、行方向の項目名の記入枠の外接矩形がそれぞれ１つずつ含まれる第１グループ矩形と、行方向の項目名の記入枠の外接矩形がすべて含まれる第２グループ矩形との交差範囲である、行方向の項目名の記入枠を、それぞれ記入枠として認識することとなる。

さらに制御部１１は、クラスタＩＩＩを選択したときには、クラスタＩＩＩの外接矩形がそれぞれ含まれる第１グループ矩形と第２グループ矩形との交差範囲を、それぞれ記入枠として認識する。

［変形例］
また本実施の形態の別の例では、制御部１１は、次のようにして表を認識してもよい。制御部１１は、二値化処理や階調反転、輪郭線抽出等の処理を用いて、スキャナ２等から受け入れた帳票の画像データから矩形状の領域を認識し、認識した矩形状の領域の各々について固有の識別情報を発行する。

制御部１１は、認識した個々の矩形状領域の高さ（スキャナ２の主走査方向Ｈ）、幅（スキャナ２の副走査方向Ｗ）、及び位置を表す座標情報（例えば矩形状領域の左上の頂点座標でよい）を、対応する矩形状領域の識別情報に関連付けて記憶部１２に格納する。

制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その高さと幅の情報により、認識した矩形状領域をクラスタに分類して、その分類の結果を得る。この分類結果により、高さ・幅が実質的に同じ矩形状領域がそれぞれクラスタとして分類され、クラスタごとに、当該クラスタに属する矩形状領域の識別情報のリストが得られる。このクラスタ分類の方法は、Ｋ平均法など広く知られた方法を用いることができる。

制御部１１は、分類の結果となったクラスタを順次選択して、選択したクラスタに複数の矩形状領域が分類されているときには、当該選択したクラスタに分類されている各矩形状領域の識別情報を得て、当該識別情報の一つを選択する。そして制御部１１は、選択した識別情報で特定される矩形状領域の座標情報を取得する。

制御部１１は、取得した座標情報が表す点の幅方向（Ｘ軸方向とする）に存在する、上記選択したクラスタに分類される（上記選択した識別情報を含む）識別情報で特定される矩形状領域を見出す。この処理は例えば、取得した座標情報の高さ方向（Ｙ軸方向とする）の値との差が予め定めたしきい値を下回る座標情報に関連付けられた識別情報を検索することで行われる。

また制御部１１は、この処理で見出された矩形状領域（つまり、Ｘ軸方向に一列に配列されている矩形状領域）の各々について、当該矩形状領域の座標情報が表す点の高さ方向（Ｙ軸方向）に存在する、上記選択したクラスタに分類される識別情報で特定される矩形状領域を見出す。この処理は例えば、座標情報の高さ方向（Ｘ軸方向）の値との差が予め定めたしきい値を下回る座標情報に関連付けられた識別情報を検索することで行われる。

制御部１１は、この処理により、Ｘ軸方向に一列に配列されている矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている矩形状領域を見出す。そして制御部１１は、当該見出した、Ｙ軸方向に一列に配列されている矩形状領域の座標情報のＹ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＹ座標の値のリストで互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回るか否かを調べる。このしきい値は、例えば選択しているクラスタに属する矩形状領域の高さに予め定めた方法で決められる値（例えば定数、あるいは高さに所定の実数係数を乗じた値）とする。

そして、互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回らないと判断される位置で、Ｙ座標の値のリストを分割する。

制御部１１は、分割して得られた各Ｙ座標の値のリスト（あるいは分割されなかった場合は一つのＹ座標の値のリスト）に含まれるＹ座標の値に係る座標情報に対応する矩形状領域をグループとし、そのグループに属する矩形状領域の座標情報のうち、Ｙ座標の値がもっとも小さい座標情報を、グループの座標情報とする。

制御部１１は、Ｘ軸方向に一列に配列されている矩形状領域のそれぞれについて、上記グループを得て、互いに対応するグループ（グループの座標情報のＹ座標の値の差が予め定めたしきい値を下回るグループ）を一つのグループにまとめる。

これにより制御部１１は、Ｘ軸方向に一列に配列され、また高さ方向に距離をおかずに配列されている矩形状領域の群（グループ）を見出す。そして制御部１１は、当該矩形状領域を、表の各セルとして認識し、見出した矩形状領域の群を表の範囲として認識する。

なお、制御部１１は、X軸方向に配列されている矩形状領域についても、Ｘ軸方向に一列に配列されている当該矩形状領域の座標情報のＸ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＸ座標の値のリストで互いに隣接する２つのＸ座標の値が、予め定めたしきい値を上回る位置でグループ（以下区別のため幅方向グループと呼ぶ）に分割することとしてもよい。この場合のしきい値は、例えば選択しているクラスタに属する矩形状領域の幅に予め定めた方法で決められる値（例えば定数、あるいは幅に所定の実数係数を乗じた値）とすれよい。また、この場合は、当該分割した幅方向グループごとに、一つの幅方向グループに属する矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている矩形状領域を見出し、グループに分割することとしてもよい。

なお、一つの表に属するすべてのセルの幅と高さが必ずしも一定でない（例えばあるカラムは幅が広い、などがある）ことを考慮して、幅または高さごとにクラスタを生成してもよい。

この例では、制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その高さの情報により、認識した矩形状領域をクラスタに分類し、その分類の結果を、第１の分類結果として記憶部１２に格納する。また制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その幅の情報により、認識した矩形状領域をクラスタに分類し、その分類の結果を、第２の分類結果として記憶部１２に格納する。

そして制御部１１は、第１の分類結果を参照し、同じ分類に属する矩形状領域（実質的に共通の高さの矩形状領域）が、矩形状領域の幅方向、つまりスキャナ２の副走査方向に複数配列されているか否かを判断する。すなわち制御部１１は、分類の結果となった第２の分類結果のクラスタを順次選択して、選択したクラスタに複数の矩形状領域が分類されているときには、当該選択した第２の分類結果のクラスタに分類されている各矩形状領域の識別情報を得て、当該識別情報の一つを選択する。そして制御部１１は、選択した識別情報で特定される矩形状領域の座標情報を取得する。

制御部１１は、取得した座標情報が表す点の幅方向（Ｘ軸方向とする）に存在する、上記選択した第２の分類結果のクラスタに分類される（上記選択した識別情報を含む）識別情報で特定される矩形状領域を見出す。

また制御部１１は、この処理で見出された矩形状領域（つまり、Ｘ軸方向に一列に配列されている矩形状領域）を順次選択し、選択した矩形状領域の座標情報が表す点の高さ方向（Ｙ軸方向）に存在し、かつ、選択した矩形状領域と同じ第１の分類結果のクラスタに属する矩形状領域を見出す。

制御部１１は、この処理により、Ｘ軸方向に一列に配列されている、高さが実質的に共通している矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている、幅が実質的に共通している矩形状領域を見出す。そして制御部１１は、当該見出した、Ｙ軸方向に一列に配列されている矩形状領域の座標情報のＹ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＹ座標の値のリストで互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回るか否かを調べる。このしきい値は、例えば選択しているクラスタに属する矩形状領域の高さに予め定めた方法で決められる値（例えば定数）とする。

ここでも制御部１１は、Ｘ軸方向についてもグループに分割する処理を行ってもよい。この処理は、既に述べた処理と同様であり、繰り返しての説明となるので省略する。

制御部１１は、この処理により、高さや幅が共通している矩形状領域が格子状に続いて（間隔を置かずに）配列されている部分を見出して表として認識し、また、当該格子状に配列された矩形状領域を表のセルとして認識する。

あるいは制御部１１は、高さが共通している矩形状領域がＸ軸方向に続いて（間隔を置かずに）配列されている部分を見出し、当該見出した配列に含まれる矩形状領域の各々について、幅が共通している矩形状領域がＹ軸方向に続いて（間隔を置かずに）配列されている部分を見出して、当該見出した部分を一つの表として認識する。また、当該表として認識された部分に含まれる矩形状領域を当該表のセルとして認識する。

この方法によっても、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく、比較的処理負荷の低い方法で認識できる。

［実施形態の効果］
本実施の形態によると、光学的に読み取られた帳票の記入枠の領域を、罫線の有無に関わらず、人為的操作なく認識できる。また、表組の項目名と本体とを区別して、記入枠の領域を、認識できる。

１情報処理装置、２スキャナ、１１制御部、１２記憶部、１３操作部、１４表示部、１５インタフェース部、２１受入部、２２記入枠候補抽出部、２３第１認識部、２４第１グループ化部、２５第２認識部、２６第２グループ化部、２７記入枠認識部、２８情報出力部。

Claims

帳票の画像データを受け入れる手段と、
前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、
前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、
前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、
前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、
前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、
前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、
を有する情報処理装置。
請求項１に記載の情報処理装置であって、
前記所定の処理は、前記記入枠に含まれる画像データに基づく文字認識処理を含む情報処理装置。
請求項１または２に記載の情報処理装置であって、
前記第１認識手段は、前記帳票の画像データの前記第１の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する情報処理装置。
請求項１から３のいずれか一項に記載の情報処理装置であって、
前記第２認識手段は、前記帳票の画像データの前記第２の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する情報処理装置。
請求項３または４に記載の情報処理装置であって、
前記所定の基準は、
複数の前記外接矩形に含まれる一対の外接矩形間の距離に基づく基準、または
複数の前記外接矩形の形状に基づく基準、
の少なくとも一方の基準である情報処理装置。
コンピュータを、
帳票の画像データを受け入れる手段と、
前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、
前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、
前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、
前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、
前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、
前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、
として機能させるプログラム。