JP2016191989A - プログラム及び管理装置 - Google Patents

Abstract

【課題】レシートをスキャンして生成される画像データに対する画像処理をスムーズに実行し、特定の費用項目に対応する各情報を関連付けて電子的に管理可能な、プログラム及び管理装置を提供する。【解決手段】レシートに対応する画像データが、スキャナ装置におけるスキャンの主走査方向に一致する、画像データの水平方向の空白行領域によって区切られた複数の領域に、分割される。各領域のうち、領域のサイズが最大である最大領域が検出される。画像データの垂直方向において最大領域の下側に配置された第一領域に対する文字認識処理によって、第一領域に含まれる第一テキスト情報が取得される。第一テキスト情報に含まれる、特定の費用項目に対応する特定情報と、特定情報に対応する数値情報が関連付けて記憶部に記憶される。【選択図】図２

Description

本発明は、スキャナ装置によってスキャンされたレシートに対応する画像データを画像処理して取得される情報を管理するプログラムと管理装置に関する。

スキャナ装置を用いたスキャンによって生成される画像データを対象とした画像処理に関する技術が提案されている。例えば、特許文献１には、画像処理装置及び画像処理方法が開示されている。この画像処理装置及び画像処理方法では、文字を読み取る帳票がスキャナ等の入力部で電子化されることで、画像データが生成される。画像データに対して、領域分割処理が行われる。領域分割処理では、読み取った画像に含まれる、全ての黒画素の８連結領域が抽出され、予め予想される最大文字高さ及び文字幅に対して定められた閾値以下の大きさの８連結領域が文字と判定される。文字は隣接する文字と結合してテキスト領域を形成する。領域分割によって得られた領域データ中のテキスト領域が誤認識されたものである場合、そのテキスト領域は領域データから削除される。テキスト領域が誤認識されたものでない場合、各テキスト領域に対して文字の読取処理が行われる。

特開２００１−１３４７１２号公報

レシートをスキャンして生成される画像データから取得される所定の情報を電子的に管理する場合、レシートに対応する画像データに含まれる各種の情報のうち、サマリー情報を管理対象とすることが多い。ここで、サマリー情報とは、特定の費用項目に対応する特定情報と、これに対応する数値情報である。特定の費用項目としては、小計、税及び合計（小計＋税）が例示される。数値情報としては、前述したそれぞれの金額が例示される。

上述した管理システムにおいて、レシートの全体に対応する画像データを対象としたＯＣＲ（Optical Character Recognition）処理等の文字認識処理によって、その全体からテキスト情報を取得しても、利用する箇所は限定的である。即ち、レシートの全体に対応する画像データの全領域に対してＯＣＲ処理を実行すると、利用される可能性の低い領域までもが、ＯＣＲ処理の処理対象となる。その結果、解析速度が遅くなるといった問題が生じることがある。レシートの長さが長くなり、文字が記録された領域の面積が大きくなるに従い、解析速度の遅延は顕著な問題となる。

本発明は、レシートをスキャンして生成される画像データに対する画像処理をスムーズに実行し、特定の費用項目に対応する各情報を関連付けて電子的に管理可能な、プログラム及び管理装置を提供することを目的とする。

本発明の一側面は、スキャナ装置によってスキャンされたレシートに対応する画像データを画像処理して取得される情報を管理する管理装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記画像データを、前記スキャナ装置におけるスキャンの主走査方向に一致する、前記画像データの水平方向の空白行領域によって区切られた複数の領域に、分割する分割手段と、前記分割手段によって分割された前記各領域のうち、前記領域のサイズが最大である最大領域を検出する検出手段と、前記画像データの垂直方向において前記検出手段によって検出された前記最大領域の下側に配置された第一領域に対する文字認識処理によって、前記第一領域に含まれる第一テキスト情報を取得する第一取得手段と、前記第一取得手段によって取得された前記第一テキスト情報に含まれる、特定の費用項目に対応する特定情報と、前記特定情報に対応する数値情報と、を関連付けて記憶部に記憶する記憶手段と、して機能させるプログラムである。

これによれば、画像データを複数の領域に分割し、分割された各領域のうちの最大領域の下側に配置された第一領域を、文字認識処理の対象とすることができる。文字認識処理の処理対象となる領域を限定することができる。限定された領域から第一テキスト情報を取得し、これに含まれる特定情報と数値情報を関連付けて記憶部に記憶することができる。

このプログラムは、前記コンピュータを、前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれているかを判断する第一判断手段と、前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれていない場合、前記垂直方向において前記第一領域と隣り合う第二領域に対する文字認識処理によって、前記第二領域に含まれる第二テキスト情報を取得する第二取得手段と、して機能させ、前記記憶手段は、前記第二取得手段によって取得された前記第二テキスト情報に含まれる、前記特定情報と、前記数値情報と、を関連付けて前記記憶部に記憶する機能を含む、ようにしてもよい。これによれば、順次、文字認識処理の対象となる領域を特定し、特定情報と数値情報を記憶部に記憶することができる。

このプログラムは、前記コンピュータを、前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれていない場合、前記第一テキスト情報に、予め定められた文字パターンに対応する除外情報が含まれているかを判断する第二判断手段として機能させ、前記第二取得手段は、前記第一テキスト情報に前記除外情報が含まれていない場合、前記垂直方向において前記第一領域より下側に配置された前記第二領域としての下側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得し、前記第一テキスト情報に前記除外情報が含まれている場合、前記垂直方向において前記第一領域より上側に配置された前記最大領域のうち、前記垂直方向の下側端を含む、前記垂直方向の所定範囲である前記第二領域としての上側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する、機能を含む、ようにしてもよい。これによれば、除外情報の有無に従い、文字認識処理の対象となる領域を、スムーズに特定することができる。

このプログラムにおいて、前記第二取得手段は、前記第一テキスト情報に前記除外情報が含まれている場合、前記垂直方向において前記第一領域より上側に配置された前記最大領域のうち、前記垂直方向の下側端を含む、前記垂直方向の基準となる基準値の整数倍の範囲である前記上側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する機能を含む、ようにしてもよい。これによれば、最大領域の中から、文字認識処理の対象とする上側第二領域を、スムーズに特定することができる。

このプログラムは、前記コンピュータを、前記第一取得手段によって取得された前記第一テキスト情報に含まれる前記特定情報に、第一特定情報が含まれ、前記第一特定情報とは異なる第二特定情報が含まれていない場合、前記下側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する第三取得手段として機能させ、前記第二判断手段は、前記第一取得手段によって取得された前記第一テキスト情報に、前記第一特定情報と前記第二特定情報とが含まれていない場合、前記第一テキスト情報に前記除外情報が含まれているかを判断し、前記第一取得手段によって取得された前記第一テキスト情報に、前記第一特定情報が含まれ、前記第二特定情報が含まれていない場合、前記第一テキスト情報に前記除外情報が含まれているかを判断しない、機能を含み、前記記憶手段は、前記第一取得手段によって取得された前記第一テキスト情報に含まれる前記第一特定情報と、前記第一特定情報に対応する第一数値情報と、を関連付け、前記第三取得手段によって取得された前記第二テキスト情報に含まれる前記第二特定情報と、前記第二特定情報に対応する第二数値情報と、を関連付け、更に、前記第一特定情報及び前記第一数値情報と、前記第二特定情報及び前記第二数値情報と、を関連付けて前記記憶部に記憶する機能を含む、ようにしてもよい。これによれば、一部の特定情報と数値情報が記憶部に記憶されないといった事態を回避し、全ての特定情報と数値情報を互いに関連付けて記憶することができる。

このプログラムにおいて、前記検出手段は、前記分割手段によって分割された前記複数の領域のうち、前記垂直方向の中央部より上側に配置される領域と、前記垂直方向の中央部を含む領域と、を対象として、前記最大領域を検出する機能を含む、ようにしてもよい。これによれば、第一領域の特定の基準となる最大領域の検出をスムーズに実行することができる。

このプログラムにおいて、前記分割手段は、前記画像データを、前記レシートに記録されたオブジェクトを示す色値を有する第一画素を含まない第二画素が前記水平方向に整列した画素列が、前記水平方向に亘って配置され、且つ前記垂直方向に所定列数以上連続する前記空白行領域によって区切られた前記複数の領域に、分割する機能を含む、ようにしてもよい。これによれば、画像データを複数の領域に分割する際の基準となる空白行領域をスムーズに特定することができる。空白行領域によって、画像データを複数の領域に分割することができる。

このプログラムは、前記コンピュータを、前記垂直方向における前記画像データのサイズを取得する第四取得手段と、前記第四取得手段によって取得された前記画像データのサイズが基準となる基準サイズより小さい場合、前記画像データの全領域に対する文字認識処理によって、前記全領域に含まれる第三テキスト情報を取得する第五取得手段と、して機能させ、前記分割手段は、前記第四取得手段によって取得された前記画像データのサイズが前記基準サイズより小さい場合、前記画像データを前記複数の領域に分割しない機能を含み、前記記憶手段は、前記第五取得手段によって取得された前記第三テキスト情報に含まれる、前記特定情報と、前記数値情報と、を関連付けて前記記憶部に記憶する機能を含む、ようにしてもよい。これによれば、垂直方向における画像データのサイズに応じて、処理を適宜選択することができる。

本発明の他の側面は、スキャナ装置によってスキャンされたレシートに対応する画像データを画像処理して取得される情報を管理する管理装置であって、前記画像データを、前記スキャナ装置におけるスキャンの主走査方向に一致する、前記画像データの水平方向の空白行領域によって区切られた複数の領域に、分割する分割手段と、前記分割手段によって分割された前記各領域のうち、前記領域のサイズが最大である最大領域を検出する検出手段と、前記画像データの垂直方向において前記検出手段によって検出された前記最大領域の下側に配置された第一領域に対する文字認識処理によって、前記第一領域に含まれる第一テキスト情報を取得する第一取得手段と、前記第一取得手段によって取得された前記第一テキスト情報に含まれる、特定の費用項目に対応する特定情報と、前記特定情報に対応する数値情報と、を関連付けて記憶部に記憶する記憶手段と、を備える管理装置である。

これによれば、上記の対応するプログラムと同様の作用が実現される。この管理装置は、上記のプログラムと同様、他の機能が実現される管理装置として特定することもできる。

本発明によれば、レシートをスキャンして生成される画像データに対する画像処理をスムーズに実行し、特定の費用項目に対応する各情報を関連付けて電子的に管理可能な、プログラム及び管理装置を得ることができる。

管理システムの一例を示す図である。 画像処理の第一部分のフローチャートである。 画像処理の第二部分のフローチャートである。 第一例のレシートを示す図である。第一例のレシートをスキャンして生成される画像データによるレシート画像にも対応する。 データベースの一例を示す図である。 最大領域処理のフローチャートである。 第二例のレシートを示す図である。第二例のレシートをスキャンして生成される画像データによるレシート画像にも対応する。 全領域処理のフローチャートである。 第三例のレシートを示す図である。第三例のレシートをスキャンして生成される画像データによるレシート画像にも対応する。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。他の構成を含むようにしてもよい。

＜管理システム＞
管理システム１０について、図１を参照して説明する。管理システム１０は、管理装置２０と、スキャナ装置３０を含む。管理システム１０において、管理装置２０とスキャナ装置３０は、通信ケーブル１１によって接続される。管理装置２０とスキャナ装置３０の間では、通信ケーブル１１を介してデータ通信が行われる。例えば、スキャナ装置３０によって生成された画像データが、通信ケーブル１１を介して管理装置２０に送信される。画像データは、読取媒体のスキャン対象面に対応するデータである。管理装置２０では、スキャナ装置３０から送信された前述の画像データが受信され、管理装置２０は、これを取得する。

管理装置２０では、取得された画像データに対する画像処理が実行される。管理装置２０は、例えば、パーソナルコンピュータのような情報処理装置である。管理装置２０で実行される画像処理については後述する。スキャナ装置３０では、読取媒体がスキャンされ、スキャンされた読取媒体に対応する画像データが生成される。実施形態では、スキャン対象の読取媒体は、レシートである。レシートは、所定の物品を購入した際、又は所定のサービスを受けた際、精算時に店員等から渡される。レシートには、各種の情報が、複数の領域に分かれて記録されている（後述する図４、図７及び図９参照）。

＜管理装置＞
管理装置２０は、図１に示すように、ＣＰＵ２１と、記憶装置２２と、ＲＡＭ２３と、表示部２４と、操作部２５と、通信部２６を備える。これら各部２１〜２６は、通信可能に接続される。ＣＰＵ２１は、演算処理を実行する。記憶装置２２は、コンピュータが読み取り可能な記憶媒体によって構成される。例えば、記憶装置２２は、ハードディスク及び／又はフラッシュメモリによって構成される。この他、記憶装置２２は、ＲＯＭを含むものであってもよい。記憶装置２２には、各種のプログラムが記憶される。例えば、記憶装置２２には、ＯＳ（Operating System）と各種のアプリケーションが記憶される。記憶装置２２に記憶されるアプリケーションには、後述する画像処理（図２及び図３参照）と、最大領域処理（図３のＳ３５及び図６参照）と、全領域処理（図３のＳ４１及び図８参照）の各プログラムと、文字認識処理のプログラムが含まれる。文字認識処理としては、ＯＣＲ処理が例示される。

例えば、アプリケーションは、記憶装置２２に事前にインストールされる。事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、管理装置２０の読取部（不図示）によって読み取られることで行われる。管理装置２０が、例えば、光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、管理装置２０がインターネットのようなネットワーク（不図示）に接続されている場合、事前のインストールは、このネットワークに接続されたサーバ装置のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信部２６で伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮して適宜決定される。コンピュータが読み取り可能な記憶媒体は、一時的な記憶媒体（例えば、伝送信号）を含まない、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。この他、記憶装置２２には、画像処理のプログラムに関連付けて、後述する図５に示すデータベースが記憶される。データベースについては後述する。

ＲＡＭ２３は、ＣＰＵ２１が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ２３には、処理の実行途中に、処理で利用される所定のデータと情報が、所定の記憶領域に記憶される。管理装置２０では、ＣＰＵ２１が、記憶装置２２に記憶されたＯＳ及び上述した各プログラム（図２及び図３と図６と図８参照）を実行する等して、管理装置２０を制御する。これにより、管理装置２０では、各種の機能手段が実現される。

表示部２４は、例えば、液晶ディスプレイである。表示部２４には、各種の情報が表示される。操作部２５は、管理装置２０に対する各種の指示等の入力を受け付ける。例えば、操作部２５は、スキャン動作の開始指示の入力を受け付ける。操作部２５は、例えば、キーボード及びマウスを含む。詳細は省略するが、キーボード及びマウスへの各操作に対応する操作情報を生成する処理は、例えば、公知のパーソナルコンピュータで採用されている技術であり、管理装置２０でも採用される。

通信部２６には、通信ケーブル１１が接続される。通信部２６は、通信ケーブル１１を介したスキャナ装置３０との間のデータ通信を行う。例えば、管理装置２０では、通信部２６を介してスキャナ装置３０から送信される画像データが受信される。通信部２６は、例えば、ＵＳＢ（Universal Serial Bus）規格又はイーサネット（登録商標）規格に適合するインターフェース回路である。通信部２６がイーサネット（登録商標）規格に適合するインターフェース回路であるとする。この場合、スキャナ装置３０との接続は、有線接続又は無線接続の何れであってもよい。

管理装置２０は、図２及び図３と図６と図８に示す各処理のプログラムが記憶装置２２に記憶されている点が、公知の管理装置と相違する。但し、管理装置２０は、ハードウェア的には、公知の管理装置と同様の情報処理装置である。従って、上記では説明を省略したが、管理装置２０は、上述した各部２１〜２６の他、公知の管理装置が備える構成を備える。

＜スキャナ装置＞
スキャナ装置３０は、図１に示すように、ＣＰＵ３１と、記憶装置３２と、ＲＡＭ３３と、搬送部３４と、イメージセンサ３５と、通信部３６と、表示部３７と、操作部３８を備える。これら各部３１〜３８は、通信可能に接続される。ＣＰＵ３１は、演算処理を実行する。記憶装置３２は、コンピュータが読み取り可能な記憶媒体によって構成される。例えば、記憶装置３２は、フラッシュメモリによって構成される。記憶装置３２には、各種のプログラムが記憶される。例えば、記憶装置３２に記憶されるプログラムには、スキャン動作に応じて、画像データを生成するプログラムが含まれる。

ＲＡＭ３３は、ＣＰＵ３１が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ３３には、処理の実行途中に、処理で利用される所定のデータが、所定の記憶領域に記憶される。例えば、ＲＡＭ３３には、生成された画像データが記憶される。スキャナ装置３０では、ＣＰＵ３１が、記憶装置３２に記憶されたプログラムを実行する等して、スキャナ装置３０を制御する。これにより、スキャナ装置３０では、各種の機能手段が実現される。

搬送部３４は、スキャナ装置３０にセットされた読取媒体を搬送する。実施形態における読取媒体は、上述した通り、レシートである。イメージセンサ３５は、ＣＩＳ方式のイメージセンサである。但し、イメージセンサ３５は、ＣＣＤ方式のイメージセンサであってもよい。

通信部３６には、通信ケーブル１１が接続される。通信部３６は、通信ケーブル１１を介した管理装置２０との間のデータ通信を行う。例えば、スキャナ装置３０では、通信部３６から画像データが管理装置２０に送信される。通信部３６は、通信部２６と同様の構成である。従って、通信部３６に関するこの他の説明は省略する。表示部３７には、各種の情報が表示される。操作部３８では、各種のボタンを含み、各種の指示等の入力を受け付ける。表示部３７と操作部３８は、タッチパネルであってもよい。

スキャナ装置３０は、ハードウェア的には、例えば、シートフィードスキャナ、フラットベッドスキャナ等の公知のスキャナ装置である。従って、上記では説明を省略したが、スキャナ装置３０は、上述した各部３１〜３８の他、公知のスキャナ装置が備える構成を備える。

＜画像処理＞
管理装置２０で実行される画像処理について、図２及び図３を参照して説明する。画像処理は、読取媒体としてのレシートに対応する画像データに含まれるテキスト情報から、特定のサマリー情報を検出し、データベースに記憶する処理である。テキスト情報は、レシートに記録された文字に対応する。特定のサマリー情報は、特定の費用項目に対応する特定情報と、この特定情報に対応する数値情報である。実施形態では、特定の費用項目は、「ＳＵＢＴＯＴＡＬ」と、「９．２５％ ＴＡＸ」と、「７．２５％ ＴＡＸ」と、「ＴＯＴＡＬ」とする。従って、特定情報及び数値情報の組み合わせは、「ＳＵＢＴＯＴＡＬ」及び「金額（小計額）」と、「９．２５％ ＴＡＸ」及び「金額（税額）」と、「７．２５％ ＴＡＸ」及び「金額（税額）」と、「ＴＯＴＡＬ」及び「金額（合計額）」である。データベースには、入力項目として、「ＳＵＢＴＯＴＡＬ」と「９．２５％ ＴＡＸ」と「７．２５％ ＴＡＸ」と「ＴＯＴＡＬ」が関連付けて記憶されている（図５参照）。レシートに含まれる、特定の費用項目ではない費用項目に関する情報としては、物品名とその物品の金額（価格）の組み合わせが例示される。画像処理のプログラムには、特定の費用項目が登録されている。

ユーザは、開始指示の入力に際し、費用項目を含む各情報が記録されたレシートの面がスキャン対象となる状態で、レシートをスキャナ装置３０にセットする。その後、ユーザは、操作部２５を操作し、スキャンの開始指示を入力する。開始指示は、操作部２５で受け付けられる。ＣＰＵ２１は、この開始指示を操作部２５から取得する。ＣＰＵ２１は、開始指示の送信を制御する。即ち、ＣＰＵ２１は、開始指示の送信指令を通信部２６に出力する。開始指示の送信先は、スキャナ装置３０である。これに伴い、開始指示が、通信部２６からスキャナ装置３０に送信される。

スキャナ装置３０では、ＣＰＵ３１が、通信部３６を介して開始指示を取得したことに応じて、スキャン動作が開始される。これに伴い、搬送部３４が駆動し、スキャナ装置３０にセットされたレシートが搬送される。スキャナ装置３０では、レシートに対するスキャン動作に応じて、上述したレシートの面に対応する画像データが生成される。スキャナ装置３０では、生成された画像データが、通信部３６から管理装置２０に送信される。スキャンの開始指示は、スキャナ装置３０において、直接、入力されるようにしてもよい。この場合、ユーザは、上述したように、レシートをスキャナ装置３０にセットした後、スキャナ装置３０を操作し、スキャンの開始指示を入力する。開始指示は、操作部３８で受け付けられる。ＣＰＵ３１は、操作部３８を介して開始指示を取得し、スキャン動作を開始させる。

実施形態では、次の事項を前提とする。即ち、レシートは、図４と後述する図７及び図９に示すように、長尺であるとする。レシートは、レシートの長手方向に沿って搬送される。スキャナ装置３０では、図４と後述する図７及び図９に示す状態の画像データが生成される。レシートの長手方向に直交する方向を、「短手方向」という。レシートの長手方向及び短手方向と、画像データの垂直方向及び水平方向の関係は、図４と後述する図７及び図９の通りである。即ち、図４、図７及び図９を正面視したときの上下方向が、レシートの長手方向に対応し、画像データの垂直方向に対応する。従って、画像データの垂直方向は、レシートの長手方向に一致する。図４、図７及び図９を正面視したときの左右方向が、レシートの短手方向に対応し、画像データの短手方向に対応する。従って、画像データの短手方向は、レシートの短手方向に一致する。レシートの長手方向と画像データの垂直方向に関し、上側及び下側についても、図４と後述する図７及び図９の通りである。即ち、図４、図７及び図９を正面視したときの上側が、長手方向及び垂直方向の各上側に対応し、これら各図を正面視したときの下側が、長手方向及び垂直方向の各下側に対応する。また、画像データの垂直方向の下側は、レシートに記録されている文字の下側と一致する。レシートにおいて、文字は、水平方向に配置され、且つ垂直方向において複数行に亘って記録されている。従って、スキャナ装置３０で生成される画像データにおいても、テキスト情報は、水平方向に配置され、且つ垂直方向において複数行に亘って配置される。画像データの水平方向は、スキャナ装置３０におけるスキャンの主走査方向に一致する。画像データの垂直方向は、レシートが搬送される方向に対応する。

管理装置２０では、スキャナ装置３０からの画像データが、通信部２６で受信される。ＣＰＵ２１は、通信部２６を介して画像データを取得する。ＣＰＵ２１は、画像データの取得を条件として、画像処理を開始する。画像処理を開始させたＣＰＵ２１は、画像データを２値化する（Ｓ１１）。２値化の閾値は、画像データに含まれるテキスト情報が抽出可能な値に、適宜設定される。取得された画像データが、例えば、カラーの画像データであるとする。この場合、ＣＰＵ２１は、画像データをグレースケールの画像データに変換し、グレースケールに変換された画像データを対象として、２値化するようにしてもよい。画像データをグレースケールに変換する処理及び２値化する処理は、これら各処理に対応する公知の画像処理技術を採用することができる。そのため、グレースケールに変換する処理及び２値化する処理に関する説明は省略する。２値化後の画像データは、ＲＡＭ２３の所定の記憶領域に記憶される。

次に、ＣＰＵ２１は、２値化後の画像データのサイズ（例えば画素数）を取得する（Ｓ１３）。取得対象となるサイズは、垂直方向における画像データのサイズである。続けて、ＣＰＵ２１は、Ｓ１３で取得された垂直方向のサイズが基準となる基準サイズ以上であるかを判断する（Ｓ１５）。基準サイズは、諸事情を考慮して適宜設定される。例えば、基準サイズは、水平方向における画像データのサイズの１．５倍に設定される。この場合、ＣＰＵ２１は、Ｓ１５の判断に際し、前述した画像データの水平方向のサイズを取得する。

垂直方向のサイズが基準サイズ未満である場合（Ｓ１５：Ｎｏ）、ＣＰＵ２１は、処理を図３のＳ４１に移行する。垂直方向のサイズが基準サイズ以上である場合（Ｓ１５：Ｙｅｓ）、ＣＰＵ２１は、２値化後の画像データを、空白行領域によって区切られた複数の領域に分割する（Ｓ１７）。空白行領域は、第一画素を含まない第二画素が水平方向に整列した画素列が、水平方向に亘って配置され、且つ垂直方向に所定列数以上連続する領域である。第一画素は、例えば、レシートに記録されたオブジェクト（例えば、文字）を示す色値を有する画素である。前述のオブジェクトを示す色値は、任意の色であってよいが、例えば、２値化後の画像データにおいては黒色の色値に対応する。また、空白行の特定を精度よく行うために、所定のノイズ除去処理（例えば、メディアンフィルタ、オープニング処理）が実行されてもよい。

例えば、２値化後の画像データが、図４に示すレシートに対応するとする。この場合、ＣＰＵ２１は、空白行領域Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８のそれぞれによって、２値化後の画像データを、９個の領域に分割する。図４に示す破線と１点鎖線による中心線Ｍは、レシートに記録された情報ではない。破線は、空白行領域と分割領域の境界位置を明示するものである。中心線Ｍは、画像データ（レシート画像）の垂直方向の中心位置を明示するものである。実施形態では、図４に基づいた９個の領域を、「分割領域Ｒ１」、「分割領域Ｒ２」、「分割領域Ｒ３」、「分割領域Ｒ４」、「分割領域Ｒ５」、「分割領域Ｒ６」、「分割領域Ｒ７」、「分割領域Ｒ８」及び「分割領域Ｒ９」という。

実施形態における「空白行領域」は、空白行領域Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８と後述する空白行領域Ｌ９（図７参照）、及び／又はこれら以外の空白行領域を、区別せず又は総称するものである。実施形態における「分割領域」は、分割領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９と後述する分割領域Ｒ１０，Ｒ１８（図７及び図９参照）、及び／又はこれら以外の分割領域を、区別せず又は総称するものである。２値化後の画像データから、複数の分割領域のそれぞれを特定する情報は、ＲＡＭ２３の所定の記憶領域に記憶される。前述の情報としては、座標情報が例示される。実施形態では、座標情報を例に説明する。

次に、ＣＰＵ２１は、Ｓ１７で分割された複数の分割領域のうち、第一条件又は第二条件を満足する分割領域を対象として、サイズが最も大きい最大領域を検出する（Ｓ１９）。前述の第一条件は、画像データの垂直方向の中央部より上側に配置されていることである。前述の第二条件は、画像データの垂直方向の中央部を含む領域である。画像データは、水平方向のサイズが垂直方向に一定である。従って、最大領域としては、前述した第一条件又は第二条件を満足する分割領域のうち、垂直方向のサイズが最も大きな分割領域が検出される。Ｓ１９における最大領域の検出を、図４に基づき説明する。この場合、第一条件又は第二条件を満足する分割領域は、分割領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９のうち、分割領域Ｒ１，Ｒ２，Ｒ３である。従って、分割領域Ｒ１，Ｒ２，Ｒ３のうち、分割領域Ｒ３が最大領域として検出される。

続けて、ＣＰＵ２１は、垂直方向において最大領域の下側に配置された分割領域を、処理対象の分割領域として特定する（Ｓ２１）。図４に基づき説明する。Ｓ１９では、上述した通り、最大領域として、分割領域Ｒ３が検出される。従って、Ｓ２１では、２値化後の画像データで、分割領域Ｒ３の垂直方向の下側に配置された分割領域Ｒ４が、処理対象の分割領域として特定される。この特定は、Ｓ１９でＲＡＭ２３の所定の記憶領域に記憶された座標情報に従って行われる。

ＣＰＵ２１は、Ｓ２１で特定された分割領域を対象として、文字認識処理を実行する（Ｓ２３）。実施形態では、文字認識処理として、パターンマッチング法等の公知のＯＣＲ処理が実行される。従って、文字認識処理（ＯＣＲ処理）の詳細については省略する。ＣＰＵ２１は、Ｓ２３での文字認識処理によって、処理対象とされた分割領域に含まれるテキスト情報を取得する。但し、処理対象とされた分割領域が、例えば、図４における分割領域Ｒ９のように、文字を含まない場合、テキスト情報は、取得されない。文字認識処理によって取得されたテキスト情報は、ＲＡＭ２３の所定の記憶領域に記憶される。

Ｓ２３を実行した後、ＣＰＵ２１は、取得されたテキスト情報に、特定情報が含まれるかを判断する（Ｓ２５）。Ｓ２５では、特定情報が１個も含まれていない場合、特定情報は含まれていないと判断され（Ｓ２５：Ｎｏ参照）、少なくとも１個の特定情報が含まれている場合、特定情報は含まれていると判断される（Ｓ２５：Ｙｅｓ参照）。例えば、特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５％ ＴＡＸ」と「７．２５％ ＴＡＸ」と「ＴＯＴＡＬ」の何れも、Ｓ２３で取得されたテキスト情報に含まれていない場合、Ｓ２５は否定（Ｓ２５：Ｎｏ参照）される。これに対して、例えば、特定情報「ＳＵＢＴＯＴＡＬ」がＳ２３で取得されたテキスト情報に含まれている場合、特定情報「９．２５％ ＴＡＸ」、「７．２５％ ＴＡＸ」及び／又は「ＴＯＴＡＬ」の有無に関わらず、Ｓ２５は肯定（Ｓ２５：Ｙｅｓ参照）される。

特定情報が含まれていない場合（Ｓ２５：Ｎｏ）、ＣＰＵ２１は、処理を図３のＳ３３に移行する。特定情報が含まれている場合（Ｓ２５：Ｙｅｓ）、ＣＰＵ２１は、Ｓ２３で取得されたテキスト情報に含まれる特定情報と、この特定情報に対応する数値情報を関連付けて、ＲＡＭ２３の所定の記憶領域に記憶する（Ｓ２７）。実施形態では、特定情報と数値情報が関連付けて記憶されるＲＡＭ２３の記憶領域を、他のデータがそれぞれ記憶される記憶領域と区別するため、「一時領域」といい、一時領域への記憶を「一時記憶」という。続けて、ＣＰＵ２１は、全ての特定情報が一時領域に一時記憶されているかを判断する（Ｓ２９）。全ての特定情報が一時領域に一時記憶されていない場合（Ｓ２９：Ｎｏ）、ＣＰＵ２１は、処理を図３のＳ３７に移行する。全ての特定情報が一時領域に一時記憶されている場合（Ｓ２９：Ｙｅｓ）、ＣＰＵ２１は、一時領域に一時記憶されている特定情報と数値情報を関連付けて、データベースに記憶する（Ｓ３１）。その後、ＣＰＵ２１は、画像処理を終了する。

図４に基づきＳ２９とＳ３１を説明する。図４では、特定情報と数値情報の組み合わせは次の通りである。即ち、特定情報「ＳＵＢＴＯＴＡＬ」に対応する数値情報は、「＄１００．０２」である。特定情報「９．２５％ ＴＡＸ」に対応する数値情報は、「＄４．６２」である。特定情報「７．２５％ ＴＡＸ」に対応する数値情報は、「＄３．７５」である。特定情報「ＴＯＴＡＬ」に対応する数値情報は、「＄１０８．３９」である。Ｓ２９でＣＰＵ２１は、特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５ ＴＡＸ」と「７．２５ ＴＡＸ」と「ＴＯＴＡＬ」の全てが、一時領域に記憶されていない場合、判断を否定する（Ｓ２９：Ｎｏ）。この場合、ＣＰＵ２１は、処理を図３のＳ３７に移行する。Ｓ２９でＣＰＵ２１は、特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５ ＴＡＸ」と「７．２５ ＴＡＸ」と「ＴＯＴＡＬ」の全てが、一時領域に一時記憶されている場合、判断を肯定する（Ｓ２９：Ｙｅｓ）。

Ｓ２９が肯定された場合（Ｓ２９：Ｙｅｓ）、Ｓ３１でＣＰＵ２１は、特定情報「ＳＵＢＴＯＴＡＬ」と数値情報「＄１００．０２」を関連付けて、データベースに記憶する（図５参照）。ＣＰＵ２１は、特定情報「９．２５％ ＴＡＸ」と数値情報「＄４．６２」を関連付けて、データベースに記憶する（図５参照）。ＣＰＵ２１は、特定情報「７．２５％ ＴＡＸ」と数値情報「＄３．７５」を関連付けて、データベースに記憶する（図５参照）。ＣＰＵ２１は、特定情報「ＴＯＴＡＬ」と数値情報「＄１０８．３９」を関連付けて、データベースに記憶する（図５参照）。その際、データベースでは、今回記憶された数値情報「＄１００．０２」と「＄４．６２」と「＄３．７５」と「＄１０８．３９」は、例えば、同一のレコードに記憶される等して、互いに関連付けられる（図５参照）。

図３に示すＳ３３でＣＰＵ２１は、Ｓ２３の文字認識処理で取得され、ＲＡＭ２３の所定の記憶領域に記憶されたテキスト情報に、除外情報が含まれているかを判断する。除外情報は、予め定められた文字パターンに対応する情報である。予め定められた文字パターンとしては、電話番号と、日付と、ＵＲＬが例示される。電話番号の文字パターンとしては、任意の数字が括弧やハイフン等の特定の文字で区切られたパターン（例えば、「（＊＊＊）＊＊＊−＊＊＊」（但し、「＊」は任意の数字一文字））が例示される。日付の文字パターンとしては、任意の数字がスラッシュや「月」「日」等の特定の文字で区切られたパターン（例えば、「＊＊／＊＊／＊＊」）が例示される。なお、「Ｍａｒ．」等、特定の月を表す任意の文字列を、予め定められた文字パターンとしてもよい。ＵＲＬの文字パターンとしては、「ｗｗｗ」を含み、任意の文字が「．」で区切られたパターン（例えば、「ｗｗｗ．＊＊＊．＊＊＊」）が例示される。１種類の文字パターンについて、複数のパターンを定義するようにしてもよい。例えば、日付について、前述した例に加え、「＊＊＊ ＊＊，＊＊＊＊」を定義するようにしてもよい。電話番号の文字パターン「（＊＊＊）＊＊＊−＊＊＊」に対応する除外情報としては、「（０００）０００−００００」が例示される。日付の文字パターン「＊＊／＊＊／＊＊」に対応する除外情報としては、「０１／２０／１３」が例示される。ＵＲＬの文字パターン「ｗｗｗ．＊＊＊．＊＊＊」に対応する除外情報としては、「ｗｗｗ．ＸＸＸＸ−Ｓｔｏｒｅ．ｃｏｍ」が例示される。

除外情報が含まれている場合（Ｓ３３：Ｙｅｓ）、ＣＰＵ２１は、最大領域処理を実行する（Ｓ３５）。最大領域処理については後述する。その後、ＣＰＵ２１は、画像処理を終了する。除外情報が含まれていない場合（Ｓ３３：Ｎｏ）、ＣＰＵ２１は、処理をＳ３７に移行する。Ｓ３７でＣＰＵ２１は、垂直方向において、処理対象とされている分割領域の下側に分割領域が配置されているかを判断する（Ｓ３７）。図４に基づき説明する。処理対象とされている分割領域は、「分割領域Ｒ４」であるとする。この場合、処理対象とされている分割領域Ｒ４の下側に配置された分割領域は、分割領域Ｒ５である。この特定は、Ｓ１９でＲＡＭ２３の所定の記憶領域に記憶された座標情報に従って行われる。

下側に分割領域が配置されている場合（Ｓ３７：Ｙｅｓ）、ＣＰＵ２１は、下側の分割領域を、新たな処理対象の分割領域として特定する（Ｓ３９）。Ｓ３９を実行した後、ＣＰＵ２１は、処理を図２のＳ２３に戻す。ＣＰＵ２１は、新たな分割領域を処理対象として、Ｓ２３以降の処理を繰り返して実行する。Ｓ２３の実行に際し、ＣＰＵ２１は、先の処理対象の分割領域に対する文字認識処理で取得されたテキスト情報を、ＲＡＭ２３の所定の記憶領域から消去する。ＣＰＵ２１は、再度実行される、新たな分割領域に対応する文字認識処理によって取得されたテキスト情報を、ＲＡＭ２３の所定の記憶領域に記憶する。

下側に分割領域が配置されていない場合（Ｓ３７：Ｎｏ）、ＣＰＵ２１は、処理をＳ４１に移行する。Ｓ４１でＣＰＵ２１は、全領域処理を実行する。全領域処理については後述する。その後、ＣＰＵ２１は、画像処理を終了する。

＜最大領域処理＞
図３のＳ３５で実行される最大領域処理について、図６を参照して説明する。最大領域処理を開始させたＣＰＵ２１は、最大領域を複数の領域に再分割する（Ｓ５１）。最大領域は、図２のＳ１９で検出された分割領域である。最大領域は、例えば、空白行領域の垂直方向のサイズを基準として、再分割される。例えば、空白行領域の垂直方向のサイズのＮＡ倍の各領域に、再分割される。「ＮＡ」は、諸事情を考慮して、所定の整数に適宜設定される。例えば、「ＮＡ」は「５」に設定される。再分割の基準位置は、垂直方向の下側とされ、垂直方向の下側から、例えば、空白行領域のＮＡ倍の各領域に再分割される。この場合、再分割された各領域において、垂直方向の最も上側の領域の垂直方向のサイズは、空白行領域のＮＡ倍より小さくなることがある（図７で符号「Ｒ１７」の領域参照）。

更に、空白行領域の垂直方向のサイズは、例えば、次のようにして設定される。即ち、前述のサイズは、２値化後の画像データに含まれる空白行領域のうち、垂直方向のサイズが最も小さな空白行領域を対象として設定される。この他、前述のサイズは、２値化後の画像データの水平方向のサイズを基準として設定するようにしてもよい。例えば、２値化後の画像データの水平方向のサイズの１／ＮＢを、前述のサイズとして設定するようにしてもよい。「ＮＢ」は、例えば、レシートにおける１行の文字数を考慮して適宜設定される。例えば、「ＮＢ」は、２０〜６０の範囲の所定の値に設定される。実施形態では、Ｓ５１で再分割された領域を「再分割領域」という。

図２のＳ１１での２値化後の画像データが、図７に示すレシートに対応するとする。図２のＳ１９で最大領域として、図７に示す「分割領域Ｒ１０」が検出され、垂直方向のサイズが最も小さな空白行領域が、「空白行領域Ｌ９」であったとする。上述したＮＡは、「５」に設定されていたとする。この場合、Ｓ５１で、最大領域としての分割領域Ｒ１０は、垂直方向の下側から、複数の再分割領域Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６，Ｒ１７に、再分割される。図７に示す破線は、レシートに記録された情報ではない。破線は、分割領域Ｒ１０の境界位置と、再分割領域Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６，Ｒ１７の境界位置を明示するものである。実施形態における「再分割領域」は、再分割領域Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６，Ｒ１７、及び／又はこれ以外の再分割領域を、区別せず又は総称するものである。複数の再分割領域のそれぞれを特定する情報は、ＲＡＭ２３の所定の記憶領域に記憶される。実施形態では、この情報は、図２及び図３に示す画像処理の分割領域の場合と同様、座標情報とする。

次に、ＣＰＵ２１は、複数の再分割領域のうち、垂直方向において最も下側に配置された再分割領域を、処理対象の再分割領域として特定する（Ｓ５３）。ここで特定される再分割領域は、最大領域である分割領域の垂直方向の下側端を含む再分割領域である。図７に基づけば、垂直方向において最も下側に配置された再分割領域Ｒ１１が、処理対象の再分割領域として特定される。この特定は、Ｓ５１でＲＡＭ２３の所定の記憶領域に記憶された座標情報に従って行われる。

ＣＰＵ２１は、Ｓ５３で特定された再分割領域を対象として、文字認識処理を実行する（Ｓ５５）。実施形態では、図２のＳ２３と同様、文字認識処理として、公知のＯＣＲ処理が実行される。従って、文字認識処理（ＯＣＲ処理）の詳細については省略する。ＣＰＵ２１は、Ｓ５５での文字認識処理によって、処理対象とされた再分割領域に含まれるテキスト情報を取得する。但し、処理対象とされた再分割領域が、文字を含まない場合、テキスト情報は、取得されない。文字認識処理によって取得されたテキスト情報は、ＲＡＭ２３の所定の記憶領域に記憶される。

Ｓ５５を実行した後、ＣＰＵ２１は、取得されたテキスト情報に、特定情報が含まれるかを判断する（Ｓ５７）。Ｓ５７は、図２のＳ２５と同様の処理であり、ＣＰＵ２１は、Ｓ５７を上記同様に実行する。Ｓ５３で、処理対象の再分割領域として、図７に示す再分割領域Ｒ１１が特定されていたとする。この場合、Ｓ５５の文字認識処理で取得されるテキスト情報は、特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５ ＴＡＸ」と「７．２５ ＴＡＸ」と「ＴＯＴＡＬ」を含む。従って、Ｓ５７は肯定（Ｓ５７：Ｙｅｓ）される。Ｓ５７は、図２のＳ２５と同様、Ｓ５５の文字認識処理で取得されるテキスト情報に、特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５ ＴＡＸ」と「７．２５ ＴＡＸ」と「ＴＯＴＡＬ」の何れも含まれていない場合、否定（Ｓ５７：Ｎｏ参照）され、少なくとも１個の特定情報が含まれている場合、肯定（Ｓ５７：Ｙｅｓ参照）される。

特定情報が含まれていない場合（Ｓ５７：Ｎｏ）、ＣＰＵ２１は、処理をＳ６５に移行する。特定情報が含まれている場合（Ｓ５７：Ｙｅｓ）、ＣＰＵ２１は、Ｓ５９〜Ｓ６３を順次実行する。Ｓ５９〜Ｓ６３は、図２のＳ２７〜Ｓ３１と同様の処理であり、ＣＰＵ２１は、Ｓ５９〜Ｓ６３を上記同様に実行する。Ｓ５３で、処理対象の再分割領域として、図７に示す再分割領域Ｒ１１が特定されていたとする。この場合、上述した通り、Ｓ５５の文字認識処理で取得されるテキスト情報は、上述した４個の特定情報を含み、Ｓ５９では、特定情報「ＳＵＢＴＯＴＡＬ」及び数値情報「＄６８．３７」と、特定情報「９．２５ ＴＡＸ」及び数値情報「＄２．２７」と、特定情報「７．２５％ ＴＡＸ」及び数値情報「＄２．１７」と、特定情報「ＴＯＴＡＬ」及び数値情報「＄７３．３２」が、一時領域に一時記憶されている。従って、Ｓ６１は肯定（Ｓ６１：Ｙｅｓ）される。Ｓ６３を実行した後、ＣＰＵ２１は、最大領域処理を終了する。特定情報「ＳＵＢＴＯＴＡＬ」と「９．２５ ＴＡＸ」と「７．２５ ＴＡＸ」と「ＴＯＴＡＬ」の全てが、一時領域に記憶されておらず、Ｓ６１が否定される場合（Ｓ６１：Ｎｏ）、ＣＰＵ２１は、処理をＳ６５に移行する。Ｓ５９〜Ｓ６３に関するこの他の説明は省略する。

Ｓ６５でＣＰＵ２１は、垂直方向において、処理対象とされている再分割領域の上側に再分割領域が配置されているかを判断する。この特定は、Ｓ５５でＲＡＭ２３の所定の記憶領域に記憶された座標情報に従って行われる。上側に分割領域が配置されている場合（Ｓ６５：Ｙｅｓ）、ＣＰＵ２１は、上側の分割領域を、新たな処理対象の分割領域として特定する（Ｓ６７）。Ｓ６７を実行した後、ＣＰＵ２１は、処理をＳ５５に戻す。ＣＰＵ２１は、新たな再分割領域を処理対象として、Ｓ５５以降の処理を繰り返して実行する。Ｓ５５の実行に際し、ＣＰＵ２１は、先の処理対象の再分割領域に対する文字認識処理で取得されたテキスト情報を、ＲＡＭ２３の所定の記憶領域から消去する。ＣＰＵ２１は、再度実行される、新たな再分割領域に対応する文字認識処理によって取得されたテキスト情報を、ＲＡＭ２３の所定の記憶領域に記憶する。

上側に分割領域が配置されていない場合（Ｓ６５：Ｎｏ）、ＣＰＵ２１は、全領域処理を実行する（Ｓ６９）。全領域処理については後述する。その後、ＣＰＵ２１は、最大領域処理を終了する。

＜全領域処理＞
図３のＳ４１又は図６のＳ６９で実行される全領域処理について、図８を参照して説明する。全領域処理を開始させたＣＰＵ２１は、図２のＳ１１における２値化後の画像データを対象として、文字認識処理を実行する（Ｓ７１）。実施形態では、図２のＳ２３及び図６のＳ５５と同様、文字認識処理として、公知のＯＣＲ処理が実行される。従って、文字認識処理（ＯＣＲ処理）の詳細については省略する。ＣＰＵ２１は、Ｓ７１での文字認識処理によって、処理対象とされた２値化後の画像データに含まれるテキスト情報を取得する。但し、処理対象とされた２値化後の画像データが、文字を含まない場合、テキスト情報は、取得されない。文字認識処理によって取得されたテキスト情報は、ＲＡＭ２３の所定の記憶領域に記憶される。

次に、ＣＰＵ２１は、取得されたテキスト情報に、特定情報が含まれるかを判断する（Ｓ７３）。Ｓ７３は、図２のＳ２５と同様の処理であり、ＣＰＵ２１は、Ｓ７３を上記同様に実行する。特定情報が含まれている場合（Ｓ７３：Ｙｅｓ）、ＣＰＵ２１は、２値化後の画像データに含まれる特定情報に関連付けて数値情報を、データベースに記憶する。データベースへの記憶は、図２のＳ３１と同様にして実行される。

Ｓ７１では、２値化後の画像データを処理対象とし、その全領域に対して、文字認識処理が実行されている。従って、Ｓ７３が肯定される場合（Ｓ７３：Ｙｅｓ参照）、２値化後の画像データには、特定情報及び数値情報の組み合わせとして、「ＳＵＢＴＯＴＡＬ」及び「金額（小計額）」と、「９．２５％ ＴＡＸ」及び「金額（税額）」と、「７．２５％ ＴＡＸ」及び「金額（税額）」と、「ＴＯＴＡＬ」及び「金額（合計額）」が含まれている。従って、Ｓ７３では、全ての特定情報と全ての数値情報が関連付けられて、データベースに記憶される。但し、一部の特定情報及び数値情報については、例外的に、取得されたテキスト情報に含まれていないことも想定される。このような場合、取得されたテキスト情報に含まれている特定情報及び数値情報を対象とした、データベースへの記憶が実行される。

特定情報が含まれていない場合（Ｓ７３：Ｎｏ）、ＣＰＵ２１は、未検出情報をデータベースに記憶する（Ｓ７７）。未検出情報は、特定情報と数値情報が検出されなかったことを示す情報である。例えば、スキャン対象とされたレシートの記録面が、汚損等されていた場合、未検出情報がデータベースに記憶される。Ｓ７５又はＳ７７を実行した後、ＣＰＵ２１は、全領域処理を終了する。

＜実施形態の効果＞
実施形態によれば、次のような効果を得ることができる。

（１）図２及び図３に示す画像処理では、スキャナ装置３０でスキャンされたレシートに対応する画像データを２値化し（図２のＳ１１参照）、垂直方向における２値化後の画像データのサイズが基準サイズ以上であるかが判断される（図２のＳ１５参照）。垂直方向のサイズが基準サイズ以上である場合（図２のＳ１５：Ｙｅｓ参照）、２値化後の画像データは、複数の領域（分割領域）に分割される（図２のＳ１７参照）。続けて、複数の分割領域の中から、最大領域が検出され（図２のＳ１９参照）、垂直方向において、最大領域の下側に配置された分割領域が処理対象として特定される（図２のＳ２１参照）。

そのため、垂直方向における２値化後の画像データのサイズが基準サイズ以上である場合（図２のＳ１５：Ｙｅｓ参照）、文字認識処理の処理対象となる領域を限定することができる。処理対象として特定された分割領域に対して文字認識処理を実行し（図２のＳ２３参照）、取得されたテキスト情報に含まれる特定情報と、この特定情報に対応する数値情報を関連付けて、データベースに記憶することができる（図２のＳ３１参照）。一般的に、レシートでは、実施形態において設定した特定の費用項目以外の費用項目が記録された領域（図４の「分割領域Ｒ３」参照）の下側に、特定情報と数値情報が記録されていることが多い。画像処理によれば、このような事項に基づき、処理をスムーズに実行することが可能となる。

画像処理では、垂直方向における２値化後の画像データのサイズが基準サイズ未満である場合（図２のＳ１５：Ｎｏ参照）、処理が図３のＳ４１に移行され、図８に示す全領域処理が実行される。そのため、２値化後の画像データを対象とした文字認識処理について、垂直方向における画像データのサイズに応じて、処理を適宜選択することができる。垂直方向のサイズが基準サイズ未満である画像データについては、文字認識処理をスムーズに実行することが可能である。データベースに特定情報と数値情報を関連付けて記憶することで、日々の出費を、電子的に管理することができる。

（２）画像処理では、最大領域の下側に配置された分割領域を対象とした文字認識処理によって取得されたテキスト情報に、特定情報が含まれていない場合（図２のＳ２５：Ｎｏ参照）、図２のＳ２１で処理対象として特定された分割領域から取得されたテキスト情報に、除外情報が含まれているかが判断される（図３のＳ３３参照）。除外情報としては、例えば、電話番号、日付及びＵＲＬの各情報を記録する際に用いられる一般的な文字パターンが適宜定義される。除外情報が含まれていない場合（図３のＳ３３：Ｎｏ参照）、処理対象とされている分割領域の更に下側に配置された分割領域が、処理対象の分割領域として特定される（図３のＳ３９参照）。除外情報が含まれている場合（図３のＳ３３：Ｙｅｓ参照）、最大領域処理が実行される（図３のＳ３５参照）。最大領域処理では、図２のＳ１９で検出された最大領域が再分割され（図６のＳ５１参照）、垂直方向において最も下側に配置された再分割領域が処理対象として特定される（図６のＳ５３参照）。最大領域の再分割は、例えば、空白行領域の垂直方向のサイズを基準として実行される。

図２のＳ３１でのデータベースへの記憶に際し、全特定情報が、ＲＡＭ２３の一時領域に一時記憶されているかが判断される（図２のＳ２９参照）。全ての特定情報が一時領域に一時記憶されていない場合（図２のＳ２９：Ｎｏ参照）、処理対象とされている分割領域の更に下側に配置された分割領域が、処理対象の分割領域として特定される（図３のＳ３９参照）。

そのため、順次、文字認識処理の対象となる領域を特定し、特定情報と数値情報を記憶部に記憶することができる。その際、除外情報の有無に従い、文字認識処理の対象となる領域を、スムーズに特定することができる。最大領域の全体を文字認識処理の対象とすることを回避することができる。

（３）画像処理では、２値化後の画像データが分割された全ての分割領域のうち、垂直方向の中央部より上側に配置された分割領域と（第一条件）、前述の中央部を含む分割領域（第二条件）を対象として、最大領域が選択される（図２のＳ１９参照）。そのため、最大領域の検出をスムーズに実行することができる。

例えば、レシートには、図９に示すように、中央部より下側に広告等が記録されているタイプのものがある。図９に示すようなタイプのレシートに対応する画像データを、上記同様、複数の領域に分割したとする。詳細は省略するが、この場合、分割領域Ｒ１８が、最大領域として検出される。分割領域Ｒ１８は、イベント及びクーポンの各情報が記録された領域である。分割領域Ｒ１８には、特定情報と数値情報は、含まれていない。最大領域の検出に際し、上述した第一条件と第二条件を採用することで、分割領域Ｒ１８が、最大領域として検出されることを防止することができる。図９に示す破線と１点鎖線による中心線Ｍは、レシートに記録された情報ではない。破線は、分割領域Ｒ１８の境界位置を明示するものである。中心線Ｍは、図４と同様、画像データ（レシート画像）の垂直方向の中心位置を明示するものである。

＜変形例＞
実施形態は、次のようにすることもできる。以下に示す変形例のうちの幾つかの構成は、適宜組み合わせて採用することもできる。以下では、上記とは異なる点を説明することとし、同様の点についての説明は適宜省略する。

（１）図２及び図３に示す画像処理のＳ１５（図２参照）の判断条件を「垂直方向のサイズ≧基準サイズ」とした。この判断条件は、「垂直方向のサイズ＞基準サイズ」としてもよい。即ち、Ｓ１５では、垂直方向のサイズと基準サイズが等しい場合、判断を否定（図２のＳ１５：Ｎｏ参照）するようにしてもよい。

（２）図８に示す全領域処理では、Ｓ７３が否定された場合（図８のＳ７３：Ｎｏ参照）、未検出情報が、データベースに記憶される（図８のＳ７７参照）。Ｓ７７は、省略するようにしてもよい。この場合、Ｓ７３が否定された場合（図８のＳ７３：Ｎｏ参照）、全領域処理は、終了する。全領域処理の終了に際し、管理装置２０の表示部２４に、特定情報と数値情報が検出されなかったこと、及び／又は特定情報と数値情報が関連付けて記憶されなかったことを示すメッセージ画面を表示するようにしてもよい。ユーザは、表示部２４に表示されたメッセージ画面によって、前述した状態を認識することができる。

１０ 管理システム
１１ 通信ケーブル
２０ 管理装置
２１ ＣＰＵ
２２ 記憶装置
２３ ＲＡＭ
２４ 表示部
２５ 操作部
２６ 通信部
３０ スキャナ装置
３１ ＣＰＵ
３２ 記憶装置
３３ ＲＡＭ
３４ 搬送部
３５ イメージセンサ
３６ 通信部
３７ 表示部
３８ 操作部
Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８，Ｌ９ 空白行領域
Ｍ 中心線
Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９，Ｒ１０，Ｒ１８ 分割領域
Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６，Ｒ１７ 再分割領域

Claims (9)

1. スキャナ装置によってスキャンされたレシートに対応する画像データを画像処理して取得される情報を管理する管理装置を制御するコンピュータが実行可能なプログラムであって、
   前記コンピュータを、
   前記画像データを、前記スキャナ装置におけるスキャンの主走査方向に一致する、前記画像データの水平方向の空白行領域によって区切られた複数の領域に、分割する分割手段と、
   前記分割手段によって分割された前記各領域のうち、前記領域のサイズが最大である最大領域を検出する検出手段と、
   前記画像データの垂直方向において前記検出手段によって検出された前記最大領域の下側に配置された第一領域に対する文字認識処理によって、前記第一領域に含まれる第一テキスト情報を取得する第一取得手段と、
   前記第一取得手段によって取得された前記第一テキスト情報に含まれる、特定の費用項目に対応する特定情報と、前記特定情報に対応する数値情報と、を関連付けて記憶部に記憶する記憶手段と、して機能させるプログラム。
2. 前記コンピュータを、
   前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれているかを判断する第一判断手段と、
   前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれていない場合、前記垂直方向において前記第一領域と隣り合う第二領域に対する文字認識処理によって、前記第二領域に含まれる第二テキスト情報を取得する第二取得手段と、して機能させ、
   前記記憶手段は、前記第二取得手段によって取得された前記第二テキスト情報に含まれる、前記特定情報と、前記数値情報と、を関連付けて前記記憶部に記憶する機能を含む、請求項１に記載のプログラム。
3. 前記コンピュータを、前記第一取得手段によって取得された前記第一テキスト情報に、前記特定情報が含まれていない場合、前記第一テキスト情報に、予め定められた文字パターンに対応する除外情報が含まれているかを判断する第二判断手段として機能させ、
   前記第二取得手段は、
   前記第一テキスト情報に前記除外情報が含まれていない場合、前記垂直方向において前記第一領域より下側に配置された前記第二領域としての下側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得し、
   前記第一テキスト情報に前記除外情報が含まれている場合、前記垂直方向において前記第一領域より上側に配置された前記最大領域のうち、前記垂直方向の下側端を含む、前記垂直方向の所定範囲である前記第二領域としての上側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する、機能を含む、請求項２に記載のプログラム。
4. 前記第二取得手段は、前記第一テキスト情報に前記除外情報が含まれている場合、前記垂直方向において前記第一領域より上側に配置された前記最大領域のうち、前記垂直方向の下側端を含む、前記垂直方向の基準となる基準値の整数倍の範囲である前記上側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する機能を含む、請求項３に記載のプログラム。
5. 前記コンピュータを、前記第一取得手段によって取得された前記第一テキスト情報に含まれる前記特定情報に、第一特定情報が含まれ、前記第一特定情報とは異なる第二特定情報が含まれていない場合、前記下側第二領域に対する文字認識処理によって、前記第二テキスト情報を取得する第三取得手段として機能させ、
   前記第二判断手段は、前記第一取得手段によって取得された前記第一テキスト情報に、前記第一特定情報と前記第二特定情報とが含まれていない場合、前記第一テキスト情報に前記除外情報が含まれているかを判断し、前記第一取得手段によって取得された前記第一テキスト情報に、前記第一特定情報が含まれ、前記第二特定情報が含まれていない場合、前記第一テキスト情報に前記除外情報が含まれているかを判断しない、機能を含み、
   前記記憶手段は、前記第一取得手段によって取得された前記第一テキスト情報に含まれる前記第一特定情報と、前記第一特定情報に対応する第一数値情報と、を関連付け、前記第三取得手段によって取得された前記第二テキスト情報に含まれる前記第二特定情報と、前記第二特定情報に対応する第二数値情報と、を関連付け、更に、前記第一特定情報及び前記第一数値情報と、前記第二特定情報及び前記第二数値情報と、を関連付けて前記記憶部に記憶する機能を含む、請求項３又は請求項４に記載のプログラム。
6. 前記検出手段は、前記分割手段によって分割された前記複数の領域のうち、前記垂直方向の中央部より上側に配置される領域と、前記垂直方向の中央部を含む領域と、を対象として、前記最大領域を検出する機能を含む、請求項１から請求項５の何れか１項に記載のプログラム。
7. 前記分割手段は、前記画像データを、前記レシートに記録されたオブジェクトを示す色値を有する第一画素を含まない第二画素が前記水平方向に整列した画素列が、前記水平方向に亘って配置され、且つ前記垂直方向に所定列数以上連続する前記空白行領域によって区切られた前記複数の領域に、分割する機能を含む、請求項１から請求項６の何れか１項に記載のプログラム。
8. 前記コンピュータを、
   前記垂直方向における前記画像データのサイズを取得する第四取得手段と、
   前記第四取得手段によって取得された前記画像データのサイズが基準となる基準サイズより小さい場合、前記画像データの全領域に対する文字認識処理によって、前記全領域に含まれる第三テキスト情報を取得する第五取得手段と、して機能させ、
   前記分割手段は、前記第四取得手段によって取得された前記画像データのサイズが前記基準サイズより小さい場合、前記画像データを前記複数の領域に分割しない機能を含み、
   前記記憶手段は、前記第五取得手段によって取得された前記第三テキスト情報に含まれる、前記特定情報と、前記数値情報と、を関連付けて前記記憶部に記憶する機能を含む、請求項１から請求項７の何れか１項に記載のプログラム。
9. スキャナ装置によってスキャンされたレシートに対応する画像データを画像処理して取得される情報を管理する管理装置であって、
   前記画像データを、前記スキャナ装置におけるスキャンの主走査方向に一致する、前記画像データの水平方向の空白行領域によって区切られた複数の領域に、分割する分割手段と、
   前記分割手段によって分割された前記各領域のうち、前記領域のサイズが最大である最大領域を検出する検出手段と、
   前記画像データの垂直方向において前記検出手段によって検出された前記最大領域の下側に配置された第一領域に対する文字認識処理によって、前記第一領域に含まれる第一テキスト情報を取得する第一取得手段と、
   前記第一取得手段によって取得された前記第一テキスト情報に含まれる、特定の費用項目に対応する特定情報と、前記特定情報に対応する数値情報と、を関連付けて記憶部に記憶する記憶手段と、を備える管理装置。

Images