JP2016126356A - 画像処理プログラム、画像処理方法、及び画像処理装置 - Google Patents

Abstract

【課題】領収書における複数の位置から取得された同種の項目の値を処理することが可能な画像処理プログラム、画像処理方法、及び画像処理装置を提供する。【解決手段】ＰＣのＣＰＵによって、領収書画像３３の画像データから文字列情報と位置情報とが取得される。所定の項目情報に対応するキーワードに対応する値情報が取得され、位置情報と項目情報と値情報が対応付けられた対応データテーブルに記憶される。ディスプレイに領収書画像３３が表示され、対応データテーブルに記憶された位置情報に対応する位置にマーカー９５１〜９５７が表示される。同種の項目情報についての値情報である同種値情報が取得された場合、同種値情報の種類に応じて、実行する処理を第一処理と第二処理との何れか一方から選択され、選択された処理が実行される。【選択図】図１３

Description

本発明は、領収書の画像を表示する画像処理プログラム、画像処理方法、及び画像処理装置に関する。

従来、領収書の画像を表示する画像処理装置が知られている。例えば、特許文献１に記載の画像取り込み装置を含むシステムにおいては、画像が取り込まれると、光学的認識（ＯＣＲ）などによって画像データがテキストに変換される。さらに、領収書上のテキストの位置に関する空間情報が保存される。画像データから変換されたテキストにおいて、例えば、「金額」、「総計」、及び「請求金額」等の所定の項目の用語が検索される。用語が発見されると、対応する金額等の値が抽出される。抽出された値を用いた経費報告書が作成される。経費報告書は表示部に表示可能である。

特表２００６−５１１８９６号公報

領収書には、例えば、日付の値が２か所に記載してあったり、税額の値が２つ記載してあったりする等、同種の項目の値が複数の位置に記載されている場合がある。しかしながら、上記従来のシステムでは、同種の項目の値が複数の位置から取得された場合の処理について規定されておらず、ユーザが所望する結果を得ることができない可能性がある。

本発明の目的は、領収書における複数の位置から取得された同種の項目の値を処理することが可能な画像処理プログラム、画像処理方法、及び画像処理装置を提供することである。

本発明の第１の態様に係る画像処理プログラムは、領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得ステップと、前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶ステップと、画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶ステップにおいて前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示ステップと、前記記憶ステップにおいて前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断ステップと、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択ステップと、前記選択ステップによって選択された処理を実行する実行ステップとを画像処理装置のコンピュータに実行させる。

この場合、領収書画像における、キーワードに対応する値情報の位置に、オブジェクトが表示される。このため、オブジェクトが表示されない場合に比べて、ユーザは、キーワードに対応する値として、画像処理プログラムによってどの値が特定されたのかを確認し易い。また、領収書における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類に応じて処理される。よって、領収書における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類の処理に応じて処理されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。よって、ユーザの利便性が向上する。

前記画像処理プログラムにおいて、前記選択ステップは、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合において、前記同種値情報についての前記項目情報が第一種類の前記項目情報である場合に、前記同種値情報に基づく複数の値を合算する前記第一処理を選択し、前記実行ステップは、前記選択ステップにおいて選択された前記第一処理を実行して、前記同種値情報に基づく複数の値を合算し、前記記憶部に記憶してもよい。この場合、第一種類の項目情報についての複数の値が自動的に合算される。このため、合算されない場合に比べて、領収書における複数の位置に第一種類の項目が記載されていた場合に、ユーザが所望する結果を得ることができる可能性が高くなる。また、ユーザが手作業で合算を行う必要がないので、ユーザの利便性が向上する。

前記画像処理プログラムにおいて、前記選択ステップは、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合において、前記同種値情報についての前記項目情報が第二種類の前記項目情報である場合に、前記同種値情報に基づく複数の値のうちの１つを選択する前記第二処理を選択し、前記実行ステップは、前記選択ステップにおいて選択された前記第二処理を実行して前記同種値情報に基づく複数の値のうちの１つを選択し、前記対応データにおける選択された値についての前記値情報に、選択されたことを示す情報である選択情報を対応付けて、前記記憶部に記憶してもよい。この場合、第二種類の項目情報について複数の値のうちの１つが自動的に選択される。このため、複数の値のうちの１つが選択されない場合に比べて、領収書における複数の位置に第二種類の項目が記載された場合に、ユーザが所望する結果を得ることができる可能性が高くなる。また、ユーザが手作業で複数の値のうちの１つを選択する必要がないので、ユーザの利便性が向上する。

前記画像処理プログラムにおいて、前記実行ステップは、前記位置情報に基づいて、前記同種値情報に基づく複数の値のうちの１つを選択してもよい。この場合、位置情報に基づいて、第二種類の項目情報について複数の値のうちの１つが自動的に選択される。このため、位置情報が参照されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。

前記画像処理プログラムにおいて、前記オブジェクト表示ステップは、前記同種値情報に基づく複数の値のうち、前記実行ステップにおいて選択された値に対して第一オブジェクトを表示し、選択されていない値に対して前記第一オブジェクトと異なる第二オブジェクトを表示してもよい。この場合、オブジェクトの表示が変わらない場合に比べて、領収書画像における選択された値を、ユーザが確認し易くなり、ユーザの利便性が向上する。

前記画像処理プログラムは、前記表示部に表示された前記オブジェクトに対する選択入力を受け付ける受付ステップと、前記受付ステップによって受け付けられた前記選択入力が、前記第二種類の前記項目情報の前記同種値情報に基づく値に対応する位置に表示された前記オブジェクトに対する前記選択入力であるかを判断する選択判断ステップと、前記選択判断ステップによって前記第二種類の前記項目情報の前記同種値情報に基づく値に対応する位置に表示された前記オブジェクトに対する前記選択入力であると判断された場合に、前記受付ステップにおいて前記選択入力が受け付けられた前記オブジェクトに対応する前記値情報に、前記選択情報を対応付けて前記記憶部に記憶する変更ステップとを備えてもよい。この場合、ユーザは、実行ステップによって選択された値を、ユーザが選択した値に変更することができる。よって、ユーザの利便性が向上する。

前記画像処理プログラムは、前記実行ステップが実行した処理結果を前記表示部に表示させる結果表示ステップを備えてもよい。この場合、ユーザは、実行ステップが実行した処理結果を容易に確認することができる。よって、ユーザの利便性が向上する。

前記画像処理プログラムは、前記変更ステップが実行した変更結果を前記表示部に表示させる変更表示ステップを備えてもよい。この場合、ユーザは、変更ステップが実行した変更結果を容易に確認することができる。よって、ユーザの利便性が向上する。

前記画像処理プログラムにおいて、記憶ステップは、前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、前記記憶部に記憶された前記項目情報に対応する前記キーワードを特定するキーワード特定ステップと、前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、前記キーワード特定ステップによって特定された前記キーワードに対応する前記値情報を取得する値情報取得ステップと、前記項目情報と、前記値情報取得ステップにおいて取得された前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち前記値情報に対応する前記位置情報とを対応付けて前記記憶部に記憶する情報記憶ステップとを備えてもよい。この場合、領収書における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類の処理に応じて処理されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。よって、ユーザの利便性が向上する。

前記画像処理プログラムは、前記画像データを取得する画像データ取得ステップを備え、前記情報取得ステップは、前記画像データ取得ステップにおいて取得された前記画像データから、前記ＯＣＲによって、前記文字列情報と、前記位置情報とを取得してもよい。この場合、予め記憶されている画像データだけでなく、画像データ取得ステップによって新たに取得される画像データを使用して、文字列情報と位置情報とを取得し、処理を行うことができる。よって、ユーザの利便性が向上する。

本発明の第２の態様に係る画像処理方法は、領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得ステップと、前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶ステップと、画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶ステップにおいて前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示ステップと、前記記憶ステップにおいて前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断ステップと、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択ステップと、前記選択ステップによって選択された処理を実行する実行ステップとを備えている。この場合、領収書における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類の処理に応じて処理されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。よって、ユーザの利便性が向上する。

本発明の第３の態様に係る画像処理装置は、領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得手段と、前記情報取得手段によって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得手段において取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶手段と、画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶手段において前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示手段と、前記記憶手段において前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断手段と、前記判断手段において前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択手段と、前記選択手段によって選択された処理を実行する実行手段とを備えている。この場合、領収書における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類の処理に応じて処理されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。よって、ユーザの利便性が向上する。

画像処理システム１の概要及びＰＣ１２の電気的構成を示す図である。 領収書３１を示す図である。 管理画像５１を示す図である。 キーワードデータテーブル９１を示す図である。 領収書データテーブル９２を示す図である。 対応データテーブル９３を示す図である。 メイン処理のフローチャートである。 図７の続きのフローチャートである。 領収書データテーブル９２の状態遷移図である。 図９の続きの状態遷移図である。 対応データテーブル９３の状態遷移図である。 図１１の続きの状態遷移図である。 マーカー９５１〜９５７が表示された管理画像５１を示す図である。 変更処理のフローチャートである。 図１２の続きの状態遷移図である。 強調オブジェクト９７が移動した状態の管理画像５１を示す図である。 文字列９６１〜９６７が表示された管理画像５１１を示す図である。 誤認識された文字列を含む管理画像５１１を示す図である。

本発明の実施形態について説明する。図１を参照し、画像処理システム１を説明する。画像処理システム１は、汎用のコンピュータであるＰＣ１２とスキャナ装置１３とを備える。ＰＣ１２とスキャナ装置１３とは、通信インターフェース（通信Ｉ／Ｆ）１２５によって、有線接続されている。通信Ｉ／Ｆは、例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）などの所定の規格に従うものである。なお、ＰＣ１２とスキャナ装置１３とを接続する態様は限定されず、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及び無線（Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ等）等のネットワークによって接続されてもよい。

ＰＣ１２の電気的構成を説明する。ＰＣ１２は、ＣＰＵ１２１、ディスプレイ１２８、ＲＯＭ１２２、ＲＡＭ１２３、ＨＤＤ１２４、通信インタフェース（Ｉ／Ｆ）１２５、及びドライブ装置１２６を備える。ＣＰＵ１２１は、ＰＣ１２を制御する。ディスプレイ１２８は、ＣＰＵ１２１の指示に基づき画像を表示可能である。ＣＰＵ１２１は、ＲＯＭ１２２、ＲＡＭ１２３、ＨＤＤ１２４、通信インタフェース（Ｉ／Ｆ）１２５、及びドライブ装置１２６と電気的に接続する。ＲＯＭ１２２には、ブートプログラム、及びＢＩＯＳ等が記憶される。ＲＡＭ１２３には、一時的なデータが記憶される。

ＨＤＤ１２４には、ＣＰＵ１２１に後述するメイン処理（図７参照）及び変更処理（図１４参照）を実行させるためのプログラム、及びＯＳが記憶される。ＨＤＤ１２４は、非一時的な記憶媒体の一例である。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。非一時的な記憶媒体は、一時的な記憶媒体（例えば、伝送される信号）を含まなくてもよい。記憶部１１４は、他の非一時的な記憶媒体、例えば、フラッシュメモリ及び／又はＲＯＭ等で構成されてもよい。

メイン処理（図７参照）及び変更処理（図１４参照）は、家計簿の管理を行う家計簿管理ソフトウェアの処理の一部である。ＨＤＤ１２４には、キーワードデータテーブル９１（図４参照、後述）、領収書データテーブル９２（図５参照、後述）、及び対応データテーブル９３（図６参照、後述）が記憶される。通信Ｉ／Ｆ１２５は、ＰＣ１２とスキャナ装置１３等の外部機器とを接続するためのインタフェース素子である。ＣＰＵ１２１は、通信Ｉ／Ｆ１２５を介して、スキャナ装置１３等の外部機器とのデータの送受信を行う。ドライブ装置１２６は、記憶媒体１２７に記憶された情報を読み出すことができる。ＣＰＵ１２１は、記憶媒体１２７に記憶されたプログラムをドライブ装置１２６によって読み出し、ＨＤＤ１２４に記憶できる。スキャナ装置１３は、ＰＣ１２からの指示によって、領収書３１等の画像を撮像する読取動作を行い、画像データを形成して、ＰＣ１２に送信する。

なお、ＣＰＵ１２１として、汎用的なプロセッサーが用いられてもよい。本実施形態におけるメイン処理（図７及び図８参照）及び変更処理（図１４参照）は、ＣＰＵ１２１によって実行される例に限定されず、他の電子部品（例えば、ＡＳＩＣ）によって実行されてもよい。また、メイン処理及び変更処理は、複数の電子機器（つまり、複数のＣＰＵ）によって分散処理されてもよい。メイン処理及び変更処理の夫々の一部又は全部は、図示しないネットワークに接続したサーバで実行されてもよい。メイン処理及び変更処理のプログラムは、例えば、ネットワークに接続した所定のサーバからダウンロードされて、ＨＤＤ１２４に記憶されてもよい。

図２を参照して、領収書３１について説明する。領収書３１は、ユーザが店舗名「ＸＸＸＸ Ｓｔｏｒｅ」であるお店で買い物をした場合に、店舗の店員から受け取るレシートである。領収書３１には、店舗名「ＸＸＸＸ Ｓｔｏｒｅ」、日付「１０／２８／２０１４」、Ｔａｘ１「＄３．４８」、Ｔａｘ２「＄０．５５」、Ｔｏｔａｌ「＄４９．２５」、支払方法「ＢＢＢ Ｃａｒｄ」等の情報が印刷されている。Ｔａｘ１及びＴａｘ２は、夫々、品目によって税率の異なる税金である。Ｔｏｔａｌは、支払いの総額である。「ＢＢＢ Ｃａｒｄ」は、クレジットカードの一種である。

図３を参照して、ディスプレイ１２８（図１参照）に表示される管理画像５１について説明する。図３の管理画像５１における上下方向（後述する情報一覧表示領域５３と情報編集領域５４とが並ぶ方向）の位置がＹ座標であり、左右方向の位置がＸ座標である。管理画像５１は、例えば、家計簿の管理を行う家計簿管理ソフトウェアにおいて表示される画像の１つである。なお、図３に示す例では、図１６に示すマーカー９５１〜９５７等の記載は省略している。

図３に示すように、管理画像５１は、領収書画像表示領域５２、情報一覧表示領域５３、及び情報編集領域５４を備えている。領収書画像表示領域５２は、管理画像５１の右部に表示される。領収書画像表示領域５２は、領収書３１の画像データＤ１に基づく領収書画像３３が表示される領域である。情報一覧表示領域５３は、管理画像５１の左上部に表示される。情報一覧表示領域５３は、後述する領収書データテーブル９２（図５及び図１０参照）に基づいて、領収書画像３３に関する情報の一覧が表示される領域である。情報編集領域５４は、管理画像５１の左下部に表示される。情報編集領域５４は、後述する領収書データテーブル９２（図５及び図１０参照）に基づいて、領収書画像３３に関する情報が編集可能な状態で表示される領域である。

図４を参照して、キーワードデータテーブル９１について説明する。キーワードデータテーブル９１には、所定の項目情報、キーワード、及び項目情報の種類が対応付けられて記憶されている。項目情報は、種々の領収書に記載される可能性のある項目について情報である。図４に示す例では、項目情報として、「店舗」、「税」、「日付」、「支払方法」、及び「金額」等が登録されている。キーワードは、項目情報に対応する文字列である。項目情報の種類は、ＣＰＵ１２１が行う処理に基づいて予め設定されている。図４に示す例では、項目情報の種類として、第一種類と第二種類とが記憶されている。第一種類は、後述するＳ２８（図８参照）において合算処理が行われる種類であることを示す。第二種類は、Ｓ３１（図８参照）において選択処理が行われる種類であることを示す。なお、項目情報の種類は、「１」「０」などの単純なフラグ情報であってもよい。Ｓ２８とＳ３１の詳細については後述する。

項目情報「店舗」には、キーワード「Ｓｔｏｒｅ」、「Ｓｕｐｅｒ」、及び「Ｒｏａｄ」と、項目情報の種類「第二種類」とが対応付けられている。項目情報「税」には、キーワード「Ｔａｘ１」及び「Ｔａｘ２」と、項目情報の種類「第一種類」とが対応付けられている。項目情報「日付」には、キーワード「＊＊／＊＊／＊＊＊＊」と項目情報「第二種類」とが対応付けられている。「＊＊／＊＊／＊＊＊＊」の「＊」は、例えば、「１０／２８／２０１４」等の「月／日／年」を表す任意の数字に対応する。項目情報「支払方法」には、キーワード「ＢＢＢ Ｃａｒｄ」及び「ＣＣＣ Ｃａｒｄ」と、項目情報「第二種類」とが対応付けられている。「ＢＢＢ Ｃａｒｄ」及び「ＣＣＣ Ｃａｒｄ」は、互いに異なるカード会社のクレジットカードの名称である。項目情報「金額」には、キーワード「Ｔｏｔａｌ」が対応付けられており、項目情報の種類は対応付けられていない。

図５を参照して、領収書データテーブル９２について説明する。領収書データテーブル９２は、領収書に関する情報が記憶されるデータテーブルである。領収書データテーブル９２には、Ｒ−ＩＤ、日付、店舗、支払方法、カテゴリー、金額、税、及び画像データが対応付けられて記憶されている。Ｒ−ＩＤは、領収書データテーブル９２に情報が記憶される場合に、領収書毎にＣＰＵ１２１によって付与されるＩＤである。Ｒ−ＩＤ「Ｒ０００１」及び「Ｒ０００３」に対応付けられた情報は、後述するメイン処理によって、領収書画像の画像データＤ１，Ｄ２に基づいて記憶された情報である。なお、画像データＤ１の代わりに、所定のフォルダに保存された画像データＤ１へのパス情報が関連付けられてもよい。Ｒ−ＩＤ「Ｒ０００２」に対応付けられた情報は、後述するメイン処理とは異なり、ユーザが領収書を確認しながらＰＣ１２を操作して登録した情報である。このため、Ｒ−ＩＤ「Ｒ０００２」には、画像データが対応付けられていない。メイン処理において、画像データに基づいて領収書データテーブル９２に情報を記憶する過程は後述する。

図６を参照して、対応データテーブル９３について説明する。対応データテーブル９３には、ＲＰ−ＩＤ、Ｒ−ＩＤ、項目情報、値情報、位置情報、及び選択フラグが対応付けられて記憶されている。ＲＰ−ＩＤは、対応データテーブル９３に情報が記憶される場合に、ＣＰＵ１２１によって付与されるＩＤである。Ｒ−ＩＤは、領収書データテーブル９２のＲ−ＩＤに対応している。位置情報は、領収書画像における文字列の位置の情報である。位置情報は、開始座標と終了座標とを含む。領収書画像３３（図３参照）において、開始座標は文字列の左上端の座標であり、終了座標は文字列の右下端の座標である。対応データテーブル９３に情報を記憶する過程は後述する。

図７及び図８を参照し、本実施形態におけるメイン処理を説明する。メイン処理は、領収書が撮像された領収書画像の画像データに基づき、領収書に記載されている情報を管理画像５１（図１３参照）に表示する処理である。以下の説明では、領収書３１（図２参照）をスキャナ装置１３で読み取り、管理画像５１（図１３参照）を表示する場合を具体例として説明する。具体例では、領収書データテーブル９２及び対応データテーブル９３に情報が記憶されていない状態から、図５及び図６に示すＲ−ＩＤ「Ｒ０００１」に対応付けられた情報を記憶し、管理画像５１に表示する過程を示す。

図７に示すように、ＣＰＵ１２１は、領収書が撮像された領収書画像の画像データが取得されたかを判断する（Ｓ１１）。画像データが取得されていない場合（Ｓ１１：ＮＯ）、ＣＰＵ１２１は、Ｓ１１の処理を繰り返す。具体例では、ユーザによって、スキャナ装置１３に領収書３１（図２参照）が配置され、領収書３１を撮像する読取動作を行う指示がＰＣ１２に入力される。ＣＰＵ１２１は、スキャナ装置１３に読取動作を行う指示を送信する。スキャナ装置１３は、領収書３１を撮像し、領収書画像３３（図３参照）の画像データＤ１を生成し、ＰＣ１２に送信する。ＣＰＵ１２１は、スキャナ装置１３から送信される画像データＤ１を取得した場合（Ｓ１１：ＹＥＳ）、取得した画像データＤ１から、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、抽出された文字列情報に対応する位置情報とを取得する（Ｓ１２）。ＯＣＲとしては、周知のエッジ検出技術などの特徴抽出ステップと、抽出した特徴を文字のテンプレートと比較するマッチングステップとを含む、周知のライブラリが利用可能である。

ＣＰＵ１２１は、領収書データテーブル９２において、１件分のデータ領域を作成し、領収書画像３３の画像データＤ１を記憶する（Ｓ１３）。図９（Ａ）に示すように、ＣＰＵ１２１は、Ｒ−ＩＤ「Ｒ０００１」に対応したデータ領域を作成し、画像データＤ１を記憶する。

ＣＰＵ１２１は、図１３に示すように、管理画像５１の領収書画像表示領域５２に、画像データＤ１に基づく領収書画像３３を表示させる（Ｓ１４）。ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）における項目情報に対応するキーワードを１つ選択する（Ｓ１５）。ＣＰＵ１２１は、Ｓ１５において項目情報「店舗」に対応するキーワード「Ｓｔｏｒｅ」を選択したとする。なお、Ｓ１５の処理は、繰り返し実行されるが（後述するＳ２３：ＮＯ）、ＣＰＵ１２１は、Ｓ１５の処理を実行する度に、すでに選択したキーワードとは異なるキーワードを順番に選択していく。

ＣＰＵ１２１は、Ｓ１６〜Ｓ２３の処理を実行し、Ｓ１２において取得した文字列情報に基づく文字列の中から、Ｓ１５において選択したキーワードに対応する値情報を取得し、値情報と項目情報と位置情報とを対応付けて対応データテーブル９３に記憶する。以下、Ｓ１６〜Ｓ２３の処理について説明する。

ＣＰＵ１２１は、Ｓ１２において取得した文字列情報に基づく文字列に対して、Ｓ１５において選択したキーワードに合致する文字列の検索を開始する（Ｓ１６）。即ち、ＣＰＵ１２１は、Ｓ１２において取得した文字列情報に基づく文字列の中から、キーワードデータテーブル９１に記憶された項目情報に対応するキーワードを特定する動作を開始する。以下、後述するＳ１８において、文字列に全体を検索したと判断されるまで（Ｓ１８：ＹＥＳ）、Ｓ１５において選択したキーワードに合致する文字列が検索される。

ＣＰＵ１２１は、キーワードに合致する文字列があったかを判断する（Ｓ１７）。キーワードに合致する文字列がない場合（Ｓ１７：ＮＯ）、Ｓ１２において取得した文字列情報に基づく文字列の全てを検索したかを判断する（Ｓ１８）。Ｓ１２において取得した文字列情報に基づく文字列に、検索していない文字列がある場合（Ｓ１８：ＮＯ）、ＣＰＵ１２１は、処理をＳ１７に戻す。

具体例の場合、ＣＰＵ１２１がＳ１２において取得した文字列情報に基づく文字列には、「ＸＸＸＸ Ｓｔｏｒｅ」の「Ｓｔｏｒｅ」が含まれている。このため、ＣＰＵ１２１が検索する文字列が、「ＸＸＸＸ Ｓｔｏｒｅ」の「Ｓｔｏｒｅ」に到達した場合に、ＣＰＵ１２１は、Ｓ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。

ＣＰＵ１２１は、キーワードに対応する値情報を取得する（Ｓ１９）。なお、キーワードに対応する値情報は、個々のキーワードで異なる。例えば、キーワード「Ｓｔｏｒｅ」、「Ｓｕｐｅｒ」、及び「Ｒｏａｄ」に対応する値情報は、「Ｓｔｏｒｅ」、「Ｓｕｐｅｒ」、及び「Ｒｏａｄ」の夫々と一致又は含む店舗名の文字列情報である。また、キーワード「Ｔａｘ１」と「Ｔａｘ２」とに対応する値情報は、「Ｔａｘ１」と「Ｔａｘ２」との夫々の文字列と同じ行に記載された、金額を示す「＄」を含む数値の文字列情報である。また、キーワード「＊＊／＊＊／＊＊＊＊」は、例えば、「２０／１２／２０１４」のような日付の文字列情報である。キーワード「Ｔｏｔａｌ」に対応する値情報は、「Ｔｏｔａｌ」の文字列と同じ行に記載された、金額を示す所定の文字列（例えば、「＄」「￥」など）を含む数値の文字列情報である。なお、「Ｔａｘ１」「Ｔａｘ２」「Ｔｏｔａｌ」など所定のキーワードを含む文字列と同じ行に記載されていれば、金額を示す所定の文字列が含まない数値の文字列情報であっても、値情報として用いられてもよい。

具体例では、Ｓ１５において選択されたキーワード「Ｓｔｏｒｅ」に対応する値「ＸＸＸＸ Ｓｔｏｒｅ」の値情報が取得される（Ｓ１９）。ＣＰＵ１２１は、項目情報と、Ｓ２０で取得した値情報と、位置情報とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。詳細には、図１１（Ａ）に示すように、ＣＰＵ１２１は、ＲＰ−ＩＤ「ＲＰ０００１」に対応したデータ領域を作成する。ＣＰＵ１２１は、対応データテーブル９３における「Ｒ−ＩＤ」に、領収書データテーブル９２（図９（Ａ）参照）における画像データＤ１に対応付けられたＲ−ＩＤ「Ｒ０００１」を記憶する。これによって、領収書データテーブル９２においてＲ−ＩＤ「Ｒ０００１」に対応付けられた情報と、対応データテーブル９３において「Ｒ０００１」に対応付けられた情報とが、相互に対応付けられる。

ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）において、Ｓ１５で選択したキーワード「Ｓｔｏｒｅ」に対応付けられた項目情報「店舗」を、対応データテーブル９３の「項目情報」に記憶する（図１１（Ａ）参照）。ＣＰＵ１２１は、Ｓ１９において取得した値情報「ＸＸＸＸ Ｓｔｏｒｅ」を、対応データテーブル９３に記憶する。ＣＰＵ１２１は、Ｓ１２において取得した位置情報のうち、Ｓ１９において取得した値情報に対応する位置情報を、対応データテーブル９３の「位置情報」に記憶する。本実施形態では、開始座標が（６８，８）、終了座標が（１６６，２５）であるとする。ＣＰＵ１２１は、選択フラグに「ＦＡＬＳＥ」を記憶する（図１１（Ａ）参照）。

ＣＰＵ１２１は、Ｓ１９において取得した値情報を、領収書データテーブル９２における対応する欄に記憶する（Ｓ２１）。具体例では、Ｓ１９において取得した値情報「ＸＸＸＸ Ｓｔｏｒｅ」は、キーワードデータテーブル９１（図４）に示すように、項目情報「店舗」に対応する値情報である。このため、ＣＰＵ１２１は、図９（Ｂ）に示すように、「店舗」の欄に、「ＸＸＸＸ Ｓｔｏｒｅ」を記憶する。なお、図７では図示しないが、店舗の欄に値情報を記憶した場合、ＣＰＵ１２１は、カテゴリーの欄に店舗についてのカテゴリーの値情報を記憶する。例えば、ＨＤＤ１２４には、「ＸＸＸＸ Ｓｔｏｒｅ」と、カテゴリーの値情報「Ｍｅａｌｓ／Ｒｅｓｔａｕｒａｎｔ」とが対応付けられて予め記憶されている。ＣＰＵ１２１は、「ＸＸＸＸ Ｓｏｔｏｒｅ」に対応するカテゴリーの値情報「Ｍｅａｌｓ／Ｒｅｓｔａｕｒａｎｔ」を特定し、領収書データテーブル９２に記憶する（図９（Ｂ）参照）。

ＣＰＵ１２１は、Ｓ２１において対応データテーブル９３記憶された位置情報に対応する領収書画像３３における位置に、所定のオブジェクトを表示する（Ｓ２２）。本実施形態では、Ｓ２２で表示されるオブジェクトは、マーカーであるとする。Ｓ２２の処理が実行されることによって、図１６に示すように、領収書画像３３の「ＸＸＸＸ Ｓｔｏｒｅ」に重ねて、マーカー９５１が表示される。マーカー９５１は、青色であるとする。

ＣＰＵ１２１は、処理をＳ１７に戻す。図１３に示すように、領収書画像３３には、「ＸＸＸＸ Ｓｔｏｒｅ」の他には、Ｓｔｏｒｅの文字列はない。このため、ＣＰＵ１２１は、Ｓ１２において取得した文字列情報に基づく文字列の全てを検索し終わると、図７に示すように、文字列の全てを検索したと判断する（Ｓ１８：ＹＥＳ）。ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）における全てのキーワードを検索したかを判断する（Ｓ２３）。検索していないキーワードがある場合（Ｓ２３：ＮＯ）、ＣＰＵ１２１は処理をＳ１５に戻し、次のキーワードを１つ選択する。具体例では、キーワード「Ｓｕｐｅｒ」が選択され（Ｓ１５）、検索が開始される（Ｓ１６）。領収書画像３３（図１３参照）には、「Ｓｕｐｅｒ」の文字列はないので、Ｓ１９〜Ｓ２２の処理が実行されることなく、処理はＳ１５に戻る（Ｓ２３：ＮＯ）。

Ｓ１５において、項目情報「税」に対応するキーワード「Ｔａｘ１」（図４参照）が選択されたとする。この場合、ＣＰＵ１２１が検索する文字列が、「Ｔａｘ１ ９．２５０％ ＄３．４８」（図１３参照）の「Ｔａｘ１」に到達した場合に、Ｓ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。ＣＰＵ１２１は、「Ｔａｘ１」の文字列と同じ行に記載された、金額を示す「＄」を含む数値である「＄３．４８」（図１３参照）を、値情報として取得する（Ｓ１９）。図１１（Ｂ）に示すように、ＣＰＵ１２１は、項目情報「税」と、値情報「＄３．４８」と、開始座標「（１７５，３０４）」と、終了座標「（２０６，３１７）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図９（Ｃ）に示すように、ＣＰＵ１２１は、「税」の欄に「＄３．４８」を記憶する（Ｓ２１）。図１３に示すように、ＣＰＵ１２１は、「Ｔａｘ１」の税額である「＄３．４８」に重ねて、黄色のマーカー９５２を表示する（Ｓ２２）。ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）において検索していないキーワードがあると判断し（Ｓ２３：ＮＯ）、処理をＳ１５に戻す。

Ｓ１５において、項目情報「税」に対応するキーワード「Ｔａｘ２」（図４参照）が選択されたとする。この場合、ＣＰＵ１２１が検索する文字列が、「Ｔａｘ２ ７．２５０％ ＄０．５５」（図１３参照）の「Ｔａｘ２」に到達した場合に、ＣＰＵ１２１はＳ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。図１１（Ｃ）に示すように、ＣＰＵ１２１は、項目情報「税」と、値情報「＄０．５５」と、開始座標「（１７５，３０４）」と、終了座標「（２０６，３１７）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図９（Ｄ）に示すように、ＣＰＵ１２１は、「税」の欄に「＄０．５５」を記憶する（Ｓ２１）。即ち、「＄３．４８」（図９（Ｃ）参照）に対して「＄０．５５」が上書きされる。図１３に示すように、ＣＰＵ１２１は、「Ｔａｘ２」の税額である「＄０．５５」に重ねて、マーカー９５２と同じ色である黄色のマーカー９５３を表示する（Ｓ２２）。

Ｓ１５において、項目情報「日付」に対応するキーワード「＊＊／＊＊／＊＊＊＊」（図４参照）が選択されたとする。図１３に示すように、領収書画像３３において、日付である「１０／２８／２０１４」は、領収書画像３３の上部と下部との２か所に記載されている。ＣＰＵ１２１が検索する文字列が、領収書画像３３における上部の日付「１０／２８／２０１５」に到達した場合に、ＣＰＵ１２１はＳ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。図１２（Ｄ）のＲＰ−ＩＤ「ＲＰ０００４」に示すように、ＣＰＵ１２１は、項目情報「日付」と、値情報「１０／２８／２０１４」と、開始座標「（６，９０）」と、終了座標「（１１９，１０３）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図９（Ｅ）に示すように、ＣＰＵ１２１は、「日付」の欄に「１０／２８／２０１４」を記憶する（Ｓ２１）。図１３に示すように、ＣＰＵ１２１は、「１０／２８／２０１４」に重ねて、緑色のマーカー９５４を表示する（Ｓ２２）。

また、ＣＰＵ１２１が検索する文字列が、領収書画像３３における下部の日付「１０／２８／２０１５」に到達した場合に、ＣＰＵ１２１はＳ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。図１２（Ｄ）のＲＰ−ＩＤ「ＲＰ０００５」に示すように、ＣＰＵ１２１は、項目情報「日付」と、値情報「１０／２８／２０１４」と、開始座標「（１０１，５１８）」と、終了座標「（２２７，５３２）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図９（Ｅ）に示すように、ＣＰＵ１２１は、「日付」の欄に「１０／２８／２０１４」を記憶する（Ｓ２１）。すなわち、一旦「１０／２８／２０１４」が記憶された「日付」の欄に、「１０／２８／２０１４」を上書きする。ＣＰＵ１２１は、領収書画像３３の下部の「１０／２０／２０１４」に重ねて、緑色のマーカー９５５を表示する（Ｓ２２）。すなわち、領収書画像３３の上部と下部との「１０／２０／２０１４」に重ねて、同じ色のマーカー９５４，９５５が表示される。

Ｓ１５において、項目情報「支払方法」に対応するキーワード「ＢＢＢ Ｃａｒｄ」（図４参照）が選択されたとする。ＣＰＵ１２１が検索する文字列が、領収書画像３３における支払方法「ＢＢＢ Ｃａｒｄ」に到達した場合に、ＣＰＵ１２１はＳ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。図１２（Ｄ）のＲＰ−ＩＤ「ＲＰ０００６」に示すように、ＣＰＵ１２１は、項目情報「支払方法」と、値情報「ＢＢＢ Ｃａｒｄ」と、開始座標「（６，３６６）」と、終了座標「（３３，３７８）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図９（Ｅ）に示すように、ＣＰＵ１２１は、「支払方法」の欄に、「ＢＢＢ Ｃａｒｄ」を記憶する（Ｓ２１）。図１３に示すように、ＣＰＵ１２１は、領収書画像３３の「ＢＢＢ Ｃａｒｄ」に重ねて、紫色のマーカー９５６を表示する（Ｓ２２）。

Ｓ１５において、項目情報「金額」に対応するキーワード「Ｔｏｔａｌ」（図４参照）が選択されたとする。ＣＰＵ１２１が検索する文字列が、領収書画像３３における金額「Ｔｏｔａｌ」に到達した場合に、ＣＰＵ１２１はＳ１５において選択したキーワードに合致する文字列があると判断する（Ｓ１７：ＹＥＳ）。図１２（Ｄ）のＲＰ−ＩＤ「ＲＰ０００７」に示すように、ＣＰＵ１２１は、項目情報「金額」と、値情報「＄４９．２５」と、開始座標「（１６９，３５５）」と、終了座標「（２０６，３４８）」とを対応付けて、対応データテーブル９３に記憶する（Ｓ２０）。図１０（Ｆ）に示すように、ＣＰＵ１２１は、「金額」の欄に、「＄４９．２５」を記憶する（Ｓ２１）。図１３に示すように、ＣＰＵ１２１は、領収書画像３３の「＄４９．２５」に重ねて、赤色のマーカー９５７を表示する（Ｓ２２）。

全てのキーワードを検索した場合（Ｓ２３：ＹＥＳ）、図８に示すように、ＣＰＵ１２１は、ＨＤＤ１２４に記憶された対応データテーブル９３（図１２（Ｄ）参照）を参照し、複数の値情報相互間で項目情報が同種となる値情報である同種値情報が記憶されているかを判断する（Ｓ２４）。同種値情報が記憶されていない場合（Ｓ２４：ＮＯ）、ＣＰＵ１２１は、後述するＳ３６を実行する。

図１２（Ｄ）に示す対応データテーブル９３においては、同種の項目情報「税」についての値情報（即ち、同種値情報）は、「＄３．４８」と「＄０．５５」との２つ記憶されている。また、同種の項目情報「日付」についての値情報（即ち、同種値情報）は、ＲＰ０００４に対応付けられた「１０／２８／２０１４」と、ＲＰ０００５に対応付けられた「１０／２８／２０１４」との２つ記憶されている。このため、ＣＰＵ１２１は、同種値情報が記憶されていると判断し（Ｓ２４：ＹＥＳ）、Ｓ２５〜Ｓ３５の処理を実行する。ＣＰＵ１２１は、後述するＳ２７及びＳ３０において、同種値情報についての項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理とのいずれか一方から選択する。第一処理は、後述するＳ２８において実行される処理である。第二処理は、後述するＳ３１において実行される処理である。以下、Ｓ２５〜Ｓ３５の処理を詳細に説明する。

ＣＰＵ１２１は、後述するＳ２６において選択されていない同種の項目情報があるかを判断する（Ｓ２５）。選択されていない同種の項目情報がある場合（Ｓ２５：ＹＥＳ）、ＣＰＵ１２１は、対応データテーブル９３（図１２（Ｄ）参照）において、複数取得された項目情報のうちの１組を選択する（Ｓ２６）。具体例では、ＣＰＵ１２１が項目情報「税」の１組を選択したとする。

ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）を参照し、Ｓ２６で選択した項目情報が第一種類であるかを判断する（Ｓ２７）。項目情報「税」は第一種類であるので、ＣＰＵ１２１は第一種類であると判断し（Ｓ２７：ＹＥＳ）、第一処理を実行する（Ｓ２８）。すなわち、ＣＰＵ１２１は、Ｓ２７において、同種値情報についての項目情報の種類に応じて、実行する処理として第一処理を選択している。

ＣＰＵ１２１は、第一処理を実行する（Ｓ２８）。第一処理は、例えば、同種値情報に基づく複数の値を合算する処理である。ＣＰＵ１２１は、Ｓ２８における第一処理の結果を記憶する（Ｓ２９）。具体例の場合、同種値情報に基づく値「＄３．４８」と「＄０．５５」とが合算され、「＄４．０３」が算出される（Ｓ２８）。図１０（Ｇ）に示すように、算出された「＄４．０３」が領収書データテーブル９２の「税」の欄に記憶される（Ｓ２９）。ＣＰＵ１２１は、処理をＳ２５に戻す。

具体例では、同種の項目情報「日付」がＳ２６において選択されていないので、ＣＰＵ１２１は、Ｓ２６において選択されていない同種の項目情報があると判断する（Ｓ２５：ＹＥＳ）。ＣＰＵ１２１は、項目情報「日付」の１組を選択する（Ｓ２６）。項目情報「日付」は第二種類（図４参照）であるので、ＣＰＵ１２１は、第一種類でないと判断する（Ｓ２７：ＹＥＳ）。ＣＰＵ１２１は、キーワードデータテーブル９１（図４参照）を参照し、Ｓ２６で選択した項目情報は第二種類であるかを判断する（Ｓ３０）。項目情報「日付」は第二種類であるので、第二種類であると判断し（Ｓ３０：ＹＥＳ）、ＣＰＵ１２１は、第二処理を実行する（Ｓ３１）。すなわち、ＣＰＵ１２１は、Ｓ３０において、同種値情報についての項目情報の種類に応じて、実行する処理として第二処理を選択している。

ＣＰＵ１２１は、第二処理を実行する（Ｓ３１）。第二処理は、例えば、同種値情報に基づく複数の値のうちの１つを選択する処理である。本実施形態では、一例として、ＣＰＵ１２１は、位置情報に基づいて、同種値情報に基づく複数の値のうちの１つを選択する。詳細には、ＣＰＵ１２１は、画像データＤ１に基づいて、領収書画像３３（図１３参照）のＹ方向の長さを算出する。本実施形態では、領収書画像３３の左上端が座標（Ｘ１，Ｙ１）＝（０，０）であるとし、左下端が座標（Ｘ２，Ｙ２）＝（０，５００）であるとする。ＣＰＵ１２１は、領収書画像３３のＹ方向の中央の座標Ｍを算出する。この場合、Ｍは「（Ｙ２−Ｙ１）／２ ＝ ２５０」である。ＣＰＵ１２１は、同種値情報に基づく複数の値のうち、位置情報におけるＹ座標が、Ｍ「２５０」より小さい値を選択する。すなわち、ＣＰＵ１２１は領収書画像３３のＹ方向の中央より上側にある、同種値情報に基づく値を選択する。図１２（Ｄ）に示すように、２つの項目情報「日付」の同種値情報「１０／２８／２０１４」のうち、Ｙ座標が「２５０」より小さい同種値情報は、位置情報が、開始座標（６，９０）と終了座標（１１９，１０３）の「１０／２８／２０１４」である。このため、ＣＰＵ１２１は、該同種値情報に基づく値（開始座標（６，９０）、終了座標（１１９，１０３）の「１０／２８／２０１４」）を選択する（Ｓ３１）。

ＣＰＵ１２１は、Ｓ３１において選択した同種値情報に基づく値「１０／２８／２０１４」を、領収書データテーブル９２（図１０（Ｇ）参照）に記憶する（Ｓ３２）。これによって、項目情報「日付」の欄が、同種値情報に基づく値「１０／２８／２０１４」で上書きされる。

ＣＰＵ１２１は、対応データテーブル９３において、Ｓ３１において選択された同種値情報に基づく値に対応付けられた選択フラグを「ＴＲＵＥ」に設定する（Ｓ３３）。すなわち、ＣＰＵ１２１は、選択フラグを「ＴＲＵＥ」に設定することで、対応データテーブル９３おける選択された値についての値情報に、選択されたことを示す情報を対応付けて記憶する。Ｓ３３が実行されると、図１２（Ｅ）に示すように、Ｓ３１において選択された同種値情報に基づく値「１０／２８／２０１４」の選択フラグが「ＴＲＵＥ」に設定される。

ＣＰＵ１２１は、同種値情報に基づく複数の値のうち、Ｓ３１において選択した値に対して強調オブジェクト９７を表示する（Ｓ３４）。詳細には、ＣＰＵ１２１は、対応データテーブル９３を参照し、選択フラグが「ＴＲＵＥ」に設定されている値情報についての位置情報が示す領収書画像３３の位置に、強調オブジェクト９７（図１３参照）を表示する。図１３に示すように、本実施形態では、領収書画像３３の開始座標（６，９０）から終了座標（１１９．１０３）までの範囲に、強調オブジェクト９７として四角形の外形を表す太線を表示する。これによって、領収書画像３３の上部の日付「１０／２８／２０１４」のマーカー９５４の周囲に、強調オブジェクト９７が表示された状態となる。ＣＰＵ１２１は、処理をＳ２５に戻す。

Ｓ３０において、ＣＰＵ１２１は、Ｓ２６で選択した項目情報が第二種類でないと判断した場合（Ｓ３０：ＮＯ）、項目情報の種類に応じて、第一処理及び第二処理とは異なる処理を実行する（Ｓ３５）。Ｓ３５において実行される処理は、例えば、同種値情報に基づく２つの値の一方から他方を減算する処理などである。図示しないが、ＣＰＵ１２１は、Ｓ３５の処理の結果を記憶する。ＣＰＵ１２１は、処理をＳ２５に戻す。

ＣＰＵ１２１は、Ｓ２６において全ての同種の項目情報を選択した場合、Ｓ２６において選択していない同種の項目情報はないと判断する（Ｓ２５：ＮＯ）。ＣＰＵ１２１は、領収書データテーブル９２（図１０（Ｇ）参照）に基づき、管理画像５１（図１３参照）における情報一覧表示領域５３と情報編集領域５４とに情報を表示する（Ｓ３６）。ＣＰＵ１２１は、情報一覧表示領域５３に、領収書データテーブル９２に記憶されている「日付」、「店舗」、「支払方法」、「カテゴリ」、「金額」、及び「税」の情報を一覧にして表示する。詳細には、図１３に示すように、ＣＰＵ１２１は、領収書データテーブル９２の「日付」、「店舗」、「支払方法」、「カテゴリ」、「金額」、及び「税」に対応する単語である「Ｄａｔｅ」、「Ｖｅｎｄｅｒ」、「Ｐａｙｍｅｎｔ ｔｙｐｅ」、「Ｃａｔｅｇｏｒｙ」、「Ａｍｏｕｎｔ」、「Ｓａｌｅｓ Ｔａｘ」を表示する。ＣＰＵ１２１は、「Ｄａｔｅ」、「Ｖｅｎｄｅｒ」、「Ｐａｙｍｅｎｔ ｔｙｐｅ」、「Ｃａｔｅｇｏｒｙ」、「Ａｍｏｕｎｔ」、「Ｓａｌｅｓ Ｔａｘ」の下側に、領収書データテーブル９２（図１０（Ｇ）参照）に記憶されている情報を表示する。

また、ＣＰＵ１２１は、情報編集領域５４に、「Ｄａｔｅ」、「Ｖｅｎｄｅｒ」、「Ｐａｙｍｅｎｔ ｔｙｐｅ」、「Ｃａｔｅｇｏｒｙ」、「Ａｍｏｕｎｔ」、「Ｓａｌｅｓ Ｔａｘ」を表示する。また、「Ｄａｔｅ」には、マーカー９５４，９５５と同じ緑色の背景が表示される。「Ｖｅｎｄｅｒ」には、マーカー９５１と同じ青色の背景が表示される。「Ｐａｙｍｅｎｔ ｔｙｐｅ」には、マーカー９５６と同じ紫色の背景が表示される。「Ａｍｏｕｎｔ」には、マーカー９５７と同じ赤色の背景が表示される。「Ｓａｌｅｓ Ｔａｘ」には、マーカー９５２，９５３と同じ黄色の背景が表示される。上記のように、単語の色と、マーカーの色とが対応しているので、ユーザは、色を確認することで、情報編集領域５４に表示された情報が、領収書画像３３のいずれの文字列を元に表示されている情報であるのかを、容易に確認できる。

ＣＰＵ１２１は、各単語の右側に、編集枠５９を表示する。編集枠５９の内側に、領収書データテーブル９２（図１０（Ｇ）参照）に記憶されている情報を表示する。図示しないが、ＣＰＵ１２１は、ユーザによるＰＣ１２の操作に応じて、編集枠５９の内側に記載された情報を、書き換えることができる。ユーザによって書き換えられた情報は、領収書データテーブル９２（図１０（Ｇ）参照）及び情報一覧表示領域５３に反映される。例えば、ユーザが情報編集領域５４の編集枠５９における「１０／２８／２０１４」を「９／２８／２０１４」に書き換えた場合、領収書データテーブル９２（図１０（Ｇ）参照）と情報一覧表示領域５３との「１０／２８／２０１４」が、「９／２８／２０１４」に変更される。このように、情報を書き換える動作が行われるので、例えば、日付「１０／２８／２０１４」が、「６／２８／２０１４」と誤認識された場合でも、ユーザは、日付を「１０／２８／２０１４」に訂正することができる。また、領収書画像３３と、情報編集領域５４とが管理画像５１に表示されているので、ユーザは、領収書画像３３を確認しながら、情報編集領域５４の編集枠５９の情報を書き換えることができる。Ｓ３６を実行した後、ＣＰＵ１２１は、メイン処理を終了する。

図１４を参照して、変更処理について説明する。変更処理は、第二処理（図８のＳ３１）において選択された同種値情報に基づく複数の値に代えて、ユーザの操作に基づいて他の値を選択する処理である。変更処理が実行されるので、例えば、Ｓ３１においてユーザが所望する値とは異なる値が選択された場合でも、ユーザが選択し直すことができる。

図１４に示すように、ＣＰＵ１２１は、マーカー９５１〜９５７のいずれかに対する選択入力が入力されたかが判断される（Ｓ５１）。選択入力が入力されていない場合（Ｓ５１：ＮＯ）、ＣＰＵ１２１はＳ５１を繰り返し、選択入力を受け付ける。選択入力が入力された場合（Ｓ５１：ＹＥＳ）、ＣＰＵ１２１は、第二種類の項目情報の同種値情報に基づく値に対応する位置に表示されたマーカーに対する選択入力であるかを判断する（Ｓ５２）。第二種類の項目情報の同種値情報に基づく値に対応する位置に表示されたマーカーに対する選択入力でない場合（Ｓ５２：ＮＯ）、ＣＰＵ１２１は処理をＳ５１に戻す。

例えば、ユーザがＰＣ１２のポインティングデバイス（図示外）等を操作して、領収書画像３３におけるマーカー９５５（図１３参照）を選択する選択入力を入力したとする。ＣＰＵ１２１は、マーカー９５５に対する選択入力が入力されたと判断する（Ｓ５１：ＹＥＳ）。選択されたマーカー９５５は、第二種類の項目情報「日付」の同種値情報に基づく値「１０／２８／２０１４」に対応する位置に表示されたマーカーである。このため、ＣＰＵ１２１は、第二種類の項目情報の同種値情報に基づく値に対応する位置に表示されたマーカーに対する選択入力であると判断する（Ｓ５２：ＹＥＳ）。

ＣＰＵ１２１は、Ｓ５１において選択入力が受け付けられたマーカーに対応する値情報に、選択フラグ「ＴＲＵＥ」に対応付けて、ＨＤＤ１２４に記憶する（Ｓ５３及びＳ５４参照）。Ｓ５３及びＳ５４によって、選択フラグ「ＴＲＵＥ」を対応付ける値情報が変更される。詳細には、ＣＰＵ１２１は、対応データテーブル９３（図１２（Ｅ）参照）における選択された第二種類の項目情報「日付」に対応する選択フラグを、全て「ＦＡＬＳＥ」に設定する（Ｓ５３）。これによって、図１５（Ｆ）に示すように、ＲＰ０００４に対応付けられた選択フラグが「ＴＲＵＥ」（図１２（Ｅ）参照）から「ＦＡＬＳＥ」に変更される。

ＣＰＵ１２１は、対応データテーブル９３において、Ｓ５１において選択入力が受け付けられたマーカー９５５に対応する値情報の選択フラグを「ＴＲＵＥ」に設定する（Ｓ５４）。これによって、図１５（Ｇ）に示すように、ＲＰ０００５に対応付けられた選択フラグが「ＦＡＬＳＥ」から「ＴＲＵＥ」に変更される。

ＣＰＵ１２１は、強調オブジェクト９７を更新する（Ｓ５５）。詳細には、ＣＰＵ１２１は、対応データテーブル９３（図１５（Ｇ）参照）を参照し、選択フラグが「ＴＲＵＥ」に設定されている値情報についての位置情報が示す領収書画像３３の位置に、強調オブジェクト９７を表示する。これによって、図１６に示すように、領収書画像３３の下部の日付「１０／２８／２０１４」のマーカー９５５の周囲に、強調オブジェクト９７が表示された状態となる。一方、選択フラグが「ＴＲＵＥ」から「ＦＡＬＳＥ」に変更されたことによって、領収書画像３３の上部の日付「１０／２８／２０１４」のマーカー９５４の周囲に表示されていた強調オブジェクト９７（図１３参照）が、消去される（図１６参照）。このように、Ｓ５５においては、Ｓ５４における変更結果がディスプレイ１２８に表示される。

ＣＰＵ１２１は、Ｓ５１において選択入力が受け付けられたマーカーに対応する値情報に基づく値「１０／２８／２０１４」を、領収書データテーブル９２（図１０（Ｇ）参照）に記憶する（Ｓ５６）。これによって、図１０（Ｇ）に示す「１０／２８／２０１４」が、図１０（Ｈ）に示す「１０／２８／２０１４」で上書きされる。

ＣＰＵ１２１は、Ｓ３６と同様に、領収書データテーブル９２（図１０（Ｈ）参照）に基づき、管理画像５１（図１３参照）における情報一覧表示領域５３と情報編集領域５４とに情報を表示する（Ｓ５７）。すなわち、情報一覧表示領域５３と情報編集領域５４とを更新する。このため、仮に、Ｓ５１において選択入力が受け付けられたマーカーに対応する値情報に基づく値が、「８／２８／２０１４」であれば、Ｓ５６において「１０／２８／２０１４」から「８／２８／２０１４」に変更される。そして、Ｓ５７において、情報一覧表示領域５３と情報編集領域５４との「Ｄａｔｅ」に対応する欄が「８／２８／２０１４」に変更される。ＣＰＵ１２１は、Ｓ５７を実行後、処理をＳ５１に戻す。

以上のように、本実施形態における処理が実行される。本実施形態では、領収書３１が撮像された領収書画像３３の画像データＤ１から、ＯＣＲによって、文字列情報と位置情報とが取得される（Ｓ１２）。Ｓ１２において取得された文字列情報に基づく文字列の中から、キーワードに対応する値情報が取得され、位置情報と項目情報と値情報とが対応付けられて対応データテーブル９３に記憶される（Ｓ１６、Ｓ１９、及びＳ２０）。領収書画像３３において位置情報に対応する位置にマーカー９５１〜９５７（図１３参照）が表示される（Ｓ２２）。同種値情報が記憶されていると判断された場合（Ｓ２４：ＹＥＳ）、同種値情報についての項目情報の種類に応じて、実行する処理が少なくとも第一処理と第二処理とのいずれか一方から選択される（Ｓ２７及びＳ３０）。そして、選択された処理が実行される（Ｓ２８及びＳ３１）。このように、領収書画像３３（図１３参照）におけるキーワードに対応する値情報の位置に、マーカー９５１〜９５７が表示される。このため、マーカー９５１〜９５７が表示されない場合に比べて、ユーザは、キーワードに対応する値として、ＣＰＵ１２１によってどの値が特定されたのかを確認し易い。また、領収書３１における複数の位置から取得された同種の項目情報の値が、項目情報の種類に応じて処理される（Ｓ２８及びＳ３１）。よって、領収書３１における複数の位置から取得された同種の項目情報に対応する値が、項目情報の種類に応じて処理されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。よって、ユーザの利便性が向上する。

また、同種値情報についての項目情報が第一種類の項目情報である場合に、同種値情報に基づく複数の値を合算する第一処理が選択される（Ｓ２７：ＹＥＳ）。そして、同種値情報に基づく複数の値が合算される（Ｓ２８）。このため、第一種類の項目情報についての複数の値が自動的に合算される。よって、合算されない場合に比べて、領収書３１における複数の位置に第一種類の項目が記載されていた場合に、ユーザが所望する結果を得ることができる可能性が高くなる。また、ユーザが手作業で合算を行う必要がないので、ユーザの利便性が向上する。

また、同種値情報についての項目情報が第二種類の項目情報である場合に、同種値情報に基づく複数の値のうちの１つを選択する第二処理が選択される（Ｓ３０：ＹＥＳ）。そして、同種値情報に基づく複数の値のうちの１つが選択され、対応データテーブル９３における選択された値情報に、選択されたことを示す情報が対応付けられて記憶される（Ｓ３３）。本実施形態では、Ｓ３３において、選択フラグが「ＴＲＵＥ」に設定される。このように、第二種類の項目情報についての複数の値のうちの１つが自動的に選択される。このため、複数の値のうちの１つが選択されない場合に比べて、領収書３１（図２参照）における複数の位置に第二種類の項目が記載された場合に、ユーザが所望する結果を得ることができる可能性が高くなる。また、ユーザが手作業で１つを選択する必要がないので、ユーザの利便性が向上する。

また、位置情報に基づいて、同種値情報に基づく複数の値のうちの１つが選択される（Ｓ３１）。この場合、位置情報に基づいて、第二種類の項目情報について複数の値のうちの１つが自動的に選択される。このため、位置情報が参照されない場合に比べて、ユーザが所望する結果を得ることができる可能性が高くなる。

また、同種値情報に基づく複数の値のうち、Ｓ３１において選択された値に対して強調オブジェクト９７（図１３参照）が表示される（Ｓ３４）。一方、同種値情報に基づく複数の値のうち、Ｓ３１において選択されていない値に強調オブジェクト９７とは異なるオブジェクト（本実施形態では、強調オブジェクト９７が表示されていないマーカー９５５）が表示される。このため、オブジェクトの表示が変わらない場合に比べて、領収書画像３３における選択された値をユーザが確認し易くなり、ユーザの利便性が向上する。

また、ＣＰＵ１２１は、マーカー９５５に対する選択入力が入力されたと判断し（Ｓ５１：ＹＥＳ）、第二種類の項目情報の同種値情報に基づく値に対応する位置に表示されたマーカーに対する選択入力であると判断する（Ｓ５２：ＹＥＳ）。選択フラグ「ＴＲＵＥ」を対応付ける値情報が、Ｓ５１において選択入力が受け付けられたマーカーに対応する値情報に変更され、ＨＤＤ１２４に記憶される（Ｓ５３及びＳ５４参照）。この場合、Ｓ３１において選択された値を、ユーザが選択された値に変更することできる。よって、ユーザの利便性が向上する。

また、Ｓ２８及びＳ３１において実行された処理結果が、ディスプレイ１２８に表示される（Ｓ３４及びＳ３６）。このため、ユーザは、Ｓ２８及びＳ３１において実行された処理結果を容易に確認することができる。よって、ユーザの利便性が向上する。

また、Ｓ５３及びＳ５４が実行されることによって変更された変更結果が、ディスプレイ１２８に表示される（Ｓ５５）。このため、ユーザは、Ｓ５３及びＳ５４による変更結果を容易に確認することができる。よって、ユーザの利便性が向上する。

また、画像データが取得され（Ｓ１１：ＹＥＳ）、取得された画像データから、ＯＣＲによって文字列情報と位置情報とが取得される（Ｓ１２）。よって、予め記憶されている画像データだけでなく、Ｓ１１において新たに取得される画像データを使用して、ＯＣＲによって文字列情報と位置情報とを取得し、処理を行うことができる。よって、ユーザの利便性が向上する。

上記実施形態において、図７に示すＳ１２の処理は本発明の「情報取得ステップ」の一例である。Ｓ１６、Ｓ１９、Ｓ２０の処理は本発明の「記憶ステップ」の一例である。Ｓ１６の処理は本発明の「キーワード特定ステップ」の一例である。Ｓ１９の処理は本発明の「値情報取得ステップ」の一例である。Ｓ２０の処理は本発明の「情報記憶ステップ」の一例である。Ｓ２２及びＳ３４（図８参照）の処理は本発明の「オブジェクト表示ステップ」の一例である。図８に示すＳ２４の処理は本発明の「判断ステップ」の一例である。Ｓ２７及びＳ３０の処理は本発明の「選択ステップ」の一例である。Ｓ２８、Ｓ２９、Ｓ３１、Ｓ３２、Ｓ３３の処理は本発明の「実行ステップ」の一例である。図１４に示すＳ５１の処理は本発明の「受付ステップ」の一例である。Ｓ５２の処理は本発明の「選択判断ステップ」の一例である。Ｓ５３及びＳ５４の処理は本発明の「変更ステップ」の一例である。図８に示すＳ３６の処理は本発明の「結果表示ステップ」の一例である。Ｓ５５の処理は本発明の「変更表示ステップ」の一例である。ＨＤＤ１２４は本発明の「記憶部」の一例である。

ＰＣ１２は本発明の「画像処理装置」の一例である。図７に示すＳ１２の処理を行うＣＰＵ１２１は本発明の「情報取得手段」の一例である。Ｓ１６、Ｓ１９、及びＳ２０の処理を行うＣＰＵ１２１は本発明の「記憶手段」の一例である。Ｓ２２及びＳ３４（図８参照）の処理を行うＣＰＵ１２１は本発明の「オブジェクト表示手段」の一例である。図８に示すＳ２４の処理を行うＣＰＵ１２１は本発明の「判断手段」の一例である。Ｓ２７及びＳ３０の処理を行うＣＰＵ１２１は本発明の「選択手段」の一例である。Ｓ２８、Ｓ３１、Ｓ３２、Ｓ３３の処理を行うＣＰＵ１２１は本発明の「実行手段」の一例である。

なお、本発明は上記の実施形態に限定されるものではなく、種々の変更が可能である。例えば、スキャナ装置１３から画像データが取得されていたが（Ｓ１１）、これに限定されない。例えば、ＣＰＵ１２１は予め記憶されている画像データを用いて、Ｓ１２以降の処理を実行してもよい。また、Ｓ５３及びＳ５４における変更結果がディスプレイ１２８に表示されていたが（Ｓ５５）、表示されなくてもよい。

また、ＣＰＵ１２１は、Ｓ３１において選択した値を、ユーザが選択した値に変更できるが（Ｓ５３〜Ｓ５７）、変更できなくてもよい。また、強調オブジェクト９７として四角形の外形を表す太線を表示されていたが、これに限定されない。例えば、強調オブジェクト９７として、マーカーを点滅させたり、マーカーの色を濃くしたりしてもよい。また、強調オブジェクト９７が表示されなくてもよい。

また、Ｓ３１において、位置情報に基づいて同種値情報に基づく複数の値のうちの１つを選択する方法は限定されない。例えば、項目情報に応じて異なる方法で、位置情報を用いて選択してもよい。例えば、項目情報が「日付」である場合には、同種値情報に基づく複数の値のうち領収書画像３３の最も上側にある値を選択し、項目情報が「支払方法」である場合には、同種値情報に基づく複数の値のうち、領収書画像３３における上下方向中央部の所定範囲にある値を選択してもよい。また、項目情報「店舗」の値情報（即ち、店舗名）に応じて、選択する位置を変更してもよい。例えば、項目情報「店舗」の値情報が「ＸＸＸＸ Ｓｔｏｒｅ」であれば、項目情報「日付」について、同種値情報に基づく複数の値のうち領収書画像３３の最も上側にある値を選択し、項目情報「店舗」の値情報が「Ｓｕｐｅｒ ＹＹＹＹ」であれば、項目情報「日付」について、同種値情報に基づく複数の値のうち領収書画像３３の最も下側にある値を選択してもよい。また、Ｓ３１において位置情報に基づいて、同種値情報に基づく値のうちの１つが選択されていたが、位置情報が参照されなくてもよい。例えば、ＣＰＵ１２１は、同種値情報に基づく複数の値のうちの１つをランダムに選択してもよい。

また、Ｓ２２等において表示されるオブジェクトは、マーカー９５１〜９５７に限定されない。例えば、星マークなど、所定のマークでもよい。また、例えば、図１７に示す変形例に係る管理画像５１１のように、マーカー９５１〜９５７（図１３参照）の代わりに、値情報がテキスト化された文字列９６１〜９６７が表示されてもよい。文字列９６１〜９６７は、領収書画像３３におけるキーワードに対応する値情報の位置、より詳細には、キーワードに対応する値情報の値に隣接した位置に表示される。文字列９６１〜９６７の周囲は、四角形の枠で囲われている。強調オブジェクト９７は、四角形の枠が、他の枠に比べて太い枠となる表示である。

本変形例において、ＣＰＵ１２１は、ユーザの操作に基づき、文字列９６１〜９６７を、任意に書き換えることができる。ＣＰＵ１２１は、書き換えた文字列９６１〜９６７を、領収書データテーブル９２、情報一覧表示領域５３、及び情報編集領域５４の編集枠５９に反映する。例えば、ユーザが、文字列９６１「ＸＸＸＸ Ｓｔｏｒｅ」を「ＶＶＶＶ Ｓｔｏｒｅ」に書き換えた場合、領収書データテーブル９２（図１０（Ｇ）参照）、情報一覧表示領域５３、及び情報編集領域５４の編集枠５９の「ＸＸＸＸ Ｓｔｏｒｅ」が「ＶＶＶＶ Ｓｔｏｒｅ」に変更される。また、ユーザが項目情報「税」に対応する文字列９６２「＄３．４８」又は文字列９６３「＄０．５５」を書き換えた場合、Ｓ２８と同様の合算する処理が行われ、領収書データテーブル９２（図１０（Ｇ）参照）、情報一覧表示領域５３、及び情報編集領域５４の編集枠５９において、税の総額を示す「＄４．０３」が、新たに合算した値に変更される。このように、文字列９６１〜９６７を書き換えることができるので、例えば、Ｓ１２においてＯＣＲが実行された結果、店舗名「ＸＸＸＸ Ｓｔｏｒｅ」が、図１８の文字列９６１に示すように「ＸＸＸＰ Ｓｔｏｒｅ」と誤認識された場合でも、ユーザは、図１７に示す「ＸＸＸＸ Ｓｔｏｒｅ」に訂正することができる。

また、文字列９６１〜９６７の夫々を、領収書画像３３の任意に位置に移動できるようにしてもよい。例えば、図１７に示すように、合計の金額を示す文字列９６７「＄４９．２５」が、誤認識によって、「＄１１．６４」が合計の金額であると認識された場合、図１８に示す文字列９６７の位置に文字列９６７が表示される。この場合、図１８に示すように、文字列９６７は「＄１１．６４」と表示され、領収書データテーブル９２は、「＄１１．６４」が記憶され、情報一覧表示領域５３と情報編集領域５４とにおける「Ａｍｏｕｎｔ」に対応する欄に「＄１１．６４」が表示される。

この場合、ＣＰＵ１２１は、例えば、ユーザによるポインティングデバイス等の操作に基づき、図１８に示す文字列９６７を、図１７に示す文字列９６７の位置、すなわち、「＄４９．２５」に隣接する位置に移動させる。さらに、ＣＰＵ１２１は、ユーザの操作に基づき、文字列９６７「＄１１．６４」を「＄４９．２５」に書き換える。なお、ＣＰＵ１２１は、「＄４９．２５」に隣接する位置に文字列９６７を移動した場合、位置情報に基づいて自動的に文字列９６７「＄１１．６４」を「＄４９．２５」に書き換えてもよい。

ＣＰＵ１２１は、領収書データテーブル９２（図１０（Ｇ）参照）、情報一覧表示領域５３、及び情報編集領域５４において、「＄１１．６４」を「＄４９．２５」に変更する。これによって、領収書データテーブル９２は、図１７に示すように、「＄４９，２５」が記憶され、情報一覧表示領域５３と情報編集領域５４とにおける「Ａｍｏｕｎｔ」に対応する欄に「＄４９．２５」が表示される。

また、本発明の画像処理装置は、ＰＣ１２に限定されない。例えば、画像処理装置は、携帯端末及びサーバ等であってもよい。また、携帯端末は、携帯端末に内蔵されたカメラ等の撮像装置で領収書３１を撮像して画像データを取得し（図７のＳ１１：ＹＥＳ）、Ｓ１２以降の処理を実行してもよい。また、サーバは、他の機器からネットワークを介して送信される画像データを受信することで取得し（Ｓ１１：ＹＥＳ）、Ｓ１２以降の処理を実行してもよい。

１２ ＰＣ
１３ スキャナ装置
３１ 領収書
３３ 領収書画像
９２ 領収書データテーブル
９３ 対応データテーブル
９７ 強調オブジェクト
１２１ ＣＰＵ
１２４ ＨＤＤ
１２８ ディスプレイ
９５１〜９５７ マーカー
９６１〜９６７ 文字列

Claims (12)

1. 領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得ステップと、
   前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶ステップと、
   画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶ステップにおいて前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示ステップと、
   前記記憶ステップにおいて前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断ステップと、
   前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択ステップと、
   前記選択ステップによって選択された処理を実行する実行ステップと
   を画像処理装置のコンピュータに実行させるための画像処理プログラム。
2. 前記選択ステップは、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合において、前記同種値情報についての前記項目情報が第一種類の前記項目情報である場合に、前記同種値情報に基づく複数の値を合算する前記第一処理を選択し、
   前記実行ステップは、前記選択ステップにおいて選択された前記第一処理を実行して、前記同種値情報に基づく複数の値を合算し、前記記憶部に記憶することを特徴とする請求項１に記載の画像処理プログラム。
3. 前記選択ステップは、前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合において、前記同種値情報についての前記項目情報が第二種類の前記項目情報である場合に、前記同種値情報に基づく複数の値のうちの１つを選択する前記第二処理を選択し、
   前記実行ステップは、前記選択ステップにおいて選択された前記第二処理を実行して前記同種値情報に基づく複数の値のうちの１つを選択し、前記対応データにおける選択された値についての前記値情報に、選択されたことを示す情報である選択情報を対応付けて、前記記憶部に記憶することを特徴とする請求項１に記載の画像処理プログラム。
4. 前記実行ステップは、前記位置情報に基づいて、前記同種値情報に基づく複数の値のうちの１つを選択することを特徴とする請求項３に記載の画像処理プログラム。
5. 前記オブジェクト表示ステップは、前記同種値情報に基づく複数の値のうち、前記実行ステップにおいて選択された値に対して第一オブジェクトを表示し、選択されていない値に対して前記第一オブジェクトと異なる第二オブジェクトを表示することを特徴とする請求項３又は４のいずれかに記載の画像処理プログラム。
6. 前記表示部に表示された前記オブジェクトに対する選択入力を受け付ける受付ステップと、
   前記受付ステップによって受け付けられた前記選択入力が、前記第二種類の前記項目情報の前記同種値情報に基づく値に対応する位置に表示された前記オブジェクトに対する前記選択入力であるかを判断する選択判断ステップと、
   前記選択判断ステップによって前記第二種類の前記項目情報の前記同種値情報に基づく値に対応する位置に表示された前記オブジェクトに対する前記選択入力であると判断された場合に、前記受付ステップにおいて前記選択入力が受け付けられた前記オブジェクトに対応する前記値情報に、前記選択情報を対応付けて前記記憶部に記憶する変更ステップと
   を備えたことを特徴とする請求項３から５のいずれかに記載の画像処理プログラム。
7. 前記実行ステップが実行した処理結果を前記表示部に表示させる結果表示ステップを備えたことを特徴とする請求項１から６のいずれかに記載の画像処理プログラム。
8. 前記変更ステップが実行した変更結果を前記表示部に表示させる変更表示ステップを備えたことを特徴とする請求項６に記載の画像処理プログラム。
9. 前記記憶ステップは、
   前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、前記記憶部に記憶された前記項目情報に対応する前記キーワードを特定するキーワード特定ステップと、
   前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、前記キーワード特定ステップによって特定された前記キーワードに対応する前記値情報を取得する値情報取得ステップと、
   前記項目情報と、前記値情報取得ステップにおいて取得された前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち前記値情報に対応する前記位置情報とを対応付けて前記記憶部に記憶する情報記憶ステップと
   を備えたことを特徴とする請求項１から８のいずれかに記載の画像処理プログラム。
10. 前記画像データを取得する画像データ取得ステップを備え、
    前記情報取得ステップは、前記画像データ取得ステップにおいて取得された前記画像データから、前記ＯＣＲによって、前記文字列情報と、前記位置情報とを取得することを特徴とする請求項１から９のいずれかに記載の画像処理プログラム。
11. 領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得ステップと、
    前記情報取得ステップによって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得ステップにおいて取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶ステップと、
    画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶ステップにおいて前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示ステップと、
    前記記憶ステップにおいて前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断ステップと、
    前記判断ステップにおいて前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択ステップと、
    前記選択ステップによって選択された処理を実行する実行ステップと、
    を備えたことを特徴とする画像処理方法。
12. 領収書が撮像された領収書画像の画像データから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって、文字列の情報である文字列情報と、前記領収書画像における前記文字列の位置の情報である位置情報とを取得する情報取得手段と、
    前記情報取得手段によって取得された前記文字列情報に基づく前記文字列の中から、所定の項目情報に対応する前記文字列であるキーワードに対応する値の情報である値情報を取得し、取得した前記値情報と、前記情報取得手段において取得された前記位置情報のうち、取得した前記値情報に対応する前記位置情報と、前記項目情報とを対応付けた対応データを記憶部に記憶する記憶手段と、
    画像を表示可能な表示部に、前記画像データに基づく前記領収書画像を表示させ、前記領収書画像において、前記記憶手段において前記記憶部に記憶された前記位置情報に対応する位置に所定のオブジェクトを表示させるオブジェクト表示手段と、
    前記記憶手段において前記記憶部に記憶された前記対応データを参照し、複数の前記値情報相互間で前記項目情報が同種となる前記値情報である同種値情報が記憶されているかを判断する判断手段と、
    前記判断手段において前記同種値情報が記憶されていると判断された場合に、前記同種値情報についての前記項目情報の種類に応じて、実行する処理を少なくとも第一処理と第二処理との何れか一方から選択する選択手段と、
    前記選択手段によって選択された処理を実行する実行手段と、
    を備えたことを特徴とする画像処理装置。