JP2005326972A - 購入情報管理装置 - Google Patents

Abstract

【課題】 レシートに表示されている入情報の入力操作が簡単であるとともに、使い勝手がよい購入情報管理装置を提供する。
【解決手段】 画像端末装置１２０で取得されたレシートの画像情報が情報管理装置１１０に送信され、情報管理装置１１０で認識された認識結果から商品毎の商品金額と合計金額を抽出し、抽出した商品毎の商品金額の合計金額を算出し、算出した合計金額と抽出した合計金額を比較し、一致していない場合には画像端末装置１２０にエラー情報を送信する。
【選択図】 図８

Description

本発明は、ユーザの購入情報を管理する技術、特に、購入情報が表示されているレシートを用いてユーザの購入情報を管理する技術に関する。

一般的に、ユーザ（顧客等）が家計簿管理を行う場合、パソコン等にインストールされた家計簿ソフトを用い、購入した商品の購入情報（例えば、商品名、商品の単価、数量、商品毎の商品金額等）をユーザがパソコンのキーボード等を用いて入力していた。このため、購入情報を入力するにあたり相応の手間がかかり、面倒であった。
そこで、購入情報の入力操作を容易にした家計簿データ管理システムが提案されている。この家計簿データ管理システムでは、ユーザは、購入した商品の購入情報が表示されたレシートを携帯電話に設けられているカメラで撮影し、撮影した画像情報をインターネットを介して家計簿サーバに送信する。そして、家計簿サーバは、ユーザから送信された画像情報をＯＣＲ読み取り（光学式文字読み取り）してテキストデータ形式の購入情報に変換し、購入情報が挿入された家計簿情報を顧客に提供可能な構成となっている。（特許文献１参照）
特開２００３−１２２９１６号公報

従来の家計簿データ管理システムは、レシートの画像情報をカメラで撮像して送信することにより家計簿情報を受信することができるため購入情報の入力操作が簡単になるが、使い勝手がよくなかった。
そこで、本発明が解決しようとする課題は、レシートに表示されている情報の入力操作が簡単であるとともに、使い勝手がよい購入情報管理装置を提供することである。

上記課題を達成するため、各請求項記載の発明が構成される。
（請求項１に記載の発明）
請求項１に記載の発明によれば、端末装置と、情報管理装置とを備える購入情報管理装置が構成される。
端末装置は、画像情報取得手段と、端末側処理手段とを有している。
この画像情報取得手段は、商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得する。また、端末側処理手段は、画像情報取得手段で取得したレシートの画像情報を情報管理装置に送信し、情報管理装置から受信した認識終了情報を出力手段に出力する。
また、情報管理装置は、認識手段と、管理側処理手段とを有している。
この認識手段は、受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する。また、管理側処理手段は、認識手段から認識結果が出力されると、レシートの画像情報を送信した端末装置に認識終了情報を送信する。

「端末装置」としては、少なくとも、レシートの画像情報を取得して情報管理装置に送信し、情報管理装置から受信した認識終了情報を出力する（例えば、表示する）ことができればよく、典型的には、カメラやスキャナ機能付きの携帯電話機、携帯端末、パソコン等の端末装置を用いることができる。「出力手段」は、例えば、表示器、ＬＥＤ等の点灯手段、音声出力手段等を用いて構成することができる。
また、「レシート」には、少なくとも商品毎の商品金額（商品毎の購入合計金額）が表示されている。「レシート」には、一般的には、店舗名、日付、商品名、商品単価、合計金額等も表示されており、情報管理装置の認識手段は、これらの購入情報をも認識してもよい。また、レシートは、購入情報が特定の表示形式で表示されているレシートに限定されない。
また、「レシートの画像情報」は、情報管理装置の認識手段がレシートに表示されている情報を認識することができればよく、例えば、撮影されたレシートのビットマップ形式のデータでもよいし、圧縮等の加工が施されたデータでもよい。
また、「認識終了情報」を出力手段に出力する態様としては、ユーザが、レシートの画像情報が認識されたことを判別することができる態様であればよい。例えば、認識終了メールを端末装置に送信して端末装置に設けられている表示手段に認識終了メッセージを表示する態様、ユーザ端末装置に認識終了情報を送信して端末装置に設けられているＬＥＤ等の表示灯を点灯させる態様や端末装置に設けられている表示手段に認識終了メッセージを表示させる態様や端末装置に設けられている音声出力手段から報知音を発生させる態様等、種々の態様を用いることができる。
また、端末装置は、同一のユーザＩＤとともに複数のレシートの画像情報を情報管理装置に送信してもよい。この場合、「認識終了情報」は、各レシートの画像情報を認識する毎に出力してもよいし、複数のレシートの画像情報（例えば、所定時間内に送信された複数のレシートの画像情報）を認識した後に出力してもよい。
また、情報管理装置は、端末装置に、認識終了情報を送信した後あるいは認識終了情報とほぼ同時に、認識結果から抽出した商品毎の商品金額等の情報を送信するのが好ましい。ここで、例えば、認識結果から抽出された情報は、各商品が分類されている項目（例えば、食費、日用品費等）が付された、家計簿様式に変換されている。家計簿様式とは、一般的には、日付、商品名、項目、商品単価、購入数量、商品毎の商品金額、合計等が一覧可能な表の様式を示す。具体的な表示項目（内容）、表示方法（例えば、縦書き、横書き等のフォーマット）等については、特に規定するものではないが、少なくとも商品毎の商品金額は表示内容に含まれている。

本発明の購入情報管理装置によれば、情報管理装置で、ユーザが送信したレシートの画像情報からレシートに表示されている情報が認識されると、端末装置に「認識終了情報」が送信される。これにより、ユーザは、送信したレシートの画像情報が認識されたことを確認することができ、安心感が生じる。そして、「認識終了情報」が送信されない場合には、ユーザはレシートの画像情報が認識されていないことを知り、レシートの画像情報を再送する等の対策を講じることができる。したがって、ユーザにとって、購入情報の入力操作が簡単であるとともに使い勝手が向上することとなった。

（請求項２に記載の発明）
請求項２に記載の発明によれば、端末装置と、情報管理装置とを備える購入情報管理装置が構成される。
端末装置は、画像情報取得手段と、端末側処理手段とを有している。
この画像情報取得手段は、商品毎の商品金額と合計金額を含む情報が表示されているレシートの画像情報を取得する。また、端末側処理手段は、画像情報取得手段で取得したレシートの画像情報を情報管理装置に送信し、情報管理装置から受信したエラー情報を出力手段に出力する。
また、情報管理装置は、認識手段と、管理側処理手段とを有している。
この認識手段は、受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する。また、管理側処理手段は、認識手段から出力された認識結果から商品毎の商品金額と合計金額を抽出するとともに、抽出した商品毎の商品金額の合計金額を算出し、さらに、算出した合計金額と前記抽出した合計金額を比較し、算出した合計金額と抽出した合計金額が一致していない場合にはエラー情報を、レシートの画像情報を送信した端末装置に送信する。

「エラー情報」を出力手段から出力する態様としては、レシートの画像情報から抽出した商品毎の商品金額から算出した合計金額とレシートの画像情報から抽出した合計金額が一致していないことをユーザが認識することが可能な態様であればよい。例えば、エラーメールを端末装置に送信して端末装置に設けられている表示手段にエラーメッセージを表示する態様、ユーザ端末装置にエラー情報を送信して端末装置に設けられているＬＥＤ等の表示灯を点灯させる態様や端末装置に設けられている表示手段にエラーメッセージを表示させる態様や端末装置に設けられている音声出力手段から報知音を発生させる態様等、種々の態様を用いることができる。

本発明の購入情報管理装置によれば、情報管理装置で、ユーザが送信したレシートの画像情報からレシートに表示されている情報が認識され、レシートに表示されている情報から抽出した商品毎の商品金額から算出した合計金額と抽出した合計金額が一致していない場合には、端末装置にエラー情報が送信される。これにより、ユーザは、送信したレシートの画像情報の認識エラー等が発生していることを判別することができ、レシートの画像情報の再送信処理や端末装置を用いた商品毎の商品金額等の修正処理等の対策を講じることができる。したがって、ユーザにとって、購入情報の入力操作が簡単であるとともに使い勝手が向上することとなった。

（請求項３に記載の発明）
請求項３に記載の発明によれば、端末装置と、情報管理装置とを備える購入情報管理装置が構成される。
端末装置は、画像情報取得手段と、端末側処理手段とを有している。
この画像情報取得手段は、商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得する。また、端末側処理手段は、画像情報取得手段で取得したレシートの画像情報を情報管理装置に送信し、情報管理装置から受信した情報と当該情報とともに受信したレシートの画像情報を出力手段に出力する。
また、情報管理装置は、認識手段と、管理側処理手段とを有している。
この認識手段は、端末装置から受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する。また、管理側処理手段は、認識手段から出力された認識結果から抽出した情報とともに当該情報を抽出したレシートの画像情報を端末装置に送信する。
本発明の購入情報管理装置によれば、ユーザは、レシートの画像情報から抽出した情報と当該情報を抽出したレシートの画像情報を確認することができるため、抽出した情報とレシートの画像情報を対比することができる。特に、前記した、抽出した商品毎の商品金額を合計して算出した合計金額と抽出した合計金額が一致しない場合には、抽出した情報をレシートの画像情報を対比することによって、エラー箇所を容易に判別することができる。

（請求項４に記載の発明）
請求項４に記載の発明によれば、画像端末装置と、ユーザ端末装置と、情報管理装置と、記憶装置とを備えた購入情報管理装置が構成される。
画像端末装置は、画像情報取得手段と、画像側入力手段あるいは画像側記憶手段と、画像側処理手段を有している。
画像情報取得手段は、商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得する。画像側入力手段はユーザを示すユーザ識別情報を入力可能に構成されており、画像側記憶手段にはユーザ識別情報が記憶されている。また、画像側処理手段は、画像情報取得手段で取得したレシートの画像情報を画像側入力手段により入力されたユーザ識別情報あるいは画像側記憶手段に記憶されているユーザ識別情報とともに情報管理装置に送信する。
また、ユーザ端末装置は、ユーザ側入力手段あるいはユーザ側記憶手段と、ユーザ側処理手段とを有している。
ユーザ側入力手段はユーザを示すユーザ識別情報を入力可能であり、ユーザ側記憶手段にはユーザ識別情報が記憶可能である。ユーザ側処理手段は、ユーザ側入力手段により入力された、あるいはユーザ側記憶手段に記憶されているユーザ識別情報を情報管理装置に送信し、情報管理装置から受信した情報を出力手段に出力し、また、ユーザ識別情報と指示されたレシートの画像情報を示す画像情報要求信号を前記情報管理装置に送信し、前記情報管理装置から受信したレシートの画像情報を出力手段に出力する。
また、記憶装置は、情報と当該情報を抽出したレシートの画像情報をユーザ識別情報に対応させて記憶する。
また、情報管理装置は、認識手段と、管理側処理手段を有している。
認識手段は、画像端末装置からユーザ識別情報とともに受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する。
管理側処理手段は、認識手段から出力された認識結果からレシートに表示されている情報を抽出し、抽出した情報と当該情報を抽出したレシートの画像情報をレシートの画像情報とともに受信したユーザ識別情報に対応させて記憶装置に記憶させ、また、ユーザ端末装置から受信したユーザ識別情報に対応する情報を記憶装置から読み出してユーザ端末装置に送信し、さらに、ユーザ端末装置から受信した画像情報要求信号で示されているレシートの画像情報を記憶装置から読み出してユーザ端末装置に送信する。
なお、ユーザ端末装置と画像端末装置とは同一の端末装置を用いてもよい。

「指示されたレシートの画像情報を示す画像情報要求信号」としては、例えば、所定の日にちに購入した商品名、所定の日にちに購入した商品の商品単価あるいは商品金額、所定の日にちに購入した商品の合計金額、所定の日にちに商品を購入した店舗名（店舗識別情報）を示す画像情報要求信号を用いることができる。また、レシートの画像情報を指示する方法としては、例えば、レシートの画像情報から抽出した情報が端末装置に設けられている表示手段に表示されている状態で、ユーザが、前記した情報を指示する方法を用いることができる。
また、ユーザ識別情報とレシートの画像情報を指示する情報（画像識別情報）は、同時に送信してもよいし、別々に送信してもよい。

本発明の購入情報管理装置によれば、ユーザは、所望のレシートの画像情報を表示手段等に出力させることができる。これにより、レシートの画像情報を見ながら、レシートの画像情報から抽出した情報を確認することができる。

（請求項５に記載の発明）
請求項５に記載の発明によれば、請求項２〜４のいずれかに記載の購入情報管理装置に、さらに、情報修正手段が設けられている。
情報修正手段は、情報管理手段が抽出した情報が正しい情報であるか否かを判別し、正しい情報ではないことを判別した場合には、予め記憶されている情報の中から抽出した情報に対応して所定の条件を満足する情報を選択し、抽出した情報を選択した情報に修正する。
この「情報修正手段」は、認識手段、管理側処理手段とは独立して設けられていてもよいし、認識手段もしくは管理側処理手段のいずれかに含まれていても良い。
「抽出した情報」は、単語単位の情報として商品名、店舗名等、文字単位の情報として金額や日時等が含まれる。そして、「抽出した情報が正しい情報であるか否かを判別する」態様としては、抽出した情報が単語単位の情報であれば予め記憶されている情報の中に一致する単語があるか否かを判別する態様、また、抽出した情報が文字単位の情報であれば当該文字が（当該文字が表示されている位置等から判別して）適切な種類の文字であるか否か（例えば、商品金額等数字が表示されるべき位置の、文字の種類が数字であるか否か）を判別する態様等が包含される。また、「抽出した情報に対応して所定の条件を満足する情報を選択」する態様としては、例えば、抽出した情報が単語単位の情報であれば当該抽出した単語と一致率が最も高い単語（例えば、抽出した単語と予め記憶されている単語を構成する各文字の一致率の総和を算出し、一致率の総和が最も高い単語）を選択する態様、また、抽出した情報が文字単位の情報であれば当該抽出した文字と一致率が最も高い文字を選択する態様等が包含される。
また、「予め記憶されている情報」としては、抽出した情報が正しいか否かを判別することが可能な情報が用いられる。例えば、商品名や店舗名等の単語単位の情報や、文字や数字等の文字単位の情報が用いられる。また、これらの情報は、端末装置等で文字入力を行う時に用いられる辞書に記憶されている情報や、店舗等で販売されている商品名や店舗名等の情報を記憶する情報データベースに記憶されている情報等が用いられる。
本発明の購入情報管理装置によれば、認識結果から抽出した情報が誤っている場合に、正しい情報に修正されるため、ユーザは正確な情報を取得することができる。

（請求項６に記載の発明）
請求項６に記載の発明によれば、画像端末装置と、ユーザ端末装置と、情報管理装置と、記憶装置とを備えた購入情報管理装置が構成される。
画像端末装置は、画像情報取得手段と、画像側入力手段あるいは画像側記憶手段と、画像側処理手段を有している。
画像情報取得手段は、商品毎の商品金額及び個人識別情報を含む情報が表示されているレシートの画像情報を取得する。画像側入力手段はユーザを示すユーザ識別情報を入力可能に構成されており、画像側記憶手段にはユーザ識別情報が記憶されている。画像側処理手段は、画像情報取得手段で取得したレシートの画像情報を、画像側入力手段により入力されたユーザ識別情報あるいは画像側記憶手段に記憶されているユーザ識別情報とともに情報管理装置に送信する。
また、ユーザ端末装置は、ユーザ側入力手段あるいはユーザ側記憶手段と、ユーザ側処理手段とを有している。
ユーザ側入力手段はユーザを示すユーザ識別情報及び個人識別情報を入力可能であり、ユーザ側記憶手段にはユーザ識別情報及び個人識別情報が記憶可能である。ユーザ側処理手段は、ユーザ側入力手段により入力された、あるいはユーザ側記憶手段に記憶されているユーザ識別情報と個人識別情報を情報管理装置に送信し、情報管理装置から受信した情報を出力手段に出力する。
また、記憶装置は、情報をユーザ識別情報及び個人識別情報毎に対応させて記憶する。
また、情報管理装置は、認識手段と、管理側処理手段を有している。
認識手段は、画像端末装置からユーザ識別情報とともに受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する。
管理側処理手段は、認識結果からレシートに表示されている情報と個人識別情報を抽出し、抽出した情報を、レシートの画像情報とともに受信したユーザ識別情報及び個人識別情報に対応させて記憶装置に記憶させ、また、ユーザ端末装置から受信したユーザ識別情報及び個人識別情報に対応する情報を記憶装置から読み出してユーザ端末装置に送信する。
なお、ユーザ端末装置と画像端末装置とは同一の端末装置を用いてもよい。

「個人識別情報」としては、同じユーザ識別情報を複数人で使用する場合に、個人を区別することが可能な識別情報であればよい。例えば、予め、登録した個人別のマーク、記号、個人ＩＤ等が好適に用いられる。なお、レシートに表示される個人識別情報と、端末装置から送信するユーザ識別情報が異なる場合には、レシートに記入される個人識別情報と端末装置から送信される個人識別情報の対応関係を記憶させておく必要がある。例えば、レシートには個人別のマークを記入し、端末装置からは個人ＩＤを送信する場合には、個人別のマークと個人ＩＤの対応関係を記憶させておく。
本実施の形態の購入情報管理装置によれば、レシートの画像情報から抽出した情報をユーザ毎及び個人毎に管理することができるため、利便性が向上する。

本発明によれば、レシートに表示されている情報の入力操作が簡単であるとともに、使い勝手がよい購入情報管理装置を提供されることとなった。

（第１の実施の形態）
以下に、本発明を実施する最良の形態の一例につき、図１〜図６を参照しつつ説明する。本実施の形態では、ユーザは、ユーザ端末装置（例えば、携帯電話機やパソコン等）に設けられている撮像装置（例えば、カメラやスキャナ）から、購入情報（例えば、購入した商品の商品情報、店舗名や購入日等）を含む情報が印刷等によって表示されているレシートの画像情報を情報管理装置に送信し、情報管理装置は、受信したレシートの画像情報からレシートに表示されている情報を認識し、認識終了情報をユーザ端末装置に送信するとともに、認識結果から購入情報（例えば、商品名、商品毎の商品金額、合計金額等）を抽出し、抽出した購入情報をユーザ端末装置に送信する。
本実施の形態の概略構成図を図１に示す。図２には、ユーザが、レシート情報から抽出した購入情報をユーザ端末装置で取得する手順を示す。図３、図５には、情報管理装置が、レシートの画像情報の認識結果（レシートの画像情報から認識したレシートの表示情報）から抽出した購入情報を示す。図４、図６には、ユーザ端末装置（例えば、携帯電話機やパソコン）が情報管理装置から受信する、家計簿の様式に変換された購入情報（以降、「家計簿情報」と称呼する）の一例を示す。

図１に示すように、本実施の形態の購入情報管理装置１は、情報管理装置１０、携帯電話機２０、携帯電話機の基地局３０等により構成されている。情報管理装置１０、基地局３０等は、インターネット等の通信回線４０により接続されている。そして、携帯電話機２０と、情報管理装置１０との間の通信は、通信回線４０、携帯電話機２０の通信を管理している通信事業者の基地局３０を介して行われる。
なお、携帯電話機２０と情報管理装置１０との間の通信は、図１に示した通信経路以外にも種々の通信経路を介して実行可能である。
本実施の形態では、携帯電話機２０が本発明の「端末装置」に対応し、また、「画像端末装置」及び「ユーザ端末装置」に対応する。

携帯電話機２０は、カメラ２１、ユーザ側処理手段２２等を備えている。
カメラ２１は、購入情報を含む情報が表示されているレシートを撮像して、レシートの画像情報を取得する。
ユーザ側処理手段２２は、カメラ２１で取得したレシートの画像情報を情報管理装置１０に送信する処理を実行する。また、ユーザ側処理手段２２は、情報管理装置１０から携帯電話機２０に送信された認識終了情報あるいはエラー情報や家計簿情報を受信して出力手段（図示省略）に出力する（例えば、表示手段に表示する）処理を実行する。
情報管理装置１０には、記憶装置１１が接続されている。
記憶装置１１には、商品名を項目（例えば、食品、日用品、衣服等の支出項目）に分類する項目分類データベース１１ａが設けられている。
情報管理装置１０は、認識手段１０ａ、管理側処理手段１０ｂ等を備えている。
認識手段１０ａは、携帯電話機２０から受信したレシートの画像情報から、ＯＣＲ読み取り等によって、レシートに表示されている情報を認識して認識結果を出力する。
管理側処理手段１０ｂは、認識手段１０ａから出力された認識結果から、購入情報（例えば、商品名、商品毎の商品金額、合計金額等）を抽出し、抽出した購入情報と記憶装置１１に記憶されている項目分類データベース１１ａに基づいて、抽出した購入情報を家計簿の様式に変換した家計簿情報を、レシートの画像情報を送信した携帯電話機２０に送信する処理を実行する。
なお、商品毎の商品金額は、［商品単価×数量］を表している。また、合計金額には、全合計金額だけでなく部分合計金額も含まれる。
ユーザ側処理手段２２、認識手段１０ａ、管理側処理手段１０ｂは、ソフトウェアで構成してもよいし、ハードウェアで構成してもよい。

次に、図２を用いて、本実施の形態の動作を説明する。
ユーザは、ステップＳ１０で、店舗で商品を購入した際に店舗のレジで発行されたレシートを携帯電話機２０のカメラ２１で撮影する。なお、レシートには、店舗名、日付、商品名、商品単価、数量、商品毎の商品金額、合計金額等が表示されている。
そして、ステップＳ１１で、ユーザは、携帯電話機２０を用いてメールを作成し、ステップＳ１０で撮影したレシートの画像情報をメールに添付し、宛先に情報管理装置１０のメールアドレスを設定して送信する。この際、情報管理装置１０には、レシートの画像情報とともに、携帯電話機２０のメールアドレスが送信される。
ステップＳ１２では、情報管理装置１０の認識手段１０ａは、携帯電話機２０から受信したレシートの画像情報から、レシートに表示されている情報をＯＣＲ読み取りし、認識結果を出力する。
ステップＳ１３では、認識手段１０ａから認識結果が出力されたことにより、管理側処理手段１１ｂは、当該レシートの画像情報とともに受信した携帯電話機２０のメールアドレスに、画像認識終了を示す画像認識終了情報を含むメール（認識終了メール）を送信する。携帯電話機２０は、情報管理装置１０から画像認識終了情報を含むメール（認識終了メール）を受信すると、出力手段から、画像認識が終了したことを示す報知情報が出力される。例えば、携帯電話機２０の表示手段に、「画像認識が終了しました。」というメッセージが表示される。あるいは、ＬＥＤ等の表示灯が点灯する。これにより、ユーザに安心感を持たせることができる。
ステップＳ１４では、管理側処理手段１０ｂは、認識手段１０ａから出力された認識結果から、購入情報を抽出する。そして、抽出した購入情報を、図３に示すように、情報管理装置１０の記憶手段に一時的に記憶する。図３では、携帯電話機２０のメールアドレス（ｔ１）に対応させて、受信時刻（ｔ２）と購入情報（ｔ３）が記憶されている。購入情報（ｔ３）としては、家計簿の様式で用いられる、［日付］、［商品名］、［数量］、［商品単価］、［商品金額］、［店舗名］、［合計金額］が記憶されている。また、抽出した［商品名］に対応する［項目］が、記憶回路１２の項目分類データベースから読み出され、購入情報として記憶されている。
ステップＳ１５では、管理側処理手段１０ｂは、一時的に記憶されている購入情報（ｔ３）を家計簿の様式に変換した家計簿情報を含むメールを、レシートの画像情報とともに受信した携帯電話機２０のメールアドレスに送信する。家計簿情報に変換された購入情報の１例を図４に示す。図４に示す家計簿情報に変換された購入情報には、図３に示した購入情報に項目合計金額（ｕ１）が追加されている。項目合計金額（ｕ１）は、同一項目に含まれる商品毎の商品金額を合計したものである。例えば、図４に示す家計簿情報では、（食パン）と（牛乳）は同一の［食品］の項目に含まれることにより、商品金額が合計され（１３８＋３３６＝４７４）て、項目合計金額（ｕ１）に表示されている。

また、ユーザが複数のレシートの画像情報を纏めて送信した場合、例えば、所定時間内に複数のレシートの画像情報を送信した場合には、複数のレシートの画像情報それぞれから抽出した購入情報を家計簿情報に変換したものを送信してもよい。
例えば、図５に示すように、携帯メールアドレス［sun@aweb.ne.jp］が設定されている携帯電話機２０から、２００４年４月２１日のＡＭ１０：００に第１回目のレシートの画像情報、２００４年４月２１日のＡＭ１０：０３に第２回目のレシートの画像情報、２００４年４月２１日のＡＭ１０：１０に第３回目のレシートの画像情報が送信され、各レシートの画像情報から抽出した購入情報が一時記憶されているものとする。
ここで、管理側処理手段１０ｂが、同じユーザには、３０分以内に受信したレシートの画像情報から抽出した購入情報を家計簿の様式に変換して纏めて送信するように設定されている場合には、携帯メールアドレス［sun@aweb.ne.jp］が設定されている携帯電話機２０から送信された３回のレシートの画像情報から抽出した購入情報（図５）は、家計簿情報に変換されて（図６）携帯メールアドレス［sun@aweb.ne.jp］に送信される。ここで、複数の購入情報を家計簿情報に変換する場合には、各レシート毎の家計簿情報に分けてもよいが、日付毎に纏めるのが好ましい。
この場合、画像認識終了情報を含むメール（認識終了メール）は、各レシートの画像情報の認識が終了する毎に送信してもよいし、複数のレシートの画像情報の認識が終了した後に送信してもよい。
図６は、各レシートの家計簿情報を日付毎に纏めた例を示している。すなわち、４月２０日付けの第１回目のレシートと第２回目のレシートの購入情報と４月２１日付けのレシートの購入情報を纏めて家計簿情報に変換している。
本実施の形態では、「認識終了を示す認識終了情報」が、本発明の「認識終了情報」に対応し、レシートの画像情報から抽出した「購入情報」が、本発明の「商品毎の商品金額」に対応する。
なお、本実施の形態では、ユーザは携帯電話機２０を用いて情報管理装置１０にレシートの画像情報を送信したが、例えば、店舗に設けられている端末装置やＰＣを用いて送信してもよい。

本発明の購入情報管理装置１によれば、情報管理装置１０は、ユーザが携帯電話機２０から送信したレシートの画像情報からレシートに表示されている情報を認識すると、携帯電話機２０に「認識終了情報」を含むメールを送信する。これにより、ユーザは、送信したレシートの画像情報が認識されたことを確認することができるため、ユーザに安心感を与えることができる。

（第２の実施の形態）
次に、第２の実施の形態を、図７〜図１４を参照しつつ説明する。
本実施の形態では、ユーザは、画像端末装置（例えば、店舗に設けられた端末装置、携帯電話機、パソコン等）から、購入情報が表示されているレシートの画像情報をユーザ識別情報（例えば、ユーザカードに記憶されているユーザ識別情報、入力キー等の入力手段で入力されたユーザ識別情報、端末装置に設けられている記憶手段に記憶されているユーザ識別情報等）とともに情報管理装置に送信し、情報管理装置は、ユーザ識別情報とともに受信した画像情報からレシートに表示されている情報を認識するとともに、認識結果から購入情報を抽出し、抽出した購入情報に基づいて抽出した購入情報が正しいか否かを判別し、正しいと判別した場合には、抽出終了情報を画像端末装置に送信するとともに、抽出した購入情報をユーザ識別情報に対応させて記憶装置に記憶させ、正しくないと判別した場合には、エラー情報を画像端末装置に送信する。また、ユーザは、ユーザ端末装置（例えば、携帯電話機、パソコン等）からユーザ識別情報を情報管理装置に送信し、情報管理装置は、受信したユーザ識別情報に対応する購入情報を記憶装置から読み出したユーザ端末装置に送信する。

本実施の形態の概略構成図を図７に示す。図８には、ユーザが、画像端末装置（例えば、店舗に設けられた端末装置）から情報管理装置にレシートの画像情報を送信する手順を示す。図９には、ユーザが、ユーザ端末装置（例えば、パソコン）で情報管理装置から購入情報を受信する手順を示す。図１０は、記憶装置１１１に設けられているユーザ情報データベース１１１ａ、図１１は、記憶装置１１１に設けられている項目分類データベース１１１ｂ、図１２はユーザ端末装置でエラー情報を受信した時にユーザ端末装置の表示手段に表示される表示画面の一例を示す。

図７に示すように、本実施の形態の購入情報管理装置２は、情報管理装置１１０、記憶装置１１１、画像端末装置１２０、ユーザ端末装置１３０等により構成されている。情報管理装置１１０、画像端末装置１２０、ユーザ端末装置１３０等は、インターネット等の通信回線１４０により接続されている。なお、情報管理装置１１０、画像端末装置１２０、ユーザ端末装置１３０との間の通信は、図７に示した通信経路以外にも種々の通信経路を介して実行可能である。

画像端末装置１２０は、画像側処理手段１２１、画像情報取得手段１２２、ユーザＩＤ入力手段、表示手段１２４等を備えている。
画像情報取得手段１２２は、購入情報を含む情報が印刷等により表示されているレシートを撮像し、画像情報を取得する。画像情報取得手段１２２としては、スキャナやカメラ等が用いられる。
ユーザＩＤ入力手段１２３は、画像情報取得手段１２２が取得した画像情報とともに情報管理装置１１０に送信される、ユーザ識別情報としてのユーザＩＤを入力する。ユーザＩＤ入力手段としては、例えば、ユーザカードに記憶されているユーザＩＤ（あるいは、会員カードに記憶されている会員ＩＤ）を読み取る読取装置、ユーザＩＤを直接入力する入力キー等が用いられる。ユーザＩＤ入力手段に代えて、ユーザＩＤが記憶されている記憶手段を用いることもできる。
表示手段１２４は、情報管理装置１１０から受信した抽出終了情報やエラー情報を出力する出力手段として用いられる。表示手段としては、液晶表示装置やＬＥＤ等が用いられる。出力手段としては、表示手段以外の種々の出力手段を用いることができる。
画像側処理手段１２１は、画像情報取得手段１２２で取得したレシートの画像情報とユーザＩＤ入力手段１２３で入力されたユーザＩＤを情報管理装置１１０に送信する処理、情報管理装置から送信された抽出終了情報あるいはエラー情報を受信して表示手段１２４等の出力手段に出力する処理を実行する。
画像端末装置１２０としては、店舗に設けられた端末装置、携帯電話機、パソコン等を用いることができる。

また、ユーザ端末装置１３０は、ユーザ側処理手段１３１、ユーザＩＤ入力手段１３２、表示手段１３３等を備えている。
ユーザＩＤ入力手段１３２は、ユーザ識別情報としてのユーザＩＤを情報管理装置１１０に入力する。ユーザＩＤ入力手段１３２としては、例えば、ユーザカードに記憶されているユーザＩＤを読み取る読取装置、ユーザＩＤを直接入力する入力キー等が用いられる。ユーザＩＤ入力手段に代えて、ユーザＩＤが記憶されている記憶手段を用いることもできる。
表示手段１３３は、情報管理装置１１０から受信した家計簿情報を出力する出力手段として用いられる。表示手段としては、液晶表示装置やＬＥＤ等が用いられる。出力手段としては、表示手段以外の種々の出力手段を用いることができる。
ユーザ側処理手段１３１は、ユーザＩＤ入力手段１３２で入力されたユーザＩＤを情報管理装置１１０に送信する処理、情報管理装置１１０から送信された家計簿情報を受信して表示手段１３３等の出力手段に出力する処理を実行する。
ユーザ端末装置１３０としては、携帯電話機、パソコン等を用いることができる。

情報管理装置１１０には、記憶装置１１１が接続されている。
記憶装置１１１には、ユーザ情報データベース１１１ａと項目分類データベース１１１ｂが設けられている。
ユーザ情報データベース１１１ａには、レシートの画像情報から抽出した購入情報が、ユーザＩＤに対応させて記憶されている。
また、項目分類データベース１１１ｂには、商品名と項目（例えば、食品、日用品、衣服等の支出項目）との対応関係が記憶されている。
また、情報管理装置１１０には、認識手段１１０ａ、管理側処理手段１１０ｂ等を備えている。
認識手段１１０ａは、画像端末装置１２０からユーザＩＤとともに受信したレシートの画像情報から、レシートに表示されている情報をＯＣＲ読み取りして認識結果（レシートに表示されている情報）を出力する。
管理側処理手段１１０ｂは、認識手段１１０ａにより認識した認識結果から購入情報を抽出する処理（購入情報抽出手段）、抽出した購入情報に基づいて、抽出した購入情報が正しいか否かを判別する判別処理（判別手段）、抽出した購入情報が正しいことを判別した場合には、画像情報を送信した画像端末装置１２０に抽出終了情報を送信するとともに、抽出した購入情報を、レシートの画像情報とともに受信したユーザＩＤに対応させて記憶装置１１１のユーザ情報データベース１１１ａに記憶させ、正しくないことを判別した場合には、画像情報を送信した画像端末装置１２０にエラー情報を送信する処理（エラー判別手段）を実行する。
本実施の形態の画像端末装置１２０が本発明の「画像端末装置」に対応し、ユーザ端末装置１３０が本発明の「ユーザ端末装置」に対応する。また、画像端末装置１２０に設けられているユーザＩＤ入力手段１２３、表示手段１２４が本発明の「画像側入力手段」、「出力手段」に対応し、ユーザ端末装置１３０のユーザＩＤ入力手段１３２、表示手段１３３が本発明の「ユーザ側入力手段」、「出力手段」に対応する。
なお、各手段は、ソフトウェアで構成してもよいし、ハードウェアで構成してもよい。

次に、図８、図９を用いて、本実施の形態の動作を説明する。
まず、図８を用いて、画像端末装置１２０から情報管理装置１１０にレシートの画像情報を送信し、情報管理装置１１０が、受信したレシートの画像情報から購入情報を抽出してユーザ情報データベース１１１ａに記憶させる動作を説明する。
ユーザは、ステップＳ２０で、画像端末装置１２０の、カード挿入口（図示省略）にユーザカード（あるいは、会員カード）を挿入する。画像端末装置１２０のユーザＩＤ入力手段１２３は、カード挿入口に挿入されたユーザカードに記憶されているユーザＩＤ（あるいは、会員カードに記憶されている会員ＩＤ）を読み取る。なお、ユーザＩＤ入力手段１２３に設けられている入力キー等を用いてユーザＩＤを入力してもよい。また、画像端末装置１２０の記憶手段に記憶されているユーザＩＤを用いる場合には、ユーザＩＤを入力するための操作は不要である。
次に、ユーザは、ステップＳ２１で、画像情報取得手段（例えば、スキャナ）１２２を用いて、店舗で商品を購入した際に店舗のレジで発行されたレシートの画像情報を取得する。
そして、ユーザは、ステップＳ２２で、ステップＳ２１で取得したレシートの画像情報を、ステップＳ２０で読み取ったユーザＩＤとともに画像端末装置１２０から情報管理装置１１０に送信する。例えば、画像端末装置１２０に設けられている送信キー（図示省略）を操作する。
ステップＳ２３では、情報管理装置１１０の認識手段１１０ａは、ＯＣＲ読み取により、画像端末装置１２０から受信したレシートの画像情報からレシートに表示されている情報（認識結果）を出力する。

ステップＳ２４では、情報管理装置１１０の管理側処理手段１１０ｂは、認識手段１１０ａから出力された認識結果から、購入情報を抽出する。例えば、日付、商品名、数量、商品単価、商品金額、合計金額等を抽出する。
ステップＳ２５では、抽出した商品金額の合計金額を算出し、算出した合計金額とステップＳ２４で抽出した合計金額が一致しているか否かを判別する。
算出した合計金額と抽出した合計金額が一致していないことを判別した場合には、ステップＳ２６で、画像端末装置１２０にエラー情報を送信する。画像端末装置１２０の画像側処理手段１２１は、情報管理装置１１０からエラー情報を受信すると、出力手段によりレシートの画像情報から購入情報を正しく抽出することができなかったことを報知する。例えば、表示手段１２４に図１２に示すエラー報知画面を表示する。図１２に示すエラー報知画面では、２分割された画面の一方に抽出した購入情報が、他方に当該購入情報を抽出したレシートの画像情報が表示される。このように、抽出した購入情報とレシートの画像情報を同一画面に表示することにより、間違っている（間違って認識している）購入情報を容易に判別することができる。
画像端末装置１２０の表示手段１２４にエラー報知画面が表示された場合、ユーザは、種々の対応が可能である。
図１２に示すエラー報知画面が表示されている場合には、間違っている（間違って認識されている）購入情報をユーザが入力キー等（図示省略）を用いて修正することができる。これ以外にも、レシートの画像情報を再度送信できるようにすることもできる。
算出した合計金額と抽出した合計金額が一致していることを判別した場合には、ステップＳ２７で、画像端末装置１２０に抽出終了情報を送信するとともに、ステップＳ２８で、抽出した購入情報を記憶装置１１１のユーザ情報データベース１１１ａに、レシートの画像情報とともに受信したユーザＩＤに対応させて記憶する。画像端末装置１２０は、情報管理装置１１０から抽出終了情報を受信すると、出力手段に抽出終了を示す報知情報を出力する。例えば、表示手段１２４に、「抽出が終了しました。」というメッセージを表示する。これにより、ユーザは、購入情報が正しく認識及び抽出されたことを判別することができるため、ユーザに安心感を与えることができる。

次に、図９を用いて、ユーザが、ユーザ端末装置（例えば、携帯電話機、パソコン）を用いて家計簿情報を受信する動作を説明する。
まず、ステップＳ３０で、ユーザは、ユーザ端末装置１３０を用いて情報管理装置１１０のＷｅｂサイトにアクセスする。このＷｅｂサイトには、ユーザＩＤ毎の家計簿情報を表示可能な機能を有するページが設けられていて、ユーザは当該ページから家計簿情報を表示することを選択する。これにより、ユーザ端末装置１３０から情報管理装置１１０に家計簿情報要求信号が送信される。
次に、ステップＳ３１で、情報管理装置１１０は、ユーザ端末装置１３０にユーザＩＤを問い合わせる。
ユーザは、ステップＳ３２で、ユーザ端末装置１３０の入力キー等の入力手段を用いてユーザＩＤを入力する。これにより、ユーザ端末装置１３０からユーザＩＤが情報管理装置１１０に送信される。
情報管理装置１１０は、ユーザＩＤを受信すると、ステップＳ３３で、入力されたユーザＩＤに対応する購入情報（ｖ３）をユーザ情報データベース１１１ａから読み出す（併せて、図１０参照）。
そして、ステップ３４で、情報管理装置１１０の管理側処理手段１１０ｂは、ユーザ情報データベース１１１ａから読み出した、入力されたユーザＩＤに対応する購入情報を家計簿の様式に変換して、ユーザＩＤを送信したユーザ端末装置１３０に送信する。これにより、ユーザ端末装置１３０の表示手段１３３には、家計簿情報が表示される。

本実施の形態の購入情報管理装置によれば、画像端末装置１２０から情報管理装置１１０にレシートの画像情報がユーザ識別情報とともに送信された時、情報管理装置１１０は、受信したレシートの画像情報から抽出した購入情報に基づいて抽出した購入情報が正しいか否かを判別し、正しくない場合には、画像端末装置にエラー情報を送信し、正しい場合には、抽出情報を画像端末装置に送信するとともに、抽出した購入情報を受信したユーザ識別情報に対応させてユーザ情報データベースに記憶させる。
これにより、ユーザは、送信したレシートの画像情報から購入情報を正しく認識できたか否かを判別することができるため、ユーザに安心感を与えることができる。
また、正しく購入情報を認識することができなかった場合、当該購入情報を抽出したレシートの画像情報が表示されるため、購入情報の修正が容易である。

第２の実施の形態では、記憶装置１１１のユーザ情報データベース１１１ａに、受信したレシートの画像情報から抽出した購入情報を記憶させ、ユーザ端末装置に送信する時に、ユーザ情報データベースに記憶されている購入情報を家計簿様式の購入情報に変換したが、受信したレシートの画像情報から購入情報を抽出し、抽出した購入情報を家計簿様式の購入情報に変換してユーザ情報データベース１１１ａに記憶させてもよい。
また、第２の実施の形態では、情報管理装置１１０から送信されるエラー情報は、画像端末装置１２０に送信されたが、エラー情報は、ユーザ端末装置に送信されるように構成されていてもよい。
また、ユーザ端末装置１３０を用いてユーザが家計簿情報を閲覧している際に、例えば、表示されている家計簿情報の中でユーザが指定した所定の購入情報を抽出したレシートの画像情報を、チェック可能に構成されていてもよい。この場合、ユーザが所定の購入情報を指定することにより、ユーザ端末装置１３０から情報管理装置１１０に、当該所定の購入情報を抽出したレシートの画像情報の要求信号が出力される。
例えば、ユーザ情報データベース１１１ａに、レシートの画像情報から抽出した購入情報と当該購入情報を抽出したレシートの画像情報の対応関係をユーザ識別情報毎に記憶させておく。そして、ユーザは、レシートの画像情報から抽出した購入情報がユーザ端末装置１３０の表示手段に表示されている状態で、所定の日にちに購入した商品名、所定の日にちに購入した商品の商品単価あるいは商品金額、所定の日にちに購入した商品の合計金額、所定の日にちに商品を購入した店舗名（店舗識別情報）を示す画像情報要求信号を指示することにより、指示された購入情報、すなわち、指示された購入情報が表示されているレシートの画像情報を示す画像要求信号が出力される。管理側処理手段１２１は、ユーザ端末装置から送信されたユーザ識別情報と指示された購入情報に対応するレシートの画像情報をユーザ情報データベース１１１ａから読み出してユーザ端末装置１３０に送信する。これにより、ユーザ端末装置１３０の表示手段１２４の画面が２分割された画面の一方に家計簿情報が、他方に当該所定の購入情報を抽出したレシートの画像情報が表示される。このように、抽出した購入情報とレシートの画像情報を同一画面に表示することにより、容易にチェックすることができる。

なお、記憶装置に、店舗情報データベースを設けてもよい。
例えば、画像端末装置１２０からレシートの画像情報を情報管理装置１１０に送信した時、情報管理装置１１０の認識手段１１０ａは、受信したレシートの画像情報からレシートに表示されている情報を認識する。一般的に、レシートには、店舗名が表示されているため、認識結果から管理側処理手段１１０ｂが購入情報を抽出する際に、商品名、商品単価、数量、商品金額、合計金額とともに店舗名を抽出することができる。そして、レシートの画像情報から抽出した購入情報を店舗名に対応させて記憶する。
このように、店舗データベースを設けることにより、店舗毎の売上情報（例えば、商品毎の売上数量、商品毎の売上金額、合計売上金額等）を集計することができる。
各店舗は、このようにして収集した店舗の売上情報に基づいて、ユーザの購入動向等を把握することができ、ダイレクトメール送付や広告等適切な宣伝活動を行うことができるとともに、仕入れ商品や仕入れ数量を効率よく決定することができる。
また、本実施の形態では、ユーザは画像端末装置１２０を用いて情報管理装置１０にレシートの画像情報を送信したが、例えば、ユーザ端末装置１３０を用いて送信してもよい。

（第３の実施の形態）
次に、第３の実施の形態を説明する。
本実施の形態では、情報管理装置は、さらに、情報修正手段を備えている。情報修正手段は、情報管理装置の管理側処理手段が、レシートの画像情報の認識結果から抽出した情報の単語（例えば、商品名や店舗名）を修正することができる。

本実施の形態では、抽出した情報が正しいか否かを、予め記憶されている情報との一致率を算出することにより判別する。さらに、予め記憶されている情報の中で、一致率が最も高い情報を選択し、抽出した情報を選択した情報により修正する。予め記憶されている情報としては、端末装置で用語の入力装置を行う際に用いられる辞書に登録されている情報を用いることもできるし、店舗等で販売されている商品名や店舗名等の情報をユーザ情報データベース１１１ａに記憶させ、このユーザ情報データベース１１１ａに記憶されている情報を用いることもできる。本実施の形態では、ユーザ情報データベース１１１ａに記憶されている情報を用いている。
ここで、図７に示した情報管理装置１１０に情報修正手段が設けられている場合について説明する。
例えば、図８に示すステップＳ２４で、管理側処理手段１１０ｂが、商品名「ヤナイ」という単語を抽出したものとする。この場合、情報修正手段は、抽出した商品名「ヤナイ」とユーザ情報データベース１１１ａに記憶されている情報との一致率を算出する。この場合、抽出した商品名「ヤナイ」が３文字であるため、ユーザ情報データベース１１１ａから３文字の情報（商品名）を選択する。そして、抽出した商品名「ヤナイ」と選択した情報の一致率を算出する。例えば、各文字毎の一致率の総和を算出する。そして、一致率が１００％である（完全に一致する）情報が存在するか否かを判断する。完全に一致する情報が存在する場合には、正しい商品名が抽出されたものと判断する。
前記した場合、完全に一致する情報が存在しないため、ユーザ情報データベース１１１ａに記憶されている情報の中から一致率が最も高い情報を選択する。例えば、一致率が最も高い情報「ヤサイ」を選択する。そして、情報修正手段は、抽出した情報「ヤナイ」を、選択した情報「ヤサイ」に修正する。

ところで、一般的に、同じ店舗や同じグループの店舗のレシートは同一のフォーマットで印字される。例えば、「○△スーパー」のレシートは、１行目に「店舗名」（○△スーパー）、２行目に「日時」（××時××分）、３行目以降に「商品名」「商品単価」「数量」が印字される。このため、レシートのフォーマットが分かっている場合には、抽出した情報のレシート上での表示位置が分かれば、抽出した情報を修正することができる場合がある。
そこで、情報管理装置側の記憶装置に、各レシートのフォーマットを店舗あるいは店舗のグループに対応させて記憶させておく。
いま、管理側処理手段１１０ｂが、レシートの１行目に表示されている情報「○△スーパー」を抽出し、２行目に表示されている情報「１５＿１３分」を抽出したものとする。この場合、情報修正手段は、レシートの１行目の情報「○△スーパー」から、「○△スーパー」に対応するレシートは、２行目に購入時刻が表示されるフォーマットであることを判別する。この結果、レシートの２行目の情報「１５＿１３分」は時刻を表示しているものと判別し、抽出した情報「１５＿１３分」を「１５時１３分」に修正する。
また、管理側処理手段１１０ｂが、レシートの１行目に表示されている情報「○△スーパー」を抽出し、２行目に表示されている情報「１５時１Ｚ分」を抽出したものとする。この場合、情報修正手段は、レシートの１行目の情報「○△スーパー」から、「○△スーパー」に対応するレシートは、２行目に購入時刻が表示されるフォーマットであることを判別する。この結果、レシートの２行目の情報「１５時１Ｚ分」は時刻を表示しているが、数字が抽出されるべき分の位の文字に“Ｚ”が抽出されているので、これは誤って抽出された文字であり、「１５時１Ｚ分」は正しい情報ではないことを判別する。そして、文字“Ｚ”を表示する情報と最も一致率が高い数字“２”を（数字“０”〜数字“９”の候補の中から）選択し、文字“Ｚ”を数字“２”に修正する。
なお、レシートの画像情報から抽出した情報に基づいて、レシートのフォーマットを判別するようにしてもよい。
本実施の形態によれば、レシートの画情報から正しい情報を抽出できなかった場合に、予め記憶されている単語や、レシートのフォーマット等を用いて正しい情報に修正することができる。したがって、抽出された購入情報の信頼性が高くなる。

（第４の実施の形態）
次に、第４の実施の形態を、図１３〜図１７を参照しつつ説明する。
複数人で１つのユーザ識別情報を用いる場合、各人毎の購入情報を管理したい場合がある。例えば、家族で１つのユーザ識別情報を用いる場合、家族の構成員毎に購入情報を管理したい場合がある。
本実施の形態では、画像端末装置でレシート画像を読み取らせる際に、レシートに個人毎に異なる個人別マークを記入しておき、この個人別マークを個人分類情報（個人識別情報）として用いる。
ユーザ端末装置に表示される個人別マークの登録画面の一例を図１３に示す。また、各個人がレシートに個人別マークを記入して画像端末装置でレシートの画像情報を読み取らせる態様を図１４に示す。また、この際に記憶装置に記憶されるユーザ情報データベースの一例を図１５に示す。また、ユーザ識別情報に対応する個人別マークを記憶している個人分類データベースを図１６に示す。また、ユーザ端末装置に表示される情報の選択画面を図１７に示す。

例えば、“父”“母”“娘”の３人が同一ユーザＩＤ“１０１００４”を用いるものとする。この場合、まず、ユーザ端末装置を用いて各３人の個人別マークを登録する。
ユーザ端末装置には、所定の操作を選択することで、図１３に示す個人マーク登録画面が表示される。個人マーク登録画面には「名前と個人マークを記入して下さい。」というメッセージとともに、名前記入欄、マーク記入欄が表示されている。そこで、名前欄にキーボードを用いて各３人の名前（情報の表示に用いる名称であって、本名である必要はない。）を入力し、各３人を識別する個人別マークをマウス等を用いて入力する。なお、記入の方法や画面の表示内容はこれに限定されるものではなく、種々の方法が考えられる。
これにより、図１６に示すように、記憶装置の個人分類データベースにユーザＩＤ“１０１００４”に対応する各３人の個人別マークが記憶される。ここでは、名前“父”に対応して個人別マーク“○”、名前“母”に対応して個人別マーク“△”、名前“娘”に対応して個人別マーク“◎”が記憶されている。

そこで、図１４に示すように、ユーザ“娘”が、画像端末装置２２０にユーザＩＤ“１０１００４”を入力し、画像端末装置２２０のスキャナを用いてレシート画像情報を取得する。この際、ユーザ“娘”はレシートに予め登録した個人別マーク“◎”を記入しておく。
そして、ユーザ“娘”は、取得したレシートの画像情報をユーザＩＤとともに画像端末装置２２０から情報管理装置に送信する。例えば、画像端末装置２２０に設けられている送信キー（図示省略）を操作する。
情報管理装置の認識手段は、ＯＣＲ読み取により、画像端末装置２２０から受信したレシートの画像情報からレシートに表示されている情報（認識結果）を出力する。そして、情報管理装置の管理側処理手段は、認識結果から購入情報（例えば、日付、商品名、数量、商品単価、商品金額、合計金額等）及び個人別マークを抽出する。そして、図１５に示すように、抽出した購入情報及び個人別マークが記憶装置のユーザ情報データベース２１１ａに、レシートの画像情報とともに受信したユーザＩＤ“１０１００４”に対応して記憶される。ユーザ“父”、ユーザ“母”も、同様の手順でレシートの画像情報を送信し、ユーザ情報データベース２１１ａに、レシートの画像情報とともに受信したユーザＩＤ“１０１００４”に対応して記憶される。

ユーザが、ユーザ端末装置に家計簿情報を表示させる際には、図１７に示す選択画面が表示される。
ユーザは、まず、「家計簿情報全体」を表示するか、もしくは「個人別に分類した家計簿情報全体」を表示するか、もしくは個人別の情報を抽出して表示するかを選択する。
「家計簿情報全体」を表示することを選択すると、個人別マークで分類されていない日付順の家計簿情報が表示される（勿論、各購入情報には個人別マークの表示欄が設けられていてもよい。）。また、「個人別に分類した家計簿情報全体」を表示することを選択すると、個人別マークで分類された家計簿情報全体が表示される。また、個人別の情報を抽出して表示することを選択すると、選択した個人の家計簿情報のみが抽出されて表示される。
本実施の形態では、レシートに個人別マークを記入した後に、画像端末装置２２０でレシート画像情報が取得されたが、画像端末装置２２０でレシート画像情報を取得する際に、個人別マークを設定できるように構成されていてもよい。
また、レシートに記入する個人識別情報（例えば、個人別マーク）と端末装置から送信する個人識別情報を異ならせてもよい。この場合には、レシートに記入する個人識別情報と端末装置から送信する個人識別情報の対応関係を、例えば、ユーザ情報データベースに記憶させる。
本実施の形態によれば、１つのユーザＩＤに対応して複数の個人別マークを記憶することが可能となり、これによって、家計簿情報の各個人毎の集計や表示等が可能となり、一層利便性が向上する。

（第５の実施の形態）
次に、第５の実施の形態を、図１８を参照しつつ説明する。
本実施の形態では、画像情報を取得するレシートのサイズが大きいので、携帯電話機のカメラでレシートを撮影して送信する際に、レシートを分割して撮影し、複数回に分けて送信する場合について説明する。
図１８には、レシートと後述するレシートに記入された斜線の概観を示す。

ユーザは、店舗で商品を購入した際に店舗のレジで発行されたレシートが携帯電話機のカメラで1回撮影して送信するにはレシートのサイズが過大であることを判別した場合、レシートに図１８に示すような右上がり斜線を記入する。そして、まず、レシートの上半分を携帯電話機のカメラで撮影する。次に、レシートの下半分を撮影する。なお、レシートには、店舗名、日付、商品名、商品単価、数量、商品毎の商品金額、合計金額等が表示されている。
そして、ユーザは、携帯電話機を用いてメールを作成し、撮影したレシート上半分及び下半分の画像情報をメールに添付し、宛先に情報管理装置のメールアドレスを設定して送信する。この際、情報管理装置には、レシートの画像情報とともに、携帯電話機のメールアドレスが送信される。
そして、情報管理装置の認識手段は、携帯電話機から受信した２つのレシートの画像情報から、レシートに表示されている情報をＯＣＲ読み取りし、認識結果を出力する。この際、２つのレシートには斜線が所定パーセント以上記入されていることが判別され、なおかつ、２つのレシート画像情報の斜線を合わせると連続していることが判別され、これによって、受信した２つのレシートの画像情報は同一レシートの各部分であることが判別される。
これにより、２つのレシートの画像情報の認識結果は纏められ、１つのレシートの認識結果として管理側処理手段に出力される。

このように、レシートの画像情報を複数に分割して情報管理装置に送信する場合、情報管理装置の認識手段では、記入された斜線の上端が切れているレシートの画像情報を同一レシートの画像情報の最初の画像情報とし、記入された斜線の下端が切れているレシートの画像情報を同一レシートの画像情報の最後の画像情報とする。そして、各レシートの画像情報の上端と下端については、表示行における斜線の位置に基づいて重複している行であるか否かを判別し、重複している行であれば一方の表示行の情報を削除して認識結果に反映する。例えば、図１８では、“しょうが”が表示されている部分は、上半分のレシートの画像情報及び下半分のレシートの画像情報のいずれの画像情報においても、斜線が“しょうが”の直ぐ右側の同じ場所に位置している。これにより、“しょうが”が表示されている部分は、重複して撮影されていることが判別される。
また、複数のレシート画像情報を認識して、斜線が連続しない場合には途中に抜けているレシートの画像情報が存在することを判別することができる。また、記入された斜線の上端が切れている画像情報がない場合には最初のレシートの画像情報が、記入された斜線の下端が切れている画像情報がない場合には最後のレシートの画像情報が抜けていることを判別することができる。

また、一般的にレシートの概ね１行目に「店舗名」が、レシートの概ね最終行に「合計」が印字されることを利用して、情報管理装置の管理側処理手段で、「店舗名」が抽出されたレシートの画像情報を同一レシートの画像情報の最初の画像情報とし、「合計」が抽出されたレシートの画像情報を同一レシートの画像情報の最後の画像情報としてもよい。
本実施の形態によれば、１回で送信することが困難な過大なサイズのレシートを複数回に分けて同一レシートとして送信することが可能となり、利便性が向上することとなった。

本発明は、実施の形態で説明した構成に限定されず種々の変更、追加、削除が可能である。
ユーザ情報データベース、項目分類データベース、店舗情報データベース、個人分類データベース等の構成は、実施の形態で説明した構成に限定されず、種々の構成を用いることができる。
また、画像端末装置としては、実施の形態で説明した画像側処理手段の処理を実行することができればよく、例えば、店舗に設けられる店舗端末装置、携帯電話機、パソコン等を用いることができる。ユーザ端末装置としては、実施の形態で説明したユーザ側処理手段の処理を実行することができればよく、例えば、携帯電話機、パソコン等を用いることができる。さらに、画像端末装置とユーザ端末装置は、１台の端末装置を兼用して用いることもできる。
また、ユーザＩＤとして、画像端末装置やユーザ端末装置の記憶手段に、ユーザＩＤや端末装置識別情報（例えば、ＩＰアドレス）を記憶させておき、レシートの画像情報を送信する際やユーザＩＤを送信する際に、記憶手段に記憶されているユーザＩＤや端末装置識別情報を読み出して送信してもよい。この方法を用いれば、ユーザは、ユーザＩＤを端末装置に入力する操作が不要となる。
また、レシートの画像情報から抽出する購入情報としては、商品名、数量、商品単価、商品金額、合計金額、日付、店舗名等の中から各ユーザが家計簿情報として必要なものを適宜選択することができる。また、レシートの画像情報から抽出した購入情報が正しいか否かを判別する方法として、抽出した商品金額の合計と抽出した合計金額が一致しているか否かを判別する方法を用いたが、この方法に限定されず種々の方法を用いることができる。さらに、合計金額としては、全合計金額だけでなく、小計金額を用いてもよい。
また、本発明の購入管理装置は、「二重取り込みの防止機能」を備えていても良い。例えば、ユーザは、レシートの画像情報を取得する際に、レシートにレシート固有のマークを記入しておく。これにより、レシートの画像情報から抽出された購入情報が同じであっても、固有マークが相違する場合には異なるレシートのレシート画像情報であることを判別することができる。また、レシートの画像情報から抽出された購入情報が同じであり、固有マークも同じであれば同一のレシートのレシート画像情報であり、ユーザは二重取り込みが発生していることを判別し、一方の購入情報を削除する。これにより、一層正確な家計簿情報を取得することができる。
また、毎月定期的に支出される定額の公共料金等は予め設定しておくことにより、自動的に計上されるように構成してもよい。この場合、家計簿情報を表示させると、この定額支出が自動的に表示されてもよいし、月末の決算時に自動的に計上され表示されるようにしてもよい。
また、ユーザが購入情報管理装置を利用すると、ユーザに特典が付与されるように構成してもよい。特典としては、例えば、ユーザがレシートの画像情報を情報管理装置に送信した際に景品の抽選が行われ、結果が通知される。また、例えば、店舗毎のポイント計上サービスにより、所定のポイントが貯まれば当該店舗の景品引換券や金券を取得することができる。また、例えば、当該ユーザが利用する頻度が高いことが判別された店舗の種々の情報（例えば、お買い得情報やタイムサービスの実施情報等）を当該ユーザに通知する。また、例えば、商品の賞味期限が商品毎に記憶されていて、ユーザが購入した日付に基づいて当該商品の賞味期限が近づいたら通知する。このように、購入情報管理装置を利用することにより種々のメリットがあれば、ユーザにおいて購入情報管理装置を利用する価値観が上がり、ユーザの利用率が高くなる。

本発明の第１の実施の形態の概略構成図である。 ユーザが、携帯電話機２０からレシートの画像情報を情報管理装置１０に送信し、家計簿の様式に変換された購入情報を携帯電話機２０で受信する手順を示す図である。 情報管理装置１０で受信したレシートの画像情報から抽出した購入情報の１例を示す図である。 図３で示す購入情報を家計簿の様式に変換した購入情報の１例を示す図である。 情報管理装置１０で受信した複数のレシートの画像情報から抽出した購入情報の１例を示す図である。 図５で示す購入情報を家計簿の様式に変換した購入情報の１例を示す図である。 本発明の第２の実施の形態の概略構成図である。 ユーザが、画像端末装置１２０からレシートの画像情報を情報管理装置１１０に送信し、レシートの画像情報から抽出した購入情報を情報管理装置１２０の記憶装置１１１に記憶させる手順を示す図である。 家計簿の様式に変換された購入情報をユーザ端末装置１３０で受信する手順を示す図である。 記憶装置１１１に設けられているユーザ情報データベースの一例を示す図である。 記憶装置１１１に設けられている項目分類データベースの一例を示す図である。 画像端末装置１２０の表示手段１２４に表示するエラー報知画面の一例を示す図である。 ユーザ端末装置に表示される個人別マークの登録画面の一例を示す。 各個人がレシートに個人別マークを記入して画像端末装置でレシートの画像情報を読み取らせる態様を示す。 記憶装置に記憶されるユーザ情報データベースの一例を示す。 ユーザ識別情報に対応する個人別マークを記憶している個人分類データベースをスの一例を示す。 ユーザ端末装置に表示される家計簿情報の選択画面の一例を示す。 過大なサイズのレシートを分割して、複数回に分けて情報管理装置に送信する方法を示す。

符号の説明

１，２ 購入情報管理装置
１０，１１０ 情報管理装置
１１，１１１ 記憶装置
２０ 携帯電話機
４０，１４０ 通信回線（インターネット）
１２０ 画像端末装置
１３０ ユーザ端末装置

Claims (6)

1. 端末装置と情報管理装置を備え、
   前記端末装置は、
   商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得可能な画像情報取得手段と、
   前記画像情報取得手段で取得したレシートの画像情報を前記情報管理装置に送信し、前記情報管理装置から受信した認識終了情報を出力手段に出力する端末側処理手段を有し、
   前記情報管理装置は、
   受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する認識手段と、
   前記認識手段から認識結果が出力されると、前記レシートの画像情報を送信した端末装置に認識終了情報を送信する管理側処理手段を有する、
   ことを特徴とする購入情報管理装置。
2. 端末装置と情報管理装置を備え、
   前記端末装置は、
   商品毎の商品金額と合計金額を含む情報が表示されているレシートの画像情報を取得可能な画像情報取得手段と、
   前記画像情報取得手段で取得したレシートの画像情報を前記情報管理装置に送信し、前記情報管理装置から受信したエラー情報を出力手段に出力する端末側処理手段を有し、
   前記情報管理装置は、
   受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する認識手段と、
   前記認識手段から出力された認識結果から商品毎の商品金額と合計金額を抽出するとともに、前記抽出した商品毎の商品金額の合計金額を算出し、さらに、前記算出した合計金額と前記抽出した合計金額を比較し、前記算出した合計金額と前記抽出した合計金額が一致していない場合にはエラー情報を、前記レシートの画像情報を送信した端末装置に送信する管理側処理手段を有する、
   ことを特徴とする購入情報管理装置。
3. 端末装置と情報管理装置を備え、
   前記端末装置は、
   商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得可能な画像情報取得手段と、
   前記画像情報取得手段で取得したレシートの画像情報を前記情報管理装置に送信し、前記情報管理装置から受信した情報と当該情報とともに受信したレシートの画像情報を出力手段に出力する端末側処理手段を有し、
   前記情報管理装置は、
   受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する認識手段と、
   前記認識手段から出力された認識結果に基づいて、レシートに表示されている情報を抽出し、抽出した情報と当該情報を抽出したレシートの画像情報を、前記端末装置に送信する管理側処理手段を有する、
   ことを特徴とする情報提供装置。
4. 画像端末装置と、ユーザ端末装置と、情報管理装置と、記憶装置とを備え、
   前記画像端末装置は、
   商品毎の商品金額を含む情報が表示されているレシートの画像情報を取得可能な画像情報取得手段と、
   ユーザを示すユーザ識別情報を入力可能な画像側入力手段あるいはユーザ識別情報を記憶可能な画像側記憶手段と、
   前記画像情報取得手段で取得したレシートの画像情報を前記画像側入力手段により入力されたユーザ識別情報あるいは前記画像側記憶手段に記憶されているユーザ識別情報とともに前記情報管理装置に送信する画像側処理手段を有し、
   前記ユーザ端末装置は、
   ユーザを示すユーザ識別情報を入力可能なユーザ側入力手段あるいはユーザ識別情報を記憶可能なユーザ側記憶手段と、
   前記ユーザ側入力手段により入力された、あるいは前記ユーザ側記憶手段に記憶されているユーザ識別情報を前記情報管理装置に送信し、前記情報管理装置から受信した情報を出力手段に出力し、また、前記ユーザ側入力手段により入力されたユーザ識別情報あるいは前記ユーザ側記憶手段に記憶されているユーザ識別情報と指示されたレシートの画像情報を示す画像情報要求信号を前記情報管理装置に送信し、前記情報管理装置から受信したレシートの画像情報を出力手段に出力するユーザ側処理手段を有し、
   前記記憶装置は、情報と当該情報を抽出したレシートの画像情報をユーザ識別情報に対応させて記憶し、
   前記情報管理装置は、
   前記画像端末装置からユーザ識別情報とともに受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する認識手段と、
   前記認識手段から出力された認識結果に基づいて、レシートに表示されている情報を抽出し、抽出した情報と当該情報を抽出したレシートの画像情報を、当該レシートの画像情報とともに受信したユーザ識別情報に対応させて前記記憶装置に記憶させ、また、前記ユーザ端末装置から受信したユーザ識別情報に対応する情報を前記記憶装置から読み出して当該ユーザ端末装置に送信し、さらに、前記ユーザ端末装置から受信した画像情報要求信号で示されているレシートの画像情報を前記記憶装置から読み出して当該ユーザ端末装置に送信する管理側処理手段を有する、
   ことを特徴とする購入情報管理装置。
5. 請求項２〜４のいずれかに記載に購入情報管理装置であって、
   前記情報管理装置は、さらに、情報修正手段を備え、
   前記情報修正手段は、前記情報管理手段が抽出した情報が正しい情報であるか否かを判別し、正しい情報ではないことを判別した場合には、予め記憶されている情報の中から、前記抽出した情報に対して所定の条件を満足する情報を選択し、前記抽出した情報を前記選択した情報に修正する、
   ことを特徴とする購入情報管理装置。
6. 画像端末装置と、ユーザ端末装置と、情報管理装置と、記憶装置とを備え、
   前記画像端末装置は、
   商品毎の商品金額及び個人識別情報を含む情報が表示されているレシートの画像情報を取得可能な画像情報取得手段と、
   ユーザを示すユーザ識別情報を入力可能な画像側入力手段あるいはユーザ識別情報を記憶可能な画像側記憶手段と、
   前記画像情報取得手段で取得したレシートの画像情報を前記画像側入力手段により入力されたユーザ識別情報あるいは前記画像側記憶手段に記憶されているユーザ識別情報とともに前記情報管理装置に送信する画像側処理手段を有し、
   前記ユーザ端末装置は、
   ユーザを示すユーザ識別情報及び個人識別情報を入力可能なユーザ側入力手段あるいはユーザ識別情報及び個人識別情報を記憶可能なユーザ側記憶手段と、
   前記ユーザ側入力手段により入力された、あるいは前記ユーザ側記憶手段に記憶されているユーザ識別情報と個人識別情報を前記情報管理装置に送信し、前記情報管理装置から受信した情報を出力手段に出力するユーザ側処理手段を有し、
   前記記憶装置は、情報をユーザ識別情報及び個人識別情報に対応させて記憶し、
   前記情報管理装置は、
   前記画像端末装置からユーザ識別情報とともに受信したレシートの画像情報に基づいて、レシートに表示されている情報を認識し、認識結果を出力する認識手段と、
   前記認識手段から出力された認識結果に基づいて、レシートに表示されている情報と個人識別情報を抽出し、抽出した情報を、前記レシートの画像情報とともに受信したユーザ識別情報及び前記抽出した個人識別情報に対応させて前記記憶装置に記憶させ、また、前記ユーザ端末装置から受信したユーザ識別情報及び個人識別情報に対応する情報を前記記憶装置から読み出して当該ユーザ端末装置に送信する管理側処理手段とを有する、
   ことを特徴とする購入情報管理装置。

Images