JP2012004666A - 撮像装置 - Google Patents

Abstract

【課題】 支出管理を手軽に、且つ正確に行う。
【解決手段】 商品の購入時に受け取るレシートの画像を示す第１画像データを取得する画像取得手段と、第１画像データから、レシートに記載された文字を抽出する抽出手段と、抽出手段により抽出された文字をまとめた文字データと第１画像データとを記憶する記憶手段と、記憶手段に記憶された文字データに含まれる金額データを集計する集計手段と、集計手段による集計結果を示す第２画像データを生成する画像生成手段と、画像生成手段により生成された第２画像データに基づいた表示を行う表示手段と、を備えたことを特徴とする。
【選択図】 図１

Description

本発明は、デジタルカメラやカメラ機能を備えた携帯電話機などの撮像装置に関する。

支出管理を行う方法として、買い物時に受け取るレシートに記載された金額を帳簿に書き込む、又は携帯電話機などの携帯型端末機やコンピュータ（ＰＣ）を用いて家計簿を作成することが一般的である。近年では、携帯電話機に搭載されたカメラ機能により取得したレシートの画像や、レシートの画像に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）処理を行うことで得られる文字データを携帯電話機やＰＣから管理サーバに送信し、管理サーバ側で受信したレシートの画像や文字データに基づいて家計簿を作成する技術が提案されている（特許文献１参照）。

特開２００５−９２６３５号公報

例えばレシートに印字された金額を帳簿に書き込む、又は携帯型端末機やＰＣを利用して入力する方法では、手軽に家計簿を作成することができるという利点があるが、帳簿への書き込みや入力操作が手間であり、また金額を間違えやすいという欠点がある。一方、レシートの画像や、レシートの画像から取得した文字データに基づいて家計簿を作成する方法では、携帯型電話機及び管理サーバ間のネットワーク接続を利用することを前提にしていることから、支出管理を手軽に行えないという欠点がある。

本発明は、支出管理を手軽に、且つ正確に行うことができるようにした撮像装置を提供することを目的にする。

上述した課題を解決するために、本発明の撮像装置は、商品の購入時に受け取るレシートの画像を示す第１画像データを取得する画像取得手段と、前記第１画像データから、前記レシートに記載された文字を抽出する抽出手段と、前記抽出手段により抽出された文字をまとめた文字データと前記第１画像データとを記憶する記憶手段と、前記記憶手段に記憶された前記文字データに含まれる金額データを集計する集計手段と、前記集計手段による集計結果を示す第２画像データを生成する画像生成手段と、前記画像生成手段により生成された前記第２画像データに基づいた表示を行う表示手段と、を備えたことを特徴とする。

また、前記文字データは、前記金額データの他に、前記商品を購入した日付を示す日付データを含み、前記金額データは、前記商品を購入した時の会計金額を示すデータを含み、前記集計手段は、前記日付データ及び前記会計金額を示すデータから、所定期間毎の支出を集計することが好ましい。

また、前記文字データは、前記金額データ、前記日付データの他に、購入した商品の種類を示す種類データを含み、前記金額データは、前記会計金額を示すデータの他に、前記購入した商品の価格を示すデータを含み、前記集計手段は、前記購入した商品の種類毎に、前記所定期間毎の支出を集計することが好ましい。

また、前記第２画像データは、前記集計手段により集計された前記所定期間毎の支出の推移を示す画像データからなることが好ましい。

また、前記画像取得手段は、前記購入した商品の画像の元になる第３画像データを取得し、前記記憶手段は、前記日付データ、前記購入した商品の価格を示すデータ及び前記購入した商品の種類を示すデータと、前記第３画像データとを関連付けて記憶することが好ましい。

また、前記第１画像データは、前記レシートと前記購入した商品とを含む画像データからなり、前記画像生成手段は、前記第１画像データから前記購入した商品の画像の元になる第３画像データを生成し、前記記憶手段は、前記日付データ、前記購入した商品の価格を示すデータ及び前記購入した商品の種類を示すデータと、前記第３画像データとを関連付けて記憶することが好ましい。

また、前記記憶手段は、前記第２画像データを記憶させることが可能であり、前記第２画像データを前記記憶手段に記憶させるときに、前記第１画像データを削除するか否かを選択する選択手段を備えていることが好ましい。

また、前記第１画像データを取得する処理、前記レシートに記載された文字を前記第１画像データから抽出する処理、抽出された文字をまとめた前記文字データと前記第１画像データとを記憶する処理、記憶された前記文字データに含まれる金額データを集計する処理、集計結果を示す第２画像データを生成する処理及び生成された前記第２画像データに基づく表示を行う処理を実行する支出管理モードを備えていることが好ましい。

また、前記記憶手段に記憶された、少なくとも前記第２画像データ及び前記文字データは、前記支出管理モード時に読み出すことが可能となることが好ましい。

また、前記支出管理モードは、認証を行うことで移行することが可能な動作モードからなり、前記認証時に認証データを入力する入力手段と、前記入力手段により入力された認証データと、登録済みの認証データとが一致しているか否かを判定する判定手段とを備えていることが好ましい。

本発明によれば、支出管理を手軽に、且つ正確に行うことができる。

本実施形態のデジタルカメラの電気的構成の一例を示すブロック図である。 支出管理モードにおける処理の流れを示すフローチャートである。 支出管理モードにおける処理の流れを示すフローチャートである。 支出管理モードにおける処理の流れを示すフローチャートである。 支出管理モードにおける処理の流れを示すフローチャートである。

図１は、本発明を実施したデジタルカメラの構成の概略を示す。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後に撮像素子１６から出力される画像信号に基づいて画像データが生成される。

撮像光学系１５は、図示を省略した撮像レンズ、ズームレンズやフォーカスレンズなどを含むレンズ群から構成される。ズームレンズは選択された撮影倍率となるように光軸Ｌに沿って移動する。フォーカスレンズは焦点調節の際に光軸Ｌに沿って微小移動する。このレンズ群を構成するズームレンズやフォーカスレンズなどは、図示を省略したレンズ駆動機構によって駆動制御される。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を画素毎に光電変換し、光電変換した信号電荷を画素毎に蓄積する。そして、蓄積した信号電荷を示す電気信号を各画素の画素信号として出力する。この各画素から出力される画素信号が画像信号となる。

Ａ／Ｄ変換部１７は、撮像素子１６から出力されるアナログの画像信号をデジタルの画像信号に変換する。このＡ／Ｄ変換部１７により変換されたデジタルの画像信号は、バッファメモリ２０に出力される。バッファメモリ２０は、Ａ／Ｄ変換部１７から出力されるデジタルの画像信号を一時記憶する。

画像処理回路２１は、バッファメモリ２０に一時記憶された画像信号に対して、色補間処理、ホワイトバランス補正処理、輪郭補償処理、階調変換処理、色空間変換処理等の画像処理を実行する。以下、画像処理回路２１における全ての画像処理を行った画像信号を撮影画像データと称する。この画像処理回路２１は、上述した画像処理の他に、生成された撮影画像データに対する解像度変換処理を行う。この解像度変換処理を行うことで、撮影画像データよりも解像度が低い、サムネイル画像データが生成される。

符号化／復号化回路２２は、撮影画像データや、サムネイル画像データに対して符号化処理を行う。この符号化／復号化回路２２で符号化処理が施された撮影画像データやサムネイル画像データは、撮影条件、カメラの基本情報などとまとめられ、画像ファイルとして記憶媒体２４に書き込まれる。また、この符号化／復号化回路２２は、記憶媒体２４に記憶された画像ファイルから読み出される画像データに対して復号化処理を実行する。

接続用Ｉ／Ｆ２３は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体２４と電気的に接続することが可能である。この記憶媒体２４には、画像フォルダ２５、支出管理用フォルダ２６など複数のフォルダが格納される。画像フォルダ２５は、撮影モードで得られた画像ファイルが書き込まれるフォルダである。また、支出管理用フォルダ２６は、後述する支出管理モードで得られた画像ファイル、後述する集計画像データや文字データが書き込まれるフォルダである。この支出管理用フォルダ２６は、後述するみ、画像ファイルや文字データ等の書き込みや、格納された画像ファイルや文字データの読み出しが可能となる。

ＬＣＤ２７は表示装置の一形態であって、撮影待機状態時に取り込まれるスルー画像や、撮影時に得られた画像を表示する。また、この他に、ＬＣＤ２７は、デジタルカメラ１０の設定を行う際の設定用画像を表示する。なお、符号２８は、ＬＣＤ２７の駆動制御を行う表示制御回路である。

ＣＰＵ３５は、内蔵メモリ３６に記憶された制御プログラム（図示省略）を実行することで、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ３５は、バス３７を介して、バッファメモリ２０、画像処理回路２１、符号化／復号化回路２２、接続用Ｉ／Ｆ２３、表示制御回路２８及び内蔵メモリ３６に電気的に接続される。

このＣＰＵ３５には、レリーズボタン４０、設定操作部４１などが接続されており、ＣＰＵ３５は、これら操作部材における操作要求や制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。レリーズボタン４０は、例えば半押し操作時にオンとなる第１スイッチＳＷ１と、全押し操作時にオンとなる第２スイッチＳＷ２とを備えている。例えば第１スイッチＳＷ１がオンとなると、ＣＰＵ３５はＡＥ処理やＡＦ処理を実行する。また、第２スイッチＳＷ２がオンとなると、ＣＰＵ３５は、ＡＥ処理やＡＦ処理の結果に基づいた撮像処理を実行する。設定操作部４１は、デジタルカメラ１０における各種設定（撮影モードの選択、撮影条件の設定、初期設定等）を行う際に操作される操作部材である。この設定操作部４１は、例えば複数の操作ボタンや十字キー、或いは操作ダイヤル等から構成される。

ＣＰＵ３５は、上述した制御プログラムを実行することにより、モード設定部４５、認証部４６、データ認識部４７及びデータ集計部４８の機能を有している。

モード設定部４５は、設定操作部４１の操作に基づいて、デジタルカメラ１０にて実行される動作モードを、撮影モード、再生モード、設定モード或いは支出管理モードのいずれかに設定する。周知のように、撮影モードは静止画像や動画像を撮影する動作モードであり、再生モードは撮影により得られる静止画像や動画像を再生するモードである。また、設定モードはデジタルカメラ１０における初期設定を設定する動作モードであり、支出管理モードは、支出を管理するモードである。

支出管理モードは、ユーザがユーザ自身の支出を管理する動作モードである。この支出管理モードは、撮影機能、再生機能、集計機能、編集機能などの複数の機能のいずれかを実行することが可能となる。例えば撮影機能には、レシートや購入した商品の撮影を行う処理、レシートの撮影により取得される画像ファイルに基づいて文字データを抽出する処理、上述した画像ファイルと文字データとを記憶媒体２４に記録する処理がある。また、再生機能には、集計結果を示す画像や購入した商品の画像をＬＣＤ２７に表示する処理がある。集計機能には、記憶媒体２４の支出管理用フォルダ２６に記憶された文字データを読み出して所定期間毎の支出を集計する処理、集計結果を示す集計グラフを生成する処理、生成された集計グラフを画像化することで集計グラフに基づく画像データを生成する処理がある。ここで、所定期間としては、例えば１週間、１ヶ月、１年などが挙げられる。これにより、集計グラフは、所定期間毎の支出の推移を示すものとなる。編集機能には、記憶媒体２４の支出管理用フォルダ２６に記憶された文字データの内容を編集する処理や、購入した商品の画像を追加する処理がある。

認証部４６は、デジタルカメラ１０にて実行される動作モードとして支出管理モードが選択された場合に、記憶媒体２４の支出管理用フォルダ２６へのアクセスが有効であるか否かを判定する。記憶媒体２４の支出管理用フォルダ２６へのアクセスが有効であるか否かの判定は、周知のパスワード認証や顔画像などを利用した個人認証が用いられる。この場合、認証時に必要となるパスワードや顔画像、又は顔画像などの特徴量を示すデータを認証用データ５０として予め内蔵メモリ３６に記憶させておけばよい。この認証部４６により認証された場合には、支出管理用フォルダ２６へのアクセスが有効となり、支出管理モードに移行する。一方、認証部４６により認証されない場合には、支出管理用フォルダ２６へのアクセスが無効となり、支出管理モードへは移行しない。

データ抽出部４７は、支出管理モードにおける撮像処理で得られたレシートの画像データに対してＯＣＲ処理を行い、レシートに記載された文字を抽出する。なお、ＯＣＲ処理については周知であることから、ここでは、その詳細を省略する。この処理の後、データ抽出部４７は、抽出された文字をまとめた文字データを作成する。この文字データは、例えばテキスト形式のデータからなる。なお、レシートに記載された文字としては、例えば日付、購入した商品の種類、購入した商品の価格、会計金額などが挙げられる。このデータ抽出部４７により作成される文字データは、レシートを撮影したときに得られる画像ファイルと対応付けた状態で、記憶媒体２４の支出管理用フォルダ２６に格納される。

データ集計部４８は、支出管理モードにおいて集計機能を実行したときに、支出管理用フォルダ２６に記録された文字データから、日付及び会計金額を示すデータを読み出し、日付毎の合計金額、週毎の合計金額、月毎の合計金額などを算出する。また、文字データから購入した商品の種類を示す文字データを読み出し、購入した商品の種類毎の合計金額を算出する。その後、データ集計部４８は、集計結果に基づいた集計グラフを生成する。集計グラフとしては、例えば週毎の支出、月毎の支出の推移を示す折れ線グラフや棒グラフが挙げられる。なお、週毎の支出には、購入した商品の種類別の合計金額、購入した商品全ての合計金額が挙げられる。データ集計部４８は、生成した集計グラフを画像化処理し、集計グラフに基づく画像データを生成する。この集計グラフを示す画像データは、記憶媒体２４の支出管理用フォルダ２６に記憶される。

次に、ユーザがデジタルカメラ１０を用いて支出管理を行う場合の処理の流れを、図２から図５のフローチャートに基づいて説明する。なお、図２から図５のフローチャートは、デジタルカメラ１０の動作モードを設定する画面がＬＣＤ２７に表示されたことを契機に実行される。以下、レシートを撮影することで得られる画像をレシート画像とし、このレシート画像に基づく画像データ及び画像ファイルを、レシート画像データ及びレシート画像ファイルと称して説明する。また、商品を撮影することで得られる画像を商品画像とし、この商品画像に基づく画像データ及び画像ファイルを、商品画像データ及び商品画像ファイルと称して説明する。さらに、集計結果（集計グラフ）を示す画像データについては、集計画像データと称して説明する。

ステップＳ１０１は、デジタルカメラ１０の動作モードとして支出管理モードが選択されたか否かを判定する処理である。このステップＳ１０１の開始時には、デジタルカメラ１０の動作モードを設定する画面がＬＣＤ２７に表示される。この画面の表示の際に、ユーザにより設定操作部４１が操作される。例えば設定操作部４１の操作が撮影モード、再生モード、設定モードのいずれかの動作モードを設定する旨の操作であれば、動作モードとして支出管理モードが選択されていないことになる。この場合、ＣＰＵ３５は、ステップＳ１０１の判定をＮｏとする。図２から図５のフローチャートでは、支出管理モードの処理の流れを示していることから、支出管理モード以外の動作モードとなる場合に関しては、便宜上フローチャートの処理が終了するものとしている。

一方、設定操作部４１の操作が支出管理モードを設定する旨の操作であれば、動作モードとして支出管理モードが選択される。この場合、ＣＰＵ３５は、ステップＳ１０１の判定をＹｅｓとし、ステップＳ１０２に進む。

ステップＳ１０２は、認証動作を行う処理である。ステップＳ１０１の判定処理でＹｅｓとなると、認証動作を実行させる認証画面がＬＣＤ２７に表示される。以下、パスワード認証の場合について説明する。このステップＳ１０２の処理が開始されると、認証用のパスワードをユーザにより入力させる旨の認証画面がＬＣＤ２７に表示される。これを受けて、ユーザは設定操作部４１を操作してパスワードを入力する。なお、パスワードの入力の方法については、適宜設定して良い。ＣＰＵ３５は、入力されたパスワードを示す信号（データ）と、内蔵メモリ３６に記憶された認証用データ５０（この場合、認証用データは、予め登録されたパスワードを示すデータ）とを用いて、これらデータが一致しているか否かを判定する。

ステップＳ１０３は、認証されたか否かを判定する処理である。ステップＳ１０２において認証動作が実行される。ステップＳ１０２で入力されたパスワードを示すデータと、内蔵メモリ３６に記憶された認証用データ５０とが一致していれば、ＣＰＵ３５は、認証ＯＫと判定する。この場合、ステップＳ１０３の判定処理がＹｅｓとなり、ステップＳ１０４に進む。このとき、支出管理モードの機能のうち、実行する機能を選択する機能選択画面がＬＣＤ２７に表示される。なお、支出管理モードで実行することが可能な機能は、撮影機能、再生機能、集計機能及び編集機能であり、この機能選択画面では、これら機能を示す項目或いはアイコンが表示される。

一方、入力されたパスワードを示すデータと、内蔵メモリ３６に記憶された認証用データ５０とが一致していなければ、ＣＰＵ３５は、認証ＯＫではないと判定する。この場合、ステップＳ１０３の判定処理がＮｏとなる。このステップＳ１０３の判定処理がＮｏとなる場合には、デジタルカメラ１０の動作モードとして支出管理モードが選択されていた場合であっても支出管理モードには移行せず、このフローチャートの処理は終了する。

ステップＳ１０４は、項目「撮影」が選択されたか否かを判定する処理である。ステップＳ１０３の判定処理がＹｅｓとなる場合には、支出管理モードの機能を選択する機能選択画面がＬＣＤ２７に表示される。なお、支出管理モードの機能を示す項目としては、項目「撮影」、項目「再生」、項目「集計」、項目「編集」からなる。例えば、設定操作部４１の操作が、項目「撮影」を選択する旨の操作であれば、ＣＰＵ３５は、このステップＳ１０４の判定処理をＹｅｓとし、ステップＳ１０５に進む。一方、項目「撮影」を選択しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１０４の判定処理をＮｏとし、ステップＳ１２１に進む。

ステップＳ１０５は、レシートの撮影を行う処理である。ステップＳ１０４の判定処理がＹｅｓとなる場合、「レシートの画像を撮影してください」等のコメントとともに、スルー画像がＬＣＤ２７に表示される。これを受けて、ユーザはレシートの撮影を行う。このレシートの撮影により、レシート画像ファイルが生成される。ＣＰＵ３５は、生成したレシート画像ファイルを支出管理用フォルダ２６に書き込む。これにより、レシートの撮影が終了する。なお、レシートの撮影における撮影条件は、レシートに記載された文字を認識できる撮影距離の元に設定できればよいので、例えば近接撮影時に設定される撮影条件を用いることができる。

ステップＳ１０６は、購入した商品の撮影を行うか否かを判定する処理である。ステップＳ１０５により、レシートの撮影が終了すると、「購入した商品を撮影しますか？」等、購入した商品の撮影を行うか否かの選択を促す選択画面がＬＣＤ２７に表示される。ユーザによる設定操作部４１の操作が購入した商品の撮影を行う旨の操作であれば、ＣＰＵ３５は、ステップＳ１０６の判定処理をＹｅｓとする。この場合、ステップＳ１０７に進む。一方、設定操作部４１の操作が購入した商品の撮影を行わない旨の操作であれば、ＣＰＵ３５は、ステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０９に進む。

ステップＳ１０７は、購入した商品の撮影を行う処理である。ステップＳ１０８の判定処理でＹｅｓと判定すると、例えば「購入した商品の画像を撮影してください」等のコメントとともに、スルー画像がＬＣＤ２７に表示される。これにより、ユーザによる購入した商品の撮影が実行される。この撮影により、商品画像ファイルが生成される。ＣＰＵ３５は、生成した商品画像ファイルを支出管理用フォルダ２６に書き込む。これにより、購入した商品の撮影が終了する。

ステップＳ１０８は、撮影を終了するか否かを判定する処理である。この処理が開始されると、例えば「撮影を終了しますか？」などのコメントがＬＣＤ２７に表示される。この表示に対して、ユーザにより実行される設定操作部４１の操作が撮影を終了する旨の操作であれば、ＣＰＵ３５は、このステップＳ１０８の判定処理をＹｅｓとし、ステップＳ１０９に進む。一方、ユーザにより実行される設定操作部４１の操作が撮影を終了しない旨の操作であれば、ＣＰＵ３５は、このステップＳ１０８の判定処理をＮｏとし、ステップＳ１０７に進む。つまり、ユーザが１つの購入した商品を単数又は複数購入した場合には１回の撮影が実行され、異なる購入した商品を購入した場合には、購入した商品の数（種類）に併せた回数の撮影が実行される。

ステップＳ１０９は、レシート画像データから文字データを生成する処理である。ＣＰＵ３５は、支出管理用フォルダ２６に各込まれたレシート画像ファイルからレシート画像データを読み出す。そして、ＣＰＵ３５は、このレシート画像データに対してＯＣＲ処理を実行する。このＯＣＲ処理を実行することで、レシートに記載された文字をまとめた文字データが生成される。この文字データは、日付、購入した商品の種類、購入した商品の価格及び合計金額を示すデータからなる。ＣＰＵ３５は、生成されたレシート画像ファイルや商品画像ファイルと、文字データとを関連付けた後、該文字データを支出管理用フォルダに書き込む。

例えば購入した複数の商品をレシートに記載される順番で撮影した場合には、日付、購入した商品の種類及び金額を示すデータと、商品画像ファイルとがそれぞれ自動的に関連付けられる。一方、購入した複数の商品をレシートに記載される順番で撮影していない場合には、商品画像と文字データに基づく文字をＬＣＤ２７に表示した後、ユーザの設定操作部４１の操作を行うことで、日付、購入した商品の種類及び金額を示すデータと、商品画像ファイルとをそれぞれ関連付ければよい。このステップＳ１０９の処理が終了すると、項目「撮影」に係る処理、言い換えれば撮影機能に係る処理が終了する。

ステップＳ１１０は、支出管理モードを終了するか否かを判定する処理である。このステップＳ１１０の処理が実行されると、例えば「支出管理モードを終了しますか？」等、支出管理モードを終了するか否かを促すコメントがＬＣＤ２７に表示される。例えば設定操作部４１の操作が支出管理モードを終了させる旨の操作であれば、ＣＰＵ３５は、ステップＳ１１０の判定処理をＹｅｓとする。この場合は、支出管理モードにおける処理が終了する。一方、設定操作部４１の操作が支出管理モードを終了させない旨の操作であれば、ＣＰＵ３５はステップＳ１１０の判定処理をＮｏとする。この場合には、ステップＳ１０４に戻り、支出管理モードにおいて実行する機能を設定する機能選択画面が再度ＬＣＤ２７に表示される。

ステップＳ１０４における判定処理がＮｏとなる場合、言い換えれば、項目「撮影」が選択されない場合には、ステップＳ１２１に進む。

ステップＳ１２１は、項目「再生」が選択されたか否かを判定する処理である。支出管理モードの機能を選択する機能選択画面において実行される設定操作部４１の操作が項目「再生」を選択する旨の操作であれば、ＣＰＵ３５は、このステップＳ１２１の判定処理をＹｅｓとし、ステップＳ１２２に進む。一方、設定操作部４１の操作が項目「再生」を選択しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１２１の判定処理をＮｏとし、ステップＳ１３１に進む。

ステップＳ１２２は、項目「購入した商品の画像」が選択されたか否かを判定する処理である。ステップＳ１２２の処理が開始されると、表示する画像を選択する選択画面がＬＣＤ２７に表示される。なお、この選択画面は、表示する画像を購入した商品の画像とする場合の項目「購入した商品の画像」、集計結果の画像とする場合の項目「集計結果の画像」の項目からなる。この選択画面でユーザによる設定操作部４１の操作が、項目「購入した商品の画像」を選択する旨の操作の場合、ＣＰＵ３５は、ステップＳ１２２の判定処理をＹｅｓとする。この場合、ステップＳ１２３に進む。一方、設定操作部４１の操作が、項目「集計結果の画像」を選択する旨の操作の場合、ＣＰＵ３５は、ステップＳ１２２の判定処理をＮｏとする。この場合、ステップＳ１２５に進む。

ステップＳ１２３は、購入した商品の画像を表示する処理である。ＣＰＵ３５は、支出管理フォルダ２６に格納された商品画像ファイルから商品画像データを読み出し、表示制御回路２８に出力する。これを受けて、表示制御回路２８は、商品画像をＬＣＤ２７に表示する。なお、商品画像の表示は、１つの商品画像を表示してもよいし、複数の商品画像を表示する、所謂一覧表示であってもよい。例えば１つの商品画像を表示する場合には、商品画像とともに、該商品画像に関する情報（購入した日付、価格など）を同時に表示してもよい。また、一覧表示を行う場合には、設定操作部４１による操作に基づいて、表示する商品画像を選択できるようにしてもよい。

ステップＳ１２４は、画像の再生を終了するか否かを判定する処理である。ユーザによる設定操作部４１の操作が画像の再生を終了する旨の操作であれば、ＣＰＵ３５は、ステップＳ１２４の判定処理をＹｅｓとする。この場合、画像の再生が終了し、ステップＳ１１０に進む。一方、ユーザによる設定操作部４１の操作が画像の再生を終了しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１２４の判定処理をＮｏとする。この場合、ステップＳ１２２に戻る。この場合、表示する画像を選択する選択画面が再度ＬＣＤ２７に表示される。

ステップＳ１２２の判定処理にてＮｏとなる場合、言い換えれば、表示する画像を選択する選択画面において、項目「購入した商品の画像」を選択していない場合には、ステップＳ１２５に進む。

ステップＳ１２５は、項目「集計結果の画像」を選択しているか否かを判定する処理である。ステップＳ１２１の判定処理でＹｅｓとなる場合に表示される選択画面において、ユーザによる設定操作部４１の操作が項目「集計結果の画像」を選択する旨の操作の場合、ＣＰＵ３５は、ステップＳ１２５の判定処理をＹｅｓとする。この場合、ステップＳ１２６に進む。一方、選択画面でユーザによる設定操作部４１の操作が、項目「集計結果の画像」を選択していない旨の操作の場合、ＣＰＵ３５は、ステップＳ１２５の判定処理をＮｏとする。この場合、ステップＳ１２４に進む。

ステップＳ１２６は、集計画像データがあるか否かを判定する処理である。ＣＰＵ３５は、支出管理用フォルダ２６を参照し、集計画像データが記憶されているか否かを判定する。例えば支出管理用フォルダ２６に集計画像データが記憶されている場合には、ＣＰＵ３５は、このステップＳ１２６の判定処理をＹｅｓとし、ステップＳ１２７に進む。一方、支出管理用フォルダ２６に集計画像データが記憶されていない場合には、ＣＰＵ３５は、このステップＳ１２６の判定処理をＮｏとし、ステップＳ１２４に進む。

ステップＳ１２７は、集計画像を表示する処理である。ＣＰＵ３５は、支出管理用フォルダ２６に記憶された集計画像データを読み出し、表示制御回路２８に出力する。これを受けて、表示制御回路２８は、集計画像をＬＣＤ２７に表示する。これにより、集計画像、つまり支出の推移を示す集計グラフがＬＣＤ２７に表示される。

ステップＳ１２１の判定処理でＮｏとなる、言い換えれば、項目「再生」を選択していない場合には、ステップＳ１３１に進む。

ステップＳ１３１は、項目「集計」を選択したか否かを判定する処理である。支出管理モードの機能を選択する機能選択画面において実行される設定操作部４１の操作が項目「集計」を選択する旨の操作であれば、ＣＰＵ３５は、このステップＳ１３１の判定処理をＹｅｓとし、ステップＳ１３２に進む。一方、設定操作部４１の操作が項目「集計」を選択しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１３１の判定処理をＮｏとし、ステップＳ１４１に進む。

ステップＳ１３２は、数字データを用いた集計を行う処理である。ＣＰＵ３５は、支出管理用フォルダ２６に記憶される文字データを読み出して、該文字データから日付、購入した商品の種類及び価格、会計金額からなる数字データを生成する。この数字データの生成は、支出管理用フォルダ２６に記憶される文字データのそれぞれに対して実行される。数字データの生成の後、ＣＰＵ３５は、同一の日付となる会計金額の合計金額を集計した後、週毎の合計金額、月毎の合計金額を集計する。また、この他に、購入した商品の種類毎に、日毎、週毎、月毎の合計金額を集計する。この集計結果を示す集計データは、支出管理用フォルダ２６に書き込まれる。

ステップＳ１３３は、集計結果を示す画像データを生成する処理である。ステップＳ１３２において集計データが生成されている。ＣＰＵ３５は、この集計データを用いて集計グラフを生成する。なお、この集計データから集計グラフを生成するプログラムは、周知のプログラムを用いればよい。ＣＰＵ３５は、生成した集計グラフを画像化する。これにより、集計画像データが生成される。ＣＰＵ３５は、生成された集計画像データを支出管理用フォルダ２６に書き込む。なお、生成された集計画像データに基づく集計画像を、一旦ステップＳ１３３の処理時に表示してもよい。

ステップＳ１３４は、レシート画像ファイルを削除するか否かを判定する処理である。集計画像データを生成した後、レシート画像ファイルを削除する旨のコメントがＬＣＤ２７に表示される。ユーザによる設定操作部４１の操作がレシート画像ファイルを削除する旨の操作であれば、ＣＰＵ３５は、ステップＳ１３４の判定処理をＹｅｓとし、ステップＳ１３５に進む。一方、ユーザによる設定操作部４１の操作がレシート画像ファイルを削除しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１３４の判定処理をＮｏとする。この場合、ステップＳ１１０に進む。

ステップＳ１３５は、レシート画像ファイルを削除する処理である。ＣＰＵ３５は、支出管理用フォルダ２６を参照し、レシート画像ファイルを削除する。なお、レシート画像ファイルと、商品画像ファイル及び文字データとは対応付けられていることから、ＣＰＵ３５は、レシート画像ファイルと、商品画像ファイル及び文字データとの対応付けを解消した後、レシート画像ファイルを削除する。

ステップＳ１３１の判定処理でＮｏとなる場合、つまり、支出管理モードの機能を選択する機能選択画面において項目「集計」が選択されていない場合には、ステップＳ１４１に進む。

ステップＳ１４１は、項目「編集」が選択されているか否かを判定する処理である。支出管理モードの機能を選択する機能選択画面において実行される設定操作部４１の操作が項目「編集」を選択する旨の操作であれば、ＣＰＵ３５は、このステップＳ１４１の判定処理をＹｅｓとし、ステップＳ１４２に進む。一方、設定操作部４１の操作が項目「編集」を選択しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１４１の判定処理をＮｏとし、ステップＳ１１０に進む。

ステップＳ１４２は、項目「画像追加」が選択されたか否かを判定する処理である。ステップＳ１４２の判定処理でＹｅｓとなる場合、編集項目を選択する選択画面がＬＣＤ２７に表示される。なお、この選択画面は、購入した商品の画像を追加する場合の項目「画像追加」、集計結果を編集する場合の項目「内容編集」の項目が設けられる。ユーザによる設定操作部４１の操作が項目「画像追加」を選択する旨の操作であれば、ＣＰＵ３５は、ステップＳ１４２の判定処理をＹｅｓとする。この場合、ステップＳ１４３に進む。一方、ユーザによる設定操作部４１の操作が項目「画像追加」を選択しない旨の操作の場合、ＣＰＵ３５は、ステップＳ１４２の判定処理をＮｏとする。この場合、ステップＳ１４６に進む。

ステップＳ１４３は、画像ファイルを追加する処理である。このステップＳ１４３の処理が開始されると、画像ファイルを追加する方法を選択する選択画面がＬＣＤ２７に表示される。この選択画面は、予め取得されている画像ファイルを追加する項目「取得された画像の追加」、新たに撮影を行って画像ファイルを追加する項目「撮影により画像の追加」などの項目がある。例えば設定操作部４１の操作が項目「取得された画像の追加」を選択する旨の操作であれば、ＣＰＵ３５は、画像フォルダ２５に記憶された画像ファイルから、サムネイル画像データを読み出し、表示制御回路２８に出力する。これを受けて、表示制御回路２８は、サムネイル画像データに基づくサムネイル画像の一覧表示を行う。この一覧表示の際に、ユーザによる設定操作部４１の操作により選択されたサムネイル画像に基づく画像ファイルを追加する画像ファイルとし、支出管理用フォルダ２６に書き込む。

一方、設定操作部４１の操作が項目「撮影により画像の追加」を選択する旨の操作であれば、撮像処理が実行される。ＣＰＵ３５は、撮影処理を実行することで新たに生成された商品画像ファイルを支出管理用フォルダ２６に書き込む。なお、支出管理用フォルダ２６に新たに商品画像ファイルが書き込まれた場合には、書き込まれた商品画像ファイルと文字データとが対応付けられていないことから、ＣＰＵ３５は、新たに書き込まれた画像ファイルと文字データとを対応付ける処理を行う。なお、この処理は、ユーザによる設定操作部の操作に基づいて実行してもよいし、デジタルカメラ１０の内部で自動的に行ってもよい。

ステップＳ１４４は、画像追加を終了するか否かを判定する処理である。設定操作部４１の操作が画像追加を終了する旨の操作であれば、ＣＰＵ３５は、ステップＳ１４４の判定処理をＹｅｓとする。この場合、ステップＳ１４５に進む。一方、設定操作部４１の操作が画像追加を終了しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１４４の判定処理をＮｏとする。この場合、ステップＳ１４３に戻る。この場合には、ユーザが意図する画像を追加し終わるまで、ステップＳ１４３及びステップＳ１４４の処理が繰り返し実行される。

ステップＳ１４５は、編集を終了するか否かを判定する処理である。設定操作部４１の操作が編集を終了する旨の操作であれば、ＣＰＵ３５は、ステップＳ１４５の判定処理をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、設定操作部４１の操作が編集を終了しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１４５の判定処理をＮｏとする。この場合、ステップＳ１４２に戻る。

ステップＳ１４２の判定処理でＮｏとなる場合、言い換えれば、ステップＳ１４２の処理を実行したときの設定操作部４１の操作が項目「画像追加」を選択しない旨の操作の場合には、ステップＳ１４６に進む。

ステップＳ１４６は、項目「内容編集」が選択されているか否かを判定する処理である。編集内容を選択する選択画面において、設定操作部４１の操作が項目「内容編集」を選択する旨の操作であれば、ＣＰＵ３５は、ステップＳ１４６の判定処理をＹｅｓとし、ステップＳ１４７に進む。一方、設定操作部４１の操作が項目「画像編集」を選択しない旨の操作であれば、ＣＰＵ３５は、ステップＳ１４６の判定処理をＮｏとする。この場合、ステップＳ１４５に進む。

ステップＳ１４７は、文字データを編集する処理である。ＣＰＵ３５は、支出管理用フォルダ２６に格納される文字データを読み出し、表示制御回路２８に出力する。表示制御回路２８は、この文字データに基づいた文字をＬＣＤ２７に表示する。これを受けて、ユーザによる設定操作部４１の操作が実行され、設定操作部４１の操作に基づいてＬＣＤ２７上の文字の修正、追加などの編集が実行される。これにより、刺繍管理用フォルダに格納された文字データが更新される。

ステップＳ１４８は、内容編集が終了したか否かを判定する処理である。ユーザの設定操作部４１の操作が、内容編集を終了させる旨の操作であれば、ＣＰＵ３５は、ステップＳ１４８の判定処理をＹｅｓとする。この場合、ステップＳ１４５に進む。一方、ユーザの設定操作部４１の操作が、内容編集を終了させない旨の操作であれば、ＣＰＵ３５は、ステップＳ１４８の判定処理をＮｏとし、ステップＳ１４７に戻る。

このように、デジタルカメラ１０に設けられた支出管理モードでは、レシートを撮影することで得られるレシート画像データから、レシートに記載された日付、購入した商品の種類、価格、及び会計金額などの文字データを取得することができ、また、この文字データを用いることで、週毎、月毎等、所定期間における支出を容易に集計できる。また、集計した結果を示す集計グラフを生成することで、支出の推移を容易に把握することができる。また、商品の種類毎に合計金額を求めることで、収支に対する商品の種類毎の割合を把握することも可能である。

また、レシートの撮影に引き続いて、購入した商品の撮影を行うことで、レシートの画像から得られる文字データと、購入した商品の画像との対応付けを容易に行うことができる。また、画像を追加する機能を持たせることで、レシートの画像の撮影に引き続いて購入した商品の撮影を行う必要はなく、購入した商品が後日ユーザの手元に届くような場合や、購入よりも前に撮影してしまった場合に対応することができる。

本実施形態では、集計結果に基づいた集計グラフを生成しているが、これに限定する必要はなく、集計データに基づいた集計表を生成することも可能である。

また、作成された集計グラフを画像化することで、支出管理用フォルダに記憶するデータ量を抑えているが、集計グラフを必ずしも画像化する必要はなく、集計を表示する際に画像化することも可能である。

本実施形態では、レシートを撮影することにより得られるレシート画像データから抽出される文字データを表示する場合については記載していないが、この文字データに基づいた内容をＬＣＤ２７に表示させる機能を備えてもよい。この場合、文字データに基づく内容としては、日付、購入した商品の種類、金額、会計金額となるが、例えばユーザによる設定操作部４１の操作により購入した商品の種類や価格を選択したときに、該当する商品画像をＬＣＤ２７に表示できるようにしてもよい。

本実施形態では、デジタルカメラ１０の動作モードとして支出管理モードを設け、この支出管理モードで生成される画像ファイルや文字データを、記憶媒体２４に生成される支出管理用フォルダ２６に記憶する実施形態としているが、支出管理用フォルダ２６を生成しなくとも、本発明を実現することができる。つまり、支出管理モードで生成される画像ファイルを全て画像フォルダ２５の内部に記憶させておき、支出管理モードに移行したときにのみ、これら画像ファイルを読み出せるようにすればよい。

また、この他に、支出管理モードで生成される画像ファイルのうち、商品画像ファイルについては、デジタルカメラの動作モードが再生モードの際にも読み出すことができるようにしても良い。

本実施形態では、レシート画像データから抽出される文字データは、レシート画像ファイル、商品画像ファイルと対応付けられるとしか記載していないが、これら文字データは、商品画像ファイルの付帯情報としてもよい。

本実施形態では、レシートの撮影と、購入した商品の撮影とを別個にしているが、これに限定される必要はなく、レシートと商品とを１回で撮影するようにしてもよい。この場合、レシートに記載された文字を認識できるように、例えばパノラマ撮影時の処理と同一の処理を実行すればよい。また、レシートと商品とを同時に撮影する場合、画像処理回路は、得られた画像から商品が含まれる領域を切り出す処理を行って、商品画像データ（ファイル）を生成してもよい。

本実施形態では、１人のユーザがデジタルカメラ１０を用いて支出管理を行う場合について説明しているが、複数のユーザがデジタルカメラを共有する場合には、共有するユーザのそれぞれで支出管理を実行することも可能である。この場合、ユーザ毎に支出管理フォルダを生成し、使用するユーザ毎に認証を行うようにすればよい。

本実施形態では、撮像装置としてデジタルカメラ１０を例に挙げて説明しているが、これに限定される必要はなく、例えばカメラ機能を有する携帯型電話機などの携帯型端末機やＰＣであってもよい。

本実施形態では、撮像装置を例に取り上げて説明しているが、図２〜図５のフローチャートの機能をコンピュータに実行させることが可能な支出管理プログラムであってもよい。なお、支出管理プログラムの場合には、支出管理プログラムは、メモリカード、磁気ディスク、光学ディスクなどのコンピュータが認識できる記憶媒体に記憶されていることが好ましい。

１０…デジタルカメラ、１６…撮像素子、２０…バッファメモリ、２１…画像処理回路、２２…符号化／復号化回路、２４…記憶媒体、２７…ＬＣＤ、２８…表示制御回路、３５…ＣＰＵ、３６…内蔵メモリ、４０…レリーズボタン、４１…設定操作部、４５…モード設定部、４６…認証部、４７…データ抽出部、４８…データ集計部、５０…認証用データ

Claims (10)

1. 商品の購入時に受け取るレシートの画像を示す第１画像データを取得する画像取得手段と、
   前記第１画像データから、前記レシートに記載された文字を抽出する抽出手段と、
   前記抽出手段により抽出された文字をまとめた文字データと前記第１画像データとを記憶する記憶手段と、
   前記記憶手段に記憶された前記文字データに含まれる金額データを集計する集計手段と、
   前記集計手段による集計結果を示す第２画像データを生成する画像生成手段と、
   前記画像生成手段により生成された前記第２画像データに基づいた表示を行う表示手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記文字データは、前記金額データの他に、前記商品を購入した日付を示す日付データを含み、
   前記金額データは、前記商品を購入した時の会計金額を示すデータを含み、
   前記集計手段は、前記日付データ及び前記会計金額を示すデータから、所定期間毎の支出を集計することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記文字データは、前記金額データ、前記日付データの他に、購入した商品の種類を示す種類データを含み、
   前記金額データは、前記会計金額を示すデータの他に、前記購入した商品の価格を示すデータを含み、
   前記集計手段は、前記購入した商品の種類毎に、前記所定期間毎の支出を集計することを特徴とする撮像装置。
4. 請求項２又は請求項３に記載の撮像装置において、
   前記第２画像データは、前記集計手段により集計された前記所定期間毎の支出の推移を示す画像データからなることを特徴とする撮像装置。
5. 請求項３又は請求項４に記載の撮像装置において、
   前記画像取得手段は、前記購入した商品の画像の元になる第３画像データを取得し、
   前記記憶手段は、前記日付データ、前記購入した商品の価格を示すデータ及び前記購入した商品の種類を示すデータと、前記第３画像データとを関連付けて記憶することを特徴とする撮像装置。
6. 請求項３又は請求項４に記載の撮像装置において、
   前記第１画像データは、前記レシートと前記購入した商品とを含む画像データからなり、
   前記画像生成手段は、前記第１画像データから前記購入した商品の画像の元になる第３画像データを生成し、
   前記記憶手段は、前記日付データ、前記購入した商品の価格を示すデータ及び前記購入した商品の種類を示すデータと、前記第３画像データとを関連付けて記憶することを特徴とする撮像装置。
7. 請求項１から請求項６のいずれか１項に記載の撮像装置において、
   前記記憶手段は、前記第２画像データを記憶させることが可能であり、
   前記第２画像データを前記記憶手段に記憶させるときに、前記第１画像データを削除するか否かを選択する選択手段を備えていることを特徴とする撮像装置。
8. 請求項１から請求項７のいずれか１項に記載の撮像装置において、
   前記第１画像データを取得する処理、前記レシートに記載された文字を前記第１画像データから抽出する処理、抽出された文字をまとめた前記文字データと前記第１画像データとを記憶する処理、記憶された前記文字データに含まれる金額データを集計する処理、集計結果を示す第２画像データを生成する処理及び生成された前記第２画像データに基づく表示を行う処理を実行する支出管理モードを備えていることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記記憶手段に記憶された、少なくとも前記第２画像データ及び前記文字データは、前記支出管理モード時に読み出すことが可能となることを特徴とする撮像装置。
10. 請求項８又は請求項９に記載の撮像装置において、
    前記支出管理モードは、認証を行うことで移行することが可能な動作モードからなり、
    前記認証時に認証データを入力する入力手段と、
    前記入力手段により入力された認証データと、登録済みの認証データとが一致しているか否かを判定する判定手段とを備えていることを特徴とする撮像装置。

Images