JP2010134492A - 家計簿自動作成システム - Google Patents

Abstract

【課題】カメラ機能付き携帯電話端末を使用して、買い物をした直後にレシート情報を抽出することにより、家計簿を自動的に作成する。
【解決手段】レシートをカメラ機能付き携帯電話端末で撮影し、撮影した画像と予め格納してあるレシートフォーマットとのマッチングを行い、テキストデータに変換した後、レシート情報をレシート情報収集・管理サーバに送付する。レシート情報収集・管理サーバで管理しているユーザ毎のレシート情報と家計簿作成・閲覧サーバ上に格納されているユーザ情報から、家計簿情報管理テーブルにユーザ毎の家計部を自動的に作成する。
【選択図】図２

Description

本発明は、家計簿自動作成システムに係り、特に、携帯電話端末のカメラ機能を利用することでレシートの情報を撮影、送信し、家計簿を作成する家計簿自動作成システムに関する。

従来、家計簿を作成するには、レジ精算の際に発券されたレシートを保管し、個人が家計簿に手で記帳する、パソコン（ＰＣ端末）に搭載されている家計簿作成ソフトウェアを利用してレシートに基づいて項目や金額等を入力するといった方法で家計簿を作成していた。家計簿ソフトウェアヘの入力も、ユーザがキーボードにより手動で行っていたため、データ入力時のミスが懸念されていた。
このような問題を解決する技術として、パソコンに専用のレシート読取機を接続し、レシートを読み取るものが知られている。（下記、特許文献１参照）

なお、本願発明に関連する先行技術文献としては以下のものがある。
特許公開２００２−１１７２１９号公報

前述の特許文献１に開示されている家計簿作成システムでは、読み取り装置を使いレシートの情報を読み込み、パソコンにデータを入力するという方法であった。そのため、この方法では、読み取り専用端末のない場所では、レシート情報を登録、収集することができないという課題があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、カメラ機能付き携帯電話端末を使用して、買い物をした直後にレシート情報を抽出することにより、家計簿を自動的に作成することが可能な家計簿自動作成システムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の課題を解決するために、本発明は、レシートを撮影しテキストデータヘ変換を行うカメラ機能付き携帯電話端末と、ネットワークを介してレシート情報を収集管理するレシート情報収集・管理サーバと、家計簿作成、閲覧などを行う家計簿作成・閲覧サーバとからなる家計簿自動作成システムであって、前記カメラ機能付き携帯電話端末は、レシートを撮影する内蔵カメラと、前記内蔵カメラで撮影したレシート画像とレシートフォーマットとのマッチングを行い所定の画像を抽出するデータ処理・制御部と、前記抽出した所定の画像をテキストデータに変換するレシート読み取り部と、前記ネットワークを介して前記レシート読み取り部で認識したレシート情報とユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報とを前記レシート情報収集・管理サーバに送信するレシート情報送信部と、作成された家計簿を受信する家計簿情報受信部とを備え、前記レシート情報収集・管理サーバは、レシート情報を管理するレシート情報管理データベースと、前記ネットワークを介して前記カメラ機能付き携帯電話端末からレシート情報を受信するレシート情報受信部と、前記受信したレシート情報を前記レシート情報管理データベースヘ格納し、かつ、前記家計簿作成・閲覧サーバとの情報の受け渡しをするデータ処理・制御部とを備え、前記家計簿作成・閲覧サーバは、ユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報との登録を受け付けるユーザ情報受信部と、前記レシート情報収集・管理サーバから送信されるレシート情報とユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報とに基づき、ユーザごとの家計簿を作成するデータ処理・制御部と、前記データ処理・制御部で作成された家計簿情報を管理する家計簿情報管理データベースと、前記ユーザからの要求に応じて、作成した家計簿情報を、携帯電話端末やパソコンに送信する家計簿情報送信部とを備えることを特徴とする。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の家計簿自動作成システムによれば、カメラ機能付き携帯電話端末を使用して、買い物をした直後にレシート情報を抽出することにより、家計簿を自動的に作成することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施例の家計簿自動作成システムの全体概要を示すブロック図である。
図１において、１０１はレシート情報の読み取りをするカメラ機能付き携帯電話端末、１０２は商品名と価格の記載があるレシート、１０３は家計簿データやユーザデータを送受信するネットワーク、１０４はレシート情報の収集や家計簿を作成するサーバを有する家計簿自動作成システム、１０５はレシート情報を収集し管理するレシート情報収集・管理サーバ、１０６はレシート情報収集・管理サーバ１０５で収集管理しているレシート情報を元に、家計簿作成、閲覧可能とする家計簿作成・閲覧サーバ、１０７はレシート情報を管理するレシート情報管理データベース（以下、ＤＢという）、１０８はユーザ情報やレシート情報から作成された家計簿情報やユーザの個人情報、端末情報を管理する家計簿情報管理ＤＢ、１０９は自宅やオフィスから家計簿の閲覧・編集を実施するＰＣ端末である。

図２は、本発明の実施例の家計簿自動作成システムの全体機能構成を示すブロック図である。
図２において、２００はレシート、２１０はレシート情報の読み取りをするカメラ機能付き携帯電話端末である。
カメラ機能付き携帯電話端末２１０は、レシートを撮影する内蔵カメラ２１７と、レシート読み取り部２１１と、データ処理・制御部２１２と、レシート情報送信部２１３と、家計簿情報受信部２１４と、表示部（ブラウザ）２１５と、ユーザ情報送信部２１６とを有する。
データ処理・制御部２１２は、内蔵カメラ２１７で撮影したレシート画像とレシートフォーマットとのマッチングを行い所定の画像を抽出する。
レシート読み取り部（文字認識システム部）２１１は、データ処理・制御部２１２で抽出した画像をテキストデータに変換する。このレシート読み取り部２１１は、例えば、携帯電話端末が標準装備するデジタル画像文字のテキスト変換機能で構成される。
レシート情報送信部２１３は、レシート読み取り部２１１でテキストデータに変換したレシート情報をネットワーク２３０を介して、電子計算機で構成される家計簿自動作成システム２２０ヘを送付する。ここで、レシート情報送信部２１３は、カメラ機能付き携帯電話端末に格納し動作する携帯アプリケーションプログラムを想定している。
家計簿情報受信部２１４は、家計簿自動作成システム２２０から家計簿情報などを受信し、表示部（ブラウザ）２１５に表示する。ユーザ情報送信部２１６は、ユーザの個人情報を送信する。

２３０は家計簿データやユーザデータを送受信するネットワークである。
２２０は家計簿自動作成システムであり、家計簿自動作成システム２２０は、レシート情報の収集や家計簿を作成するサーバを有する。
家計簿自動作成システム２２０において、２２１はレシート情報を受信し、データ整理、ＤＢ登録を行うレシート情報収集・管理サーバである。
レシート情報収集・管理サーバ２２１は、レシート情報を登録管理するレシート情報管理ＤＢ２２４と、カメラ機能付き携帯電話端末２１０からネットワーク２３０を介して送信されるレシート情報を受信するレシート情報受信部２２２と、レシート情報受信部２２２で受信したレシート情報をレシート情報管理ＤＢ２２４へ登録するデータ処理・制御部２２３とを有する。なお、５００はレシート情報管理ＤＢ２２４内のレシート情報管理テーブルである。
家計簿自動作成システム２２０において、２２５はユーザごとに家計簿を作成し、閲覧環境の提供を行う家計簿作成・閲覧サーバである。
家計簿作成・閲覧サーバ２２５は、ユーザ毎の家計簿情報を格納する家計簿情報管理ＤＢ２２８と、カメラ機能付き携帯電話端末２１０からのユーザのアクセスやユーザ登録情報を受け付けるユーザ情報受信部２２６と、レシート情報管理ＤＢ２２４のレシート情報からユーザ毎の家計簿の作成を行うデータ処理・制御部２２７と、データ処理・制御部２２７で作成した家計簿や、家計簿情報管理ＤＢ２２８から抽出したユーザの家計簿情報などを、ネットワーク２３０を介してカメラ機能付き携帯電話端末２１０に送信する家計簿情報送信部２２９である。なお、３００、４００はそれぞれ家計簿情報管理ＤＢ２２８内のユーザ情報を管理するユーザ情報管理テーブル、家計簿情報を管理する家計簿情報管理テーブルである

図３は、図２に示す家計簿情報管理ＤＢ２２８内の、ユーザ情報を管理するユーザ情報管理テーブル３００の記録フォーマットを示す図である。
図３において、３０１はユーザＩＤ、３０２は端末情報、３０３は名前、３０４は年齢、３０５は性別、３０６は支出データを示す。
図４は、図２に示す家計簿情報管理ＤＢ２２８内の、ユーザ毎のレシート情報を管理する家計簿管理テーブル４００の記録フォーマットを示す図である。
図４において、４０１は日付、４０２は商品カテゴリ、４０３は商品名、４０４は価格、４０５はユーザＩＤを示す。なお、図４の商品カテゴリ４０２は、家計簿作成・閲覧サーバ２２５が、予め家計簿作成・閲覧サーバ２２５に登録されている商品名と、レシート情報内の商品名の突き合わせを行い決定する。
図５は、図２に示すレシート情報管理ＤＢ２２４内の、ユーザ、端末ごとに送付されたレシート情報管理するレシート情報管理テーブル５００の記録フォーマットを示す図である。
図５において、５０１はユーザＩＤ、５０２は商品名、５０３は価格、５０４は日時、５０５は端末情報を示す。

図６は、本実施例の家計簿自動作成システムにおける、レシートを読み取ってから家計簿が作成されるまでの処理手順を示すフローチャート、図７は、本実施例の家計簿自動作成システムにおける、ユーザ登録時の処理手順を示すフローチャートである。
以下、図６、図７を用いて、本実施例の家計簿自動作成システムの処理手順について説明する。
ユーザは、レシート２００をカメラ機能付き携帯電話端末２１０で撮影する（ステップ６０１）。
撮影したレシート画像は、予め携帯に登録してあるレジ製造会社のレシートフォーマットとのマッテング（詳細は、図９参照）をデータ処理・制御部２１２で行い、家計簿作成に必要な画像（価格、商品名、日時の画像）のみを抽出する（ステップ６０１１）。
抽出した画像を、レシート読み取り部２１１（携帯標準装備のテキストリーダを使用）で読み込み、テキストデータに変換する（ステップ６０１２）。
カメラ機能付き携帯電話端末２１０は、レシート情報送信部２１３を使用し、レシート情報収集・管理サーバ２２１ヘレシート情報を送信する。データのアップロードの際には、ユーザ情報送信部２１６から、ユーザ情報（ユーザＩＤ、端末情報）を同時に送信する。なお、本システムでは、ユーザは、事前に家計簿自動作成システムヘ登録しておく必要がある。

レシート情報収集・管理サーバ２２１は、カメラ機能付き携帯電話端末２１０から送信されたユーザ情報（ユーザＩＤ、端末情報）が、ユーザ情報管理テーブル３００に登録されているか否かを判断し、ユーザ確認を行う（ステップ６０２）。
ステップ６０２で、「Ｙｅｓ」であれば、抽出したレシート情報をカメラ機能付き携帯電話端末２１０へ送信する（ステップ６０３）。
次に、カメラ機能付き携帯電話端末２１０の表示部に、ステップ６０１２で取得したデータ内容を表示する（ステップ６０４）。
ステップ６０４で、「Ｎｏ」であれば作業が完了する。ステップ６０４で、「Ｙｅｓ」であれば抽出結果をレシート情報管理テーブル５００に格納する（ステップ６０５）。
レシート情報収集・管理サーバ２２１では、収集したレシート情報をレシート情報管理ＤＢ２２４に格納し、一元的に管理する。レシート情報管理ＤＢ２２４は、レシート情報管理テーブル５００で構成されており、ユーザＩＤ５０１、端末情報５０５をキーとしてレシート情報が格納されている。

ステップ６０２で、「Ｎｏ」であれば、家計簿作成・閲覧サーバ２２５へユーザ情報登録を依頼し、ユーザ情報登録フロー７００へ遷移する。
家計簿作成・閲覧サーバ２２５は、初めに、ユーザ自身のユーザ情報を入力させる（ステップ７０１）。それと同時に、カメラ機能付き携帯電話端末２１０の端末情報を取得する（ステップ７０２）。
その後、ユーザ自身に登録情報の内容の確認を行わせ（ステップ７０３）、ステップ７０３で、「Ｎｏ」であれば処理終了する。
ステップ７０３で、「Ｙｅｓ」の場合は確認後のユーザ情報を、ユーザ情報管理テーブル３００に登録する（ステップ７０４）。
家計簿作成・閲覧サーバ２２５では、レシート情報管理ＤＢ２２４のレシート情報管理テーブル５００内のユーザＩＤ５０１をキーとしたレシート情報を、家計簿情報管理ＤＢ２２８のユーザ情報管理テーブル３００にあるユーザＩＤ３０１をキーとして紐付けを行い、ユーザ毎の家計簿を家計簿情報管理ＤＢ２２８内の家計簿情報管理テーブル４００上に作成する。
ユーザは、家計簿作成・閲覧サーバ２２５上の家計簿ＷＥＢサイトにＰＣ端末（図１の１０９）や、カメラ機能付き携帯端末２１０からアクセスし、自分自身の家計簿情報を閲覧可能となる。

図８は、本実施例の家計簿自動作成システムにおける、レシート情報を抽出するときの概要図である。
図８において、８０１は商品名や価格、店の名前、購入日時などの情報が記載されたレシート、８０２はカメラ機能付き携帯電話端末、８０３はカメラ機能付き携帯電話端末８０２で撮影した画像データ、８０４はカメラ機能付き携帯電話端末８０２内に格納するレジ製造会社ごとのレシートフォーマットを示す。
図９は、本実施例の家計簿自動作成システムにおける、レシート情報時の処理手順を示すフローチャートである。
以下、図９を用いて、家計簿自動作成システムにおける、レシート情報時の処理手順を説明する。
初めに、レシート画像を読み込み（ステップ９０１）、読みこんだ画像をレジ製造会社ごとに決まっているレシートフォーマットとマッチングし、所定の画像（商品名、価格、日時の画像）を抽出する（ステップ９０２）。
このステップ９０２では、マッチングするために読み込んだ画像とレシートフォーマット９０５を用いてマッチングを行い、「Ｎｏ」であれば他のレシートフォーマットに変更して、マッチングするまでループを繰り返す。
ステップ９０２で、「Ｙｅｓ」であれば、抽出した画像をレシート読み取り部２１１でテキストデータに変換し、カメラ機能付き携帯電話端末２１０の表示部（ブラウザ）２１５に表示し、抽出結果が正常であることをユーザに確認させ（ステップ９０３）、ステップ９０３で、「Ｎｏ」であれば処理を終了する。

ステップ９０３で、「Ｙｅｓ」であれば、レシート情報をレシート情報管理テーブル５００に登録する（ステップ９０４）。
なお、ステップ９０２で、「Ｎｏ」であれば、カメラ機能付き携帯電話端末２１０の表示部（ブラウザ）２１５上で、ユーザが手動で修正した後登録する。
以上説明したように、本実施例では、カメラ機能付き携帯電話端末でレシートを撮影して、レシート情報を抽出することにより、家計簿データベースヘのレシート情報の送付、家計簿の作成が可能となるので、専用の読み取り端末や、入力端末（キーボードなど）、パソコンといった機器がない場所であっても、ユーザはカメラ機能付き携帯電話端末だけを所持するだけで家計簿の作成を行うことが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本
発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例の家計簿自動作成システムの全体概要を示すブロック図である。 本発明の実施例の家計簿自動作成システムの全体機能構成を示すブロック図である。 図２に示す家計簿情報管理ＤＢ内の、ユーザ情報を管理するユーザ情報管理テーブルの記録フォーマットを示す図である。 図２に示す家計簿情報管理ＤＢ内の、ユーザ毎のレシート情報管理する家計簿管理テーブルの記録フォーマットを示す図である。 図２に示すレシート情報管理ＤＢ内の、ユーザ、端末ごとに送付されたレシート情報管理するレシート情報管理テーブルの記録フォーマットを示す図である。 本発明の実施例の家計簿自動作成システムにおける、レシートを読み取ってから家計簿が作成されるまでの処理手順を示すフローチャートである。 本発明の実施例の家計簿自動作成システムにおける、ユーザ登録時の処理手順を示すフローチャートである。 本発明の実施例の家計簿自動作成システムにおける、レシート情報を抽出するときの概要図である。 本発明の実施例の家計簿自動作成システムにおける、レシート情報時の処理手順を示すフローチャートである。

符号の説明

１０１，２１０，８０２ カメラ機能付き携帯電話端末
１０２，２００，８０１ レシート
１０３，２３０ ネットワーク
１０４，２２０ 家計簿自動作成システム
１０５，２２１ レシート情報収集・管理サーバ
１０６，２２５ 家計簿作成・閲覧サーバ
１０７ レシート情報管理ＤＢ
１０８ 家計簿情報管理ＤＢ
１０９ ＰＣ端末
２１１ レシート読み取り部
２１２，２２３，２２７ データ処理・制御部
２１３ レシート情報送信部
２１４ 家計簿情報受信部
２１５ 表示部（ブラウザ）
２１６ ユーザ情報送信部
２１７ 内蔵カメラ
２２２ レシート情報受信部
２２４ レシート情報管理ＤＢ
２２６ ユーザ情報受信部
２２８ 家計簿情報管理ＤＢ
２２９ 家計簿情報送信部
３００ ユーザ情報管理テーブル
３０１，４０５，５０１ ユーザＩＤ
３０２ 端末情報
３０３ 名前
３０４ 年齢
３０５ 性別
３０６ 支出データ
４００ 家計簿管理テーブル
４０１ 日付
４０２ 商品カテゴリ
４０３ 商品名
４０４ 価格
５００ レシート情報管理テーブル
５０２ 商品名
５０３ 価格
５０４ 購入日時
５０５ 端末情報
８０３ 内蔵カメラで撮影した画像データ
８０４ レジ製造会社のレシートフォーマット

Claims (1)

1. レシートを撮影しテキストデータヘ変換を行うカメラ機能付き携帯電話端末と、
   ネットワークを介してレシート情報を収集管理するレシート情報収集・管理サーバと、
   家計簿作成、閲覧などを行う家計簿作成・閲覧サーバとからなる家計簿自動作成システムであって、
   前記カメラ機能付き携帯電話端末は、レシートを撮影する内蔵カメラと、
   前記内蔵カメラで撮影したレシート画像とレシートフォーマットとのマッチングを行い所定の画像を抽出するデータ処理・制御部と、
   前記抽出した所定の画像をテキストデータに変換するレシート読み取り部と、
   前記ネットワークを介して前記レシート読み取り部で認識したレシート情報とユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報とを前記レシート収集・管理サーバに送信するレシート情報送信部と、
   作成された家計簿を受信する家計簿情報受信部とを備え、
   前記レシート情報収集・管理サーバは、レシート情報を管理するレシート情報管理データベースと、
   前記ネットワークを介して前記カメラ機能付き携帯電話端末からレシート情報を受信するレシート情報受信部と、
   前記受信したレシート情報を前記レシート情報管理データベースヘ格納し、かつ、前記家計簿作成・閲覧サーバとの情報の受け渡しをするデータ処理・制御部とを備え、
   前記家計簿作成・閲覧サーバは、ユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報との登録を受け付けるユーザ情報受信部と、
   前記レシート情報収集・管理サーバから送信されるレシート情報とユーザＩＤと前記カメラ機能付き携帯電話端末の端末情報とに基づき、ユーザごとの家計簿を作成するデータ処理・制御部と、
   前記データ処理・制御部で作成された家計簿情報を管理する家計簿情報管理データベースと、
   前記ユーザからの要求に応じて、作成した家計簿情報を、携帯電話端末やパソコンに送信する家計簿情報送信部とを備えることを特徴とする家計簿自動作成システム。

Images