JP2017220143A - 情報通信端末、商品精算用サーバー、商品精算システム、商品特定方法、商品精算方法、購入商品管理方法及びプログラム - Google Patents

Abstract

【課題】バーコード以外の商品特定方法を利用する又はその商品特定方法をバーコートとともに利用する情報通信端末を提供する。【解決手段】少なくとも商品の外観を含む画像情報を撮影する撮像部と、画像情報に商品の外観が含まれているかどうかについて、画像情報を解析する画像解析部と、画像情報に商品の外観が含まれているかどうかの解析結果を表示する表示部と、を備える。画像情報は、商品の外観と、商品の賞味期限もしくは消費期限と、商品のバーコードとを含む場合がある。【選択図】図２

Description

本発明は、情報通信端末、商品精算用サーバー、商品精算システム、商品特定方法、商品精算方法、購入商品管理方法及びプログラムに関する。

コンビニ、スーパー等のレジでは、商品読み取りと精算に時間がかかり、店舗側は、精算に時間がかかることによって人件費が掛かり、お客もレジ待ち時間等が発生していた。一部スーパーでは、セルフレジ（お客自身が商品のバーコード読み取りと精算を行う）が導入されているが、店舗スタッフからお客に業務負担が移っただけで、レジでの処理が集中する為、待ち時間は減らなかった。
特許文献１には、購入商品の最終的精算を行なう精算端末を有するＰＯＳ装置に、各商品に付された商品コードを読み取る商品コード読取手段を有する複数のセルフスキャン式登録端末が、管理部を介して収容され、管理部が、商品コード読取手段により読み取られた商品コード情報に基づく商品購入情報を、各セルフスキャン式登録端末およびＰＯＳ装置との間で送受するように構成することの記載がある。 購入した商品を管理する家計簿ソフトウェアとしては、カメラでレシートを撮影して家計簿を作成するソフトウェア、商品の賞味期限を登録して賞味期限を管理するソフトウェアがある。

特開平７−２５４０２１号公報

客自身が商品コード読取手段を用いて商品コード（バーコード等）を読み取るシステムではバーコードを付加することが難しい野菜等では、レジの担当者が手入力で精算データを入力することが求められる。また、商品の表面形状は必ずしも平面ではないため、お客が商品のバーコード読み取りを行うことが難しい場合もある。商品を管理する家計簿ソフトウェアでは、商品を購入するたびに、購入商品の情報を入力する必要があるため、手間がかかる課題があった。

本発明は、バーコード以外の商品特定方法を利用する又はその商品特定方法をバーコートとともに利用する情報通信端末、商品精算用サーバー、商品精算システム、商品特定方法、商品精算方法及びプログラムを提供することを目的とする。

また本発明は、購入商品の情報を入力する必要がないプログラムを提供することを目的とする。

さらに本発明は、購入商品の賞味期限を利用者の都合に合わせてアラートする情報通信端末、購入商品管理方法及びプログラムを提供することを目的とする。

本発明に係る情報通信端末は、少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとを含む画像情報を撮影する撮像部と、
前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとが含まれているかどうかについて、前記画像情報を解析する画像解析部と、
前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとが含まれているかどうかの解析結果を表示する表示部と、
を備えた情報通信端末である。

本発明に係る商品精算用サーバーは、情報通信端末と通信可能な商品精算用サーバーであって、
前記情報通信端末から、少なくとも一方向の商品の外観を含む第１の画像情報を受信する通信部と、
前記一方向又は複数の方向から撮影した商品の外観を含む第２の画像情報と、前記第２の画像情報に係る商品の精算データとを結びつけて蓄積するデータベースと、
前記第１の画像情報と前記第２の画像情報とを比較照合して前記精算データを特定する画像照合部と、を備え、
前記通信部は特定された前記精算データを前記情報通信端末に送信する商品精算用サーバー。

本発明に係る商品精算システムは、上記本発明に係る商品精算用サーバーと、該商品精算用サーバーと通信可能な情報通信端末と、該情報通信端末と通信可能なレジスターとを備えた商品精算システムである。

本発明に係る、情報通信端末の商品特定方法は、撮像部が、少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとを含む画像情報を撮影し、
情報解析部が、前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかについて、前記画像情報を解析し、
表示部が、前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかの解析結果を表示する、情報通信端末の商品特定方法である。

本発明に係る、商品精算用サーバーの商品精算方法は、情報通信端末と通信可能な商品精算用サーバーの商品精算方法であって、
前記情報通信端末から、少なくとも一方向の商品の外観を含む第１の画像情報を受信し、
前記一方向又は複数の方向から撮影した商品の外観を含む第２の画像情報と、該商品の精算データとを結びつけてデータベースに蓄積し、
前記第１の画像情報と前記第２の画像情報とを比較照合して前記精算データを特定し、
前記精算データを前記情報通信端末に送信する商品精算方法である。

本発明に係るプログラムは、情報通信端末としてのコンピュータに、
撮像部が、少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとを含む画像情報を撮影する処理と、
前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかについて、前記画像情報を解析する処理と、
表示部が、前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかの解析結果を表示する処理と、
を実行させるためのプログラムである。

本発明に係る情報通信端末は、購入商品に関する賞味期限又は消費期限を含む精算データを記憶する記憶部と、
購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定又は全購入品全体設定を行い、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する制御部と、を有する情報通信端末である。

本発明に係る、情報通信端末の購入商品管理方法は、購入商品に関する賞味期限又は消費期限を含む精算データを記憶し、
購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定し、又は全購入品全体設定し、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する、情報通信端末の購入商品管理方法である。

本発明に係るプログラムは、情報通信端末としてのコンピュータに、
購入商品に関する賞味期限又は消費期限を含む精算データを記憶する処理と、
購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定し、又は全購入品全体設定し、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する処理と、
を実行させるプログラムである。

本発明によれば、バーコード以外の商品特定方法を利用した又はその商品特定方法をバーコートとともに利用した商品の精算を行うことができ、バーコードの利用が難しい商品でも精算を行うことができる。また本発明によれば、購入商品の情報を入力する必要がなくなる。さらに、本発明によれば、購入商品の賞味期限又は／及び消費期限利用者の都合に合わせてアラートすることができる。

本発明の第１の実施形態に係る商品精算システムの一構成例を示す構成図である。 図１の商品精算システムの携帯端末及びタブレットの一構成例を示す構成図である。 図１の商品精算システムの商品精算用サーバーの一構成例を示す構成図である。 図１の商品精算システムの動作を示すフローチャートである。 本発明の第２の実施形態に係る店舗用買物アプリケーションの精算リスト表示、家計簿表示、賞味期限管理の３つのサービスを示すフローチャートである。 精算リスト表示、家計簿表示、賞味期限管理表示の３つを示す図である。 本発明の第３の実施形態に係る、アラート機能とスケジュール管理機能を結びつけた買物プログラムの動作を示すフローチャートである。

以下、本発明の実施形態について図面を用いて詳細に説明する。
（第１の実施形態）
図１は本発明の商品精算システムの一実施形態の構成図である。図１に示す商品精算システムは、スマートフォン等の撮像部付き携帯端末１０又は買い物かごに取り付けられたタブレット２０、商品精算用サーバー３０、レジスター４０を備えている。携帯端末１０及びタブレット２０は情報通信端末となる。

図２は図１の携帯端末及びタブレットの一構成例を示す構成図である。図２に示すように、携帯端末は、レジスター４０と近接無線通信（ＮＦＣ等）する近接通信部１０１、商品精算用サーバー３０と無線通信する通信部１０２、画像解析部１０３、制御部１０４、表示部１０５、撮像部１０６、及び記憶部１０７を備えている。制御部１０４は近接通信部１０１、通信部１０２、画像解析部１０３、表示部１０５、撮像部１０６、及び記憶部１０７を制御する。タブレット２０は図２に示す携帯端末と比べて近接通信部１０１がない点を除いて、同じ構成である。タブレット２０は通信部１０２により、レジスター４０と商品精算用サーバー３０とに無線通信する。ただし、タブレット２０とレジスター４０との間で近接無線通信が可能であれば、タブレット２０は近接通信部１０１を備えていてもよい。

図３は図１の商品精算用サーバーの一構成例を示す構成図である。商品精算用サーバー３０は、携帯端末１０又はタブレット２０と無線通信する通信部３０１、入力部３０２、画像照合部３０３、制御部３０４、表示部３０５、及びデータベース部３０６を備えている。制御部３０４は通信部３０１、入力部３０２、画像照合部３０３、表示部３０５、及びデータベース部３０６を制御する。

携帯端末１０の制御部１０４は買い物アプリケーションを立ち上げ、撮像部１０６で商品を撮影し、表示部１０５に撮影した画像を表示し、画像解析部１０３は撮影画像に商品が含まれていれば画像を記憶部１０７に記憶する。タブレット２０は買い物かごに商品が入ると撮像部１０６で撮影を行い、表示部１０５に撮影した画像を表示し、画像解析部１０３は撮影画像に商品が含まれていれば画像を記憶部１０７に記憶する。撮影は商品の外観が明確になるように行うが、画像解析部１０３で商品が特定できなければ、表示部１０５に再撮影を表示する。このとき、不足している画像を指示してもよく、例えば、バーコードの画像、賞味期限又は消費期限の画像、商品の外観の全体画像、側面画像等が不足している旨を表示する。

利用者は、商品の外観は商品全体を撮影するが、商品の一部に特徴があればその一部を撮影してもよい。商品に商品名、商品を示唆する図形、イメージ色、キャラクタがあれば画像にそれらを含むように撮影する。撮影画像にバーコードが含まれれば、より商品の特定が容易となるのでバーコートを含めることが好ましい。画像解析部１３は撮影画像から商品を特定するための特徴点を抽出する。特徴点は、商品の外観、具体的には商品の形状、商品の表面の商品名、商品を示唆する図形、イメージ色、キャラクタ等である。お客が撮影する際に、商品の外観で商品を特定することができるので、バーコードの位置等を意識しなくても簡単に撮影し、商品の読み取りが可能となる。又、バーコードを付加するのが難しい野菜等の商品を特定することが可能となる。商品の表面形状は必ずしも平面ではないため、お客が商品のバーコード読み取りを行うことが難しい場合があるが、その場合でも商品の外観で商品を特定することができる。

バーコードとしては、JAN(Japanese Article Number)コードが広く用いられているが、ＪＡＮコードは国コード、企業コード、商品アイテムコード、チェックディジットからなり、価格情報、賞味期限や消費期限の情報を含まない。しかし、GS1データバーはJANコードと比較してスペースが小さくなり、商品アイテムコードの他に有効期限やロット番号などの任意につけられ、複数の商品属性情報を追加表示できる。よって、GS1データバーを用いれば、賞味期限や消費期限の情報をバーコードとは別に撮影する必要がなくなる。

撮影画像に賞味期限、消費期限が含まれれば、画像解析部１０３は賞味期限、消費期限を抽出し、記憶部１０７に記憶しておくことで、制御部１０４は携帯端末のスケジュール管理機能と連動させて賞味期限又は／及び消費期限のアラートをすることができる。例えば、旅行や出張の予定がある場合に、旅行や出張中に賞味期限、消費期限がくるものについて事前にアラートすることができる。この場合、商品の購入後に限らず、商品の清算前であっても旅行や出張の予定に合わせて賞味期限、消費期限が先の商品を選択することが可能となる。賞味期限、消費期限を文字コードとして記憶する場合、文字コードへの変換は携帯端末１０又はタブレット２０によって行っても、商品精算用サーバー３０で行ってもよい。

携帯端末１０又はタブレット２０によって撮影される画像情報において、バーコード、賞味期限又は消費期限等の情報を一方向からの撮影で難しい場合には、動画撮影機能を用いて、角度を変えてバーコード、賞味期限又は消費期限を撮影することでより精度よく画像情報を得ることができる。また、バーコード、賞味期限又は消費期限等の情報に加えて商品名、特徴あるキャラクタを撮影したい場合に、動画撮影機能を用いることができる。例えば、商品の側面にブランド名、その商品を示唆する図形、模様、色彩が表示され、裏面にバーコードが表示されている場合には、動画撮影機能を用いて側面及び裏面を撮影する。

撮影された商品の画像情報は通信部１０２を介して商品精算用サーバー３０に送信される。商品精算用サーバー３０は一方向又は複数の方向、例えば、６つの方向（上下方向、前後方向、左右方向）から商品の外観を撮影した画像情報を、精算データと関連付けでデータベース部３０６に保存している。画像照合部３０３は６つの方向から撮影した画像情報と携帯端末又はタブレットから送信された画像情報とを照合比較することで、携帯端末１０により撮影された商品の精算データを特定する。商品精算用サーバー３０は６つの方向から撮影した商品の外観の画像をデータベース部３０６に保存しているので、携帯端末１０又はタブレット２０から送信された画像情報が一方向から撮影された商品の外観の画像であっても照合が可能である。バーコードのみから商品を特定する場合には、バーコードが明確に読み取れないと商品を特定することができないが、本実施形態では商品の外観から商品を特定するので、バーコードが読み取れない場合や、バーコードが付されていない場合であっても、商品を特定することが可能となる。商品名、商品を示唆する図形、イメージ色、キャラクタが商品の前面にあれば一方向からの撮影画像があれば商品を特定することができる。この場合、商品精算用サーバー３０は６つの方向（上下方向、前後方向、左右方向）の撮影画像をデータベース部３０６に保存しなくとも、商品の特徴が一方向からの撮影で現れる場合には一方向の撮影画像のみを保存すればよい。なお、商品の商品名を文字として認識できなくとも、商品全体に対する商品名の配置や、文字の色等で商品を照合することができる場合がある。

商品精算用サーバー３０の管理者は、入力部３０２で特定商品に対する時間限定値段変更、時間限定一定個数による値段変更、時間限定粗品付加等の情報を、表示部３０５で表示しつつ入力し、その情報をデータベース部３０６に保存することができる。

図１には、商品精算システムを用いてジュースを購入する例が示されている。お客は携帯端末１０又はタブレット２０で紙バックのジュースを撮影して商品精算用サーバー３０に送信する。商品精算用サーバー３０の画像照合部３０３で６つの方向から撮影した画像情報と携帯端末又はタブレットから送信された画像情報とを照合比較することで、精算データを特定する。撮影した画像情報にはバーコードが含まれており、図１に示す精算データは、例えば、形状：長方形、大きさ：Ｈ：８０ｍｍ、Ｗ：４０ｍｍ、Ｄ：２０ｍｍ、色：グリーン、バーコード：０７１２５８８６４８２７５８、価格：６０円（税別）（価格は図１において不図示）である。精算データは、価格、寸法、色、バーコード、品名、時間限定値段変更、時間限定一定個数による値段変更、時間限定粗品付加等から選択される１又は複数の情報が含まれる。

商品精算用サーバー３０に保存する画像は６つの方向（上下方向、前後方向、左右方向）から撮影されたものに限定されず、商品形状によって、撮影する方向を決めることができる。例えば、商品が袋状であれば前後方向、又は前方向のみから撮影した画像のみ保存すればよい場合があり、五角柱であれば７つの方向以上撮影して保存する必要がある場合がある。

次に図４のフローチャートを用いて、本実施形態の商品精算システムの動作について説明する。以下の説明では、携帯端末１０を用いた例について説明するが、タブレット２０を用いた場合も同様な動作である。図４において、携帯端末１０の撮像部１０６を用いて、商品を撮影する（ステップＳ１００１）。ここでは、商品の外観と賞味期限とが含まれるように商品を撮影する。賞味期限は消費期限であってもよい。商品の外観は商品の特徴点が明確ならば全体像であっても一部の像であってもよい。画像解析部１０３は商品の外観及び賞味期限が画像より認識できるかどうかの判断を行い（ステップＳ１００２）、認識できない場合にはステップＳ１００１に戻り、再度撮影を行う。

商品の外観及び賞味期限が画像より認識できた場合には、制御部１０４は商品画像を商品精算用データとして保存し（ステップＳ１００３）、商品画像を、通信部１０２を介して商品精算用サーバー３０に送信する（ステップＳ１００４）。商品精算用サーバー３０の画像照合部３０３は、通信部３０１を介して受信した商品画像の商品の外観と商品画像データベースに保存された商品画像の商品の外観とを照合し、精算データを検索する（ステップＳ３００１）。

商品の外観により、商品画像を照合し、商品を特定することで、商品のキャンペーンでシール等の包装形状を一部もしくは全部を変更した場合に、商品に関連して精算データに対して、キャンペーンによる時間限定値段変更、時間限定一定個数による値段変更、時間限定粗品等の付加情報として保存することができる。

なお、特定パターン（２重丸等）のシールをバーコード部分に貼ることで値引き等の忘れ防止を行なうことができるが、商品のキャンペーン、シール貼付けはメーカー主体で変更される為、バーコードは同じでも、粗品提供、提供期間等の管理がしにくい。本実施形態では商品精算用サーバー３０が画像で商品を認識する為、同じバーコードの商品でも個別に精算データを付加できることが可能になる。

商品の外観により、商品画像を照合し、商品を特定することができるが、同じ製造元から同じ商品が異なる日に店舗に入荷された場合、商品の外観情報だけでは、賞味期限を特定することができない。しかし、本実施形態では賞味期限情報を読み取るために、商品精算用サーバー３０は賞味期限が当日なのか、明日なのかを判断することができ、当日の場合は５０％引き、明日の場合は２０％引きのような価格設定ができる。

次に、商品精算用サーバー３０は検索された精算データを、通信部３０１を介して携帯端末１０へ送信する（ステップＳ３００２）。携帯端末１０の制御部１０４は受信した精算データを記憶部１０７に保存し（ステップＳ１００５）、ＰＯＳ装置となるレジスター４０と近接通信部１０１を介してアクセスし、精算データをレジスター４０に送信する（ステップＳ１００６）。レジスター４０は携帯端末から送信された精算データから商品数をカウントし（ステップＳ４００１）、商品数を棚だし数から引き、キャンペーン情報の有無を確認する（ステップＳ４００２）。キャンペーン情報がある場合には、キャンペーン提供期間を確認し、精算データを変更価格、粗品提供に書き替える（ステップＳ４００３）。その後、携帯端末１０は商品精算用サーバー３０から受信したデータと照合し、精算処理を行う（ステップＳ１００７）。キャンペーン情報がない場合にはステップＳ１００７へ移行する。

ステップＳ１００７の精算処理後に、携帯端末１０の制御部１０４は精算リスト情報を記憶部１０７に保存する（ステップＳ１００８）。携帯端末本体内のアプリケーションで精算リスト情報として記憶部１０７に保存することが可能である。

本実施形態の商品精算システムはコンビニ、スーパー等におけるセルフレジにおいて用いることができ、レジ処理の簡易化、省力化、お客の待ち時間の低減を図ることができる。

（第２の実施形態）
図１に示した第１の実施形態の商品精算システムでは、携帯端末の買物アプリケーションプログラムは、商品精算用サーバーから返信された精算リスト情報から商品名、価格、内税、外税、賞味期限又は消費期限、キャンペーンの有無（複数購入で割引等）と合計金額、ポイント累計・利用有無等を表示し、過去の購入履歴データを携帯端末に保存することができる。本実施形態では、携帯端末に保存された購入履歴データと買物アプリケーションプログラムとを連携させることで、精算リスト表示、家計簿表示、賞味期限管理（又は消費期限管理、賞味期限と消費期限の両方の管理の場合もある）の３つのサービスを提供する。なお、本実施形態の情報通信端末は携帯端末１０としているが、携帯端末から出力された精算リスト情報を保存したパーソナルコンピュータ等であってもよい。

精算リスト表示機能は、利用者が精算リスト表示機能を選択すると、携帯端末に保存されている購入履歴データから、直近の購入履歴データ（例えば、精算処理を行なった１番新しい日付のデータ群）を呼び出して、表示する機能である。家計簿表示機能は、直近の購入履歴データを期間別（デフォルトは月管理）で表示する機能である。利用者が表示範囲を選択することで、対象の購入履歴データを集計し、表示することができる。賞味期限管理機能は、賞味期限テーブルを用いて又は個別に、購入品毎に賞味期限日時情報を求め保存する機能である。

図５は本発明の第２の実施形態に係る店舗用買物アプリケーションプログラムの精算リスト表示、家計簿表示、賞味期限管理の３つのサービスを示すフローチャートである。図５に示すように、制御部１０４により携帯端末１０の買物アプリケーションプログラムが立ち上がると（ステップＳ１０１１）、制御部１０４は表示部１０５に買物アプリケーションプログラムのポータル画面を表示する（ステップＳ１０１２）。そして、利用者が携帯端末１０のモードキーを押すことで、画面が賞味期限管理のための設定画面、家計簿表示画面、精算リスト表示画面が画面遷移し、利用者がその内の１つの画面を選択したことを制御部１０４が検出する（ステップＳ１０１３）。

ステップＳ１０１３において、設定画面が選択されると、制御部１０４は家計簿の表示期間を設定可能とし（ステップＳ１０１４）、表示部１０５に賞味期限の通知有無と、通知時期を賞味期限テーブルから取得するか、個別設定するかの選択画面を表示する（ステップＳ１０１５）。以下の説明では、賞味期限の通知有りの場合について説明するが、賞味期限の通知無しの場合はアプリケーションプログラムを終了する。

ステップＳ１０１５で賞味期限テーブルを選択すると、賞味期限テーブルへアクセスし（ステップＳ１０１６）、賞味期限テーブルの商品カテゴリーから購入品と同じカテゴリーの賞味期限設定を検索、決定する（ステップＳ１０１７）。その後、精算データの購入品毎に賞味期限日時情報を保存し（ステップＳ１０１８）、通知時期を設定してアプリケーションプログラムを終了する（ステップＳ１０１９）。このように賞味期限テーブルから賞味期限を取得することで、賞味期限がバーコード等により設定されていない商品でも、賞味期限を賞味期限テーブルから取得し通知時期を設定することができる。例えば、レタス、キャベツ、ニンジン等の野菜を購入した場合に、賞味期限テーブルから賞味期限を取得し、通知時期を設定することができる。一方、ステップＳ１０１５で個別設定を選択すると、購入商品毎に賞味期限を設定後、賞味期限日時を計算し（ステップＳ１０２０）、精算データの購入品毎に賞味期限日時情報を保存し（ステップＳ１０２１）、通知時期を設定してアプリケーションプログラムを終了する（ステップＳ１０２２）。

ステップＳ１０１３において、家計簿画面が選択されると、直近の家計簿の精算データに基づく購入履歴を期間別に表示し（デフォルトは月別である）（ステップＳ１０２３）、利用者が表示期間を選択することで表示期間を変更し（ステップＳ１０２４）、アプリケーションを終了する（ステップＳ１０２５）。例えば、図６（Ｂ）に示す家計簿の表示においては、直近の３か月分の精算データを示すことができる。

ステップＳ１０１３において、精算リスト画面が選択されると、直近の購入履歴を表示し（ステップＳ１０２６）、アプリケーションを終了する（ステップＳ１０２７）。例えば、図６（Ａ）に示す精算リストの表示に、直近の１日分の精算リストを示すことができる。

本実施形態では、携帯端末に保存された購入履歴データは第１の実施形態で携帯端末に保存された精算リスト情報を用いたが、購入履歴データはどのような方法で保存されてもよい。例えば、店舗で購入した商品のレシートを携帯端末の撮像部で読み込み、文字認識後に記憶した購入データを用いてもよい。

本実施形態の携帯端末の賞味期限アラート機能は、賞味期限管理設定を実行すると購入履歴データの賞味期限から事前にアラートを発信する期間を購入品毎に個別設定及び、全購入品に設定する。賞味期限アラート方法は、アプリケーションの起動確認、賞味期限対象購入品のリスト表示、音、バイブレーション、メール等の通知方法である。賞味期限のアラート機能は、購入履歴データの品目におおよその消費期限をデフォルト値として登録可能である。又、個別設定した期間は、同品目を購入した際に同期間にデフォルト値を入れ替えることにより、次回以降の設定の手間を省くことが可能になる。

本実施形態の携帯端末は、賞味期限アラート機能を実行し、且つ賞味期限の事前アラート期限を設定している場合に、撮像部付き携帯端末が保持している日時とアラート機能と連携し、賞味期限の事前アラート期限の有無をチェックする。アラート期限がある場合は、設定した方法に応じて賞味期限アラートを実行する。

（第３の実施形態）
本実施形態では、携帯端末にアラート機能とスケジュール管理機能を結びつけた買物アプリケーションプログラムについて説明する。

本実施形態の携帯端末は、アラーム機能の他にスケジュール管理機能を有しており、スケジュール管理アプリケーションとデータを連携し、今回の賞味期限アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する。例えば、スケジュールに旅行や出張の予定がある場合に、旅行や出張中に賞味期限、消費期限がくるものについて旅行や出張の前にアラームするように設定することができる。

図７は本発明の第３の実施形態に係る、アラート機能とスケジュール管理機能を結びつけた買物プログラムの動作を示すフローチャートである。携帯端末は、指定時間に賞味期限のチェックを実行し（ステップＳ１１１１）、家計簿アプリケーションの精算リストデータより購入品の有無を検索し（ステップＳ１１１２）、購入品がなければ、処理を終了する。購入品があれば、購入品の賞味期限と携帯端末の時間を比較し、アラートの有無を判定し（ステップＳ１１１３）、アラートの設定がなければ、処理を終了する。図６（Ｃ）はアラート設定画面の一例を示す。利用者は図６（Ｃ）に示すアラート設定画面によって、賞味期限に通知を行うかどうか、通知時期をいつにするかの設定を行うことができる。

アラートの設定があれば、賞味期限のアラート時間にスケジュール管理のバッティングの有無を判定する（ステップＳ１１１４）。バッティングが無ければ、購入品の指定時間にアプリケーションの通知機能からアラートを発信し（ステップＳ１１１５）、アラート発信した購入品はアラート設定を除外し（ステップＳ１１１６）、処理を終了する。

ステップＳ１１１４でバッティングが有れば、スケジュール機能に合わせて賞味期限アラートを発信し（ステップＳ１１１７）、アラート発信した購入品はアラート設定を除外し（ステップＳ１１１８）、処理を終了する。旅行や出張中に賞味期限、消費期限がくるものについて旅行や出張の前にアラームするように設定することができる。

本実施形態で用いる商品の精算データは第１の実施形態で携帯端末に保存された精算リスト情報を用いたが、購入履歴データはどのような方法で保存されてもよい。例えば、店舗で購入した商品のレシートを携帯端末の撮像部で読み込み、文字認識後に記憶した購入データを用いてもよい。

以上説明した第１から第３の実施形態において、スマートフォン等の撮像部付き携帯端末と店舗用買物アプリケーションプログラムを起動させて、撮像部付き携帯端末の撮像部で商品を撮影すると、商品を読み取り、買い物アプリケーションプログラム上の精算リストに記録する。レジに撮像部付き携帯端末をかざして近接無線通信（WiFi、NFC等）し、精算リストを送信することで、精算処理のみを行い、レジでの混雑を防止し、お客様の待ち時間を短縮することができる。又、撮像部付き携帯端末で精算リストを保持するメリットとして、商品情報から家計簿への利用や、商品の賞味期限アラートにも対応する。

以上、本発明の各実施形態について説明したが、情報通信端末及び商品精算サーバーは各機能の全部又は一部をハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

ソフトウェアによって実現する場合、情報通信端末及び商品精算サーバーの一部又は全部を、ＣＰＵとプログラムを記憶したハードディスク、ＲＯＭ等の記憶部とを含むコンピュータで構成して、図４、図５又は図７のフローチャートに沿ったプログラムに従い、演算に必要な情報をＲＡＭ等の第２の記憶部に記憶し、処理を実行することで情報通信端末及び商品精算サーバーの一部又は全部の動作をプログラムで実行ことができる。プログラムは、プログラムが記録されたＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリ等の外部記憶媒体からハードディスク等の記憶部に読み込むことができる。

１０ 撮像部付き携帯端末
２０ 撮像部付きタブレット
３０ 商品精算用サーバー
４０ レジスター
１０１ 近接通信部
１０２ 通信部
１０３ 画像解析部
１０４ 制御部
１０５ 表示部
１０６ 撮像部
１０７記憶部
３０１ 通信部
３０２ 入力部
３０３ 画像照合部
３０４ 制御部
３０５ 表示部
３０６ データベース部

Claims (21)

1. 少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとを含む画像情報を撮影する撮像部と、
   前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとが含まれているかどうかについて、前記画像情報を解析する画像解析部と、
   前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又は前記商品のバーコードとが含まれているかどうかの解析結果を表示する表示部と、
   を備えた情報通信端末。
2. 前記画像情報は、前記商品の外観と、前記商品の賞味期限もしくは消費期限と、前記商品のバーコードとを含み、前記画像解析部は前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限と、前記商品のバーコードとが含まれているかどうかについて、前記画像情報を解析し、前記解析結果は前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限と、前記商品のバーコードとが含まれているかどうかの情報を含む請求項１に記載の情報通信端末。
3. 前記表示部により表示される前記解析結果には、前記商品の外観と、前記商品の賞味期限もしくは消費期限と、前記商品のバーコードのうちの不足する画像の表示が含まれる請求項１又は２に記載の情報通信端末。
4. 前記画像情報は動画撮影により取得される請求項１から３のいずれか１項に記載の情報通信端末。
5. 情報通信端末と通信可能な商品精算用サーバーであって、
   前記情報通信端末から、少なくとも一方向の商品の外観を含む第１の画像情報を受信する通信部と、
   前記一方向又は複数の方向から撮影した商品の外観を含む第２の画像情報と、前記第２の画像情報に係る商品の精算データとを結びつけて蓄積するデータベースと、
   前記第１の画像情報と前記第２の画像情報とを比較照合して前記精算データを特定する画像照合部と、を備え、
   前記通信部は特定された前記精算データを前記情報通信端末に送信する商品精算用サーバー。
6. 前記第１の画像情報は前記第１の画像情報に係る商品の賞味期限又は消費期限を含み、前記データベースは前記第２の画像情報の商品の外観と、前記第２の画像情報に係る商品の賞味期限又は消費期限とに、前記第２の画像情報に係る商品の精算データを結びつけて蓄積し、前記画像照合部は前記第１の画像情報の商品の外観と前記第２の画像情報の商品の外観との比較照合の結果と、前記第１の画像情報に係る商品の賞味期限又は消費期限と前記第２の画像情報に係る商品の賞味期限又は消費期限との比較照合の結果とに基づいて前記精算データを特定する請求項５に記載の商品精算用サーバー。
7. 前記第１の画像情報は前記第１の画像情報に係る商品のバーコードを含み、前記データベースは前記第２の画像情報の商品の外観と、前記第２の画像情報に係る商品のバーコードとに、前記第２の画像情報に係る商品の精算データを結びつけて蓄積し、前記画像照合部は前記第１の画像情報の商品の外観と前記第２の画像情報の商品の外観との比較照合の結果と、前記第１の画像情報に係る商品のバーコードと前記第２の画像情報に係る商品のバーコードとの比較照合の結果とに基づいて前記精算データを特定する請求項５に記載の商品精算用サーバー。
8. 前記第１の画像情報は前記第１の画像情報に係る商品の賞味期限又は消費期限とバーコードとを含み、前記データベースは前記第２の画像情報の商品の外観と、前記第２の画像情報に係る商品の賞味期限又は消費期限と、前記第２の画像情報に係る商品のバーコードとに、前記商品の精算データを結びつけて蓄積し、前記画像照合部は前記第１の画像情報の商品の外観と前記第２の画像情報の商品の外観との比較照合の結果と、前記第１の画像情報に係る商品の賞味期限又は消費期限及びバーコードと、前記第２の画像情報に係る商品の賞味期限又は消費期限及びバーコードとの比較照合の結果とに基づいて前記精算データを特定する請求項５に記載の商品精算用サーバー。
9. 請求項５から８のいずれか１項に記載の商品精算用サーバーと、該商品精算用サーバーと通信可能な情報通信端末と、該情報通信端末と通信可能なレジスターとを備えた商品精算システム。
10. 撮像部が、少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとを含む画像情報を撮影し、
    情報解析部が、前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかについて、前記画像情報を解析し、
    表示部が、前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかの解析結果を表示する、
    情報通信端末の商品特定方法。
11. 情報通信端末と通信可能な商品精算用サーバーの商品精算方法であって、
    前記情報通信端末から、少なくとも一方向の商品の外観を含む第１の画像情報を受信し、
    前記一方向又は複数の方向から撮影した商品の外観を含む第２の画像情報と、該商品の精算データとを結びつけてデータベースに蓄積し、
    前記第１の画像情報と前記第２の画像情報とを比較照合して前記精算データを特定し、
    前記精算データを前記情報通信端末に送信する商品精算方法。
12. 情報通信端末としてのコンピュータに、
    撮像部が、少なくとも、商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとを含む画像情報を撮影する処理と、
    前記画像情報に、前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかについて、前記画像情報を解析する処理と、
    表示部が、前記画像情報に前記商品の外観と、前記商品の賞味期限もしくは消費期限又はバーコードとが含まれているかどうかの解析結果を表示する処理と、
    を実行させるためのプログラム。
13. 前記画像情報に基づいて得られた、商品名、商品の精算金額、商品の賞味期限又は消費期限を含む精算データを記憶する処理と、
    前記商品名と前記精算金額を含む購入履歴を表示する精算リスト表示、前記商品名と前記精算金額を含む家計簿表示、及び前記賞味期限又は消費期限の管理表示のうちのいずれかを選択して提供する処理と、
    を実行させるための請求項１２に記載のプログラム。
14. 前記精算リスト表示を提供する処理は、精算リスト表示を選択すると、保存されている購入履歴データから、最も新しい購入履歴データを呼び出して、表示する処理である請求項１３に記載のプログラム。
15. 前記家計簿表示を提供する処理は、購入履歴データを期間別で表示し、利用者が表示範囲を選択することで、対象の購入履歴データを集計し、表示する処理である請求項１３に記載のプログラム。
16. 前記賞味期限又は消費期限の管理表示を提供する処理は、購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定及び、全購入品全体設定を行う処理である請求項１３に記載のプログラム。
17. 前記アラートを実行し、且つ賞味期限又は消費期限の事前アラート期限を設定している場合に、前記情報通信端末が保持している日時とアラート機能と連携し、賞味期限の事前アラート期限の有無をチェックし、アラート期限がある場合は、設定した方法に応じてアラートを実行する請求項１６に記載のプログラム。
18. スケジュール管理処理を有し、スケジュール管理処理は前記賞味期限又は消費期限の管理と連携し、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する請求項１６又は１７に記載のプログラム。
19. 購入商品に関する賞味期限又は消費期限を含む精算データを記憶する記憶部と、
    購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定又は全購入品全体設定を行い、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する制御部と、を有する情報通信端末。
20. 購入商品に関する賞味期限又は消費期限を含む精算データを記憶し、
    購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定し、又は全購入品全体設定し、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する、情報通信端末の購入商品管理方法。
21. 情報通信端末としてのコンピュータに、
    購入商品に関する賞味期限又は消費期限を含む精算データを記憶する処理と、
    購入履歴データの賞味期限又は消費期限から事前にアラートを発信する期間を購入品毎に個別設定し、又は全購入品全体設定し、スケジュール管理アプリケーションと前記アラートを発信する期間とを連携させ、アラート発信日時にスケジュールが入っていた場合に、アラーム時刻を調整する処理と、
    を実行させるプログラム。