JP2020115314A - レジシステム - Google Patents

Abstract

【課題】スキャン操作及びスキャン処理に要する時間を削減することのできるレジシステムを提供する。【解決手段】レジシステム１００は、登録済利用者ＲＵを撮影した画像に基づいて当該登録済利用者ＲＵを特定する利用者特定部８１と、登録済利用者ＲＵが所持する商品を撮影した画像に基づいて当該商品を認識する商品認識部８２と、特定された登録済利用者ＲＵの利用者情報と認識された商品の商品情報とに基づいて、登録済利用者ＲＵが所持する商品の決済を行う決済部と、を備える。【選択図】図４

Description

本発明は、レジシステムに関する。

近年、スーパーマーケットや量販店などにおいては、顧客のレジ待ちによるストレスの軽減やレジ操作を行う従業員の人手不足の解消などを目的として、顧客が自ら購入しようとする商品をスキャンして商品販売に関する情報（以下、「商品情報」と総称する。）をセルフレジ端末に登録するスキャン処理、及び登録された商品について精算する決済処理を行うセルフレジシステムの導入が進められている（特許文献１参照）。

特開２０１４−５２７２１号公報

商品情報は、例えば商品に付与されたバーコードを、店員又は顧客がレジ端末に設けられたスキャナを利用して読み取らせることで入力される。特に、特許文献１に記載されたセルフレジシステムにおいては、顧客がスキャナを利用してバーコードを読み取らせる作業、すなわち、スキャン操作及びスキャン処理を行うため、スキャン操作に慣れていない顧客は、商品に付与されたバーコードを探すための時間が掛かっていた。

本発明は、以上説明した事情を鑑みてなされたものであり、スキャン操作及びスキャン処理に要する時間を削減することのできるレジシステムを提供することを目的の一つとする。

本発明の一実施形態に係るレジシステムは、利用者を撮影した第１画像に基づいて該利用者を特定する特定部と、利用者が所持する商品を撮影した第２画像に基づいて該商品を認識する認識部と、特定された利用者の利用者情報と認識された商品の商品情報とに基づいて、利用者が所持する商品の決済を行う決済部と、を備える。

本発明によれば、スキャン操作及びスキャン処理に要する時間を削減することができる。

本発明の一実施形態に係るレジシステム１００の構成を概略的に示す構成図である。 図２は、図１に示した入場撮像装置及び入場ゲートの構成を概略的に示す図である。 図３は、図１に示した退場撮像装置Ａ、退場ゲート、及び出力装置の構成を概略的に示す図である。 図４は、図１に示したレジ装置の構成を概略的に示すブロック図である。 図５は、図４に示した利用者データの一例を示すデータ構造図である。 図６は、図４に示した商品データの一例を示すデータ構造図である。 図７は、本発明の一実施形態に係るレジシステムにおいて登録済利用者を特定する概略動作を示すフローチャートである。 図８は、本発明の一実施形態に係るレジシステムにおいて登録済利用者が所持する商品を認識する概略動作を示すフローチャートである。 図９は、本発明の一実施形態に係るレジシステムにおいて登録済利用者が所持する商品の決済を行う概略動作を示すフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

まず、図１を参照しつつ、本発明の一実施形態に係るレジシステムの構成の一例について説明する。図１は、本発明の一実施形態に係るレジシステム１００の構成を概略的に示す構成図である。

レジシステム１００は、商品を販売する店舗に導入（適用）されるものである。図１に示すように、レジシステム１００は、店舗の入口付近に設置される、３組の入場撮像装置１１Ａ，１１Ｂ，１１Ｃ（以下、「入場撮像装置１１Ａ〜１１Ｃ」という。また、これらを区別せずにまとめて「入場撮像装置１１」ともいう）及び入場ゲート１２Ａ，１２Ｂ，１２Ｃ（以下、「入場ゲート１２Ａ〜１２Ｃ」という。また、これらを区別せずにまとめて「入場ゲート１２」ともいう）と、店舗の出口付近に設置される、４組の退場撮像装置２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ（以下、「退場撮像装置２１Ａ〜２１Ｄ」という。また、これらを区別せずにまとめて「退場撮像装置２１」ともいう）、退場ゲート２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ（以下、「退場ゲート２２Ａ〜２２Ｄ」という。。また、これらを区別せずにまとめて「退場ゲート２２」ともいう）、及び出力装置２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ（以下、「出力装置２３Ａ〜２３Ｄ」という。また、これらを区別せずにまとめて「出力装置２３」ともいう）と、レジ装置５０と、を備える。

入場撮像装置１１Ａ〜１１Ｃ及び入場ゲート１２Ａ〜１２Ｃと、退場撮像装置２１Ａ〜２１Ｃ、退場ゲート２２Ａ〜２２Ｃ、及び出力装置２３Ａ〜２３Ｄと、レジ装置５０とは、ネットワークＮＷを介して、相互に通信可能に接続されている。ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。

本実施形態では、レジシステム１００は、３組の入場撮像装置１１Ａ〜１１Ｃ及び入場ゲート１２Ａ〜１２Ｃと、４組の退場撮像装置２１Ａ〜２１Ｃ、退場ゲート２２Ａ〜２２Ｃ、及び出力装置２３Ａ〜２３Ｄと、１つのレジ装置５０を備える例を示したが、これに限定されるものではない。入場撮像装置及び入場ゲートの組の数、退場撮像装置、退場ゲート、及び出力装置の組の数、並びにレジ装置の数は、例えば、店舗の規模、客数等に応じて適宜設定されるものであり、図１に示した例と異なる数に変更してもよい。

次に、図２を参照しつつ、入場撮像装置及び入場ゲートの構成について説明する。図２は、図１に示した入場撮像装置１１Ａ及び入場ゲート１２Ａの構成を概略的に示す図である。なお、入場撮像装置１１Ｂ，１１Ｃの構成は入場撮像装置１１Ａの構成と同様であり、入場ゲート１２Ｂ，１２Ｃの構成は入場ゲート１２Ａの構成と同様であるため、それぞれ、図示及びその説明を省略する。

図２に示すように、入場撮像装置１１Ａは、例えば入場ゲート１２Ａの上方に設置されている。入場撮像装置１１Ａは、画像（静止画像）又は動画（映像）を撮影してデータとして記録するように構成されている。入場撮像装置１１Ａは、例えば周知のデジタルカメラ又はデジタルビデオカメラであり、例えば、レンズ等の光学系部品と、撮像素子（受光素子）等の電子系部品とを含んで構成することが可能である。また、入場撮像装置１１Ａは、画像又は動画を拡大したり縮小したりするズーム機能と、焦点を自動的に合わせるオートフォーカス機能と、を有している。

本実施形態では、入場撮像装置１１Ａは動画を撮影するように構成されている。なお、動画は、その１コマを画像（静止画像）として取り出し、画像データとして記録することが可能である。

入場撮像装置１１Ａは、ネットワークＮＷに接続されており、レジ装置５０から制御信号が送信される。入場撮像装置１１Ａは、受信した制御信号に基づいて、入場ゲート１２Ａの周辺を撮影するように構成されている。例えば、入場ゲート１２Ａに顧客ＣＵが近づいてくると、入場撮像装置１１Ａは当該顧客ＣＵを撮影する。より詳細には、入場撮像装置１１Ａは、当該顧客ＣＵの顔にズーム及びフォーカスし、顔を撮影する。そして、入場撮像装置１１Ａは、記録した顧客ＣＵの動画のデータを、自己の識別情報である入場撮像装置ＩＤとともに、レジ装置５０に送信する。

入場ゲート１２Ａは、店舗の売り場入口付近に設置されている。入場ゲート１２Ａは、開閉可能なフラップを含んでいる。入場ゲート１２Ａは、フラップが開いているときに顧客ＣＵが入場ゲート１２Ａの間を通過可能になり、フラップが閉じているときに顧客ＣＵが入場ゲート１２Ａの間を通過不能になるように、構成されている。

入場ゲート１２Ａは、ネットワークＮＷに接続されており、レジ装置５０から制御信号が送信される。入場ゲート１２Ａは、受信した制御信号に基づいてフラップを駆動し、フラップを開けたり閉じたりするように構成されている。

次に、図３を参照しつつ、退場撮像装置、退場ゲート、及び出力装置の構成について説明する。図３は、図１に示した退場撮像装置２１Ａ、退場ゲート２２Ａ、及び出力装置２３Ａの構成を概略的に示す図である。なお、退場撮像装置２１Ｂ，２１Ｃ，２１Ｄの構成は退場撮像装置２１Ａの構成と同様であり、退場ゲート２２Ｂ，２２Ｃ，２２Ｄの構成は退場ゲート２２Ａの構成と同様であり、出力装置２３Ｂ，２３Ｃ，２３Ｄの構成は出力装置２３Ａの構成と同様であるため、それぞれ、図示及びその説明を省略する。

図３に示すように、退場撮像装置２１Ａは、例えば退場ゲート２２Ａの上方に設置されている。退場撮像装置２１Ａは、画像又は動画を撮影してデータとして記録するように構成されている。退場撮像装置２１Ａは、図２に示した入場撮像装置１１Ａと同様に、例えば周知のデジタルカメラ又はデジタルビデオカメラである。また、退場撮像装置２１Ａは、画像又は動画を拡大したり縮小したりするズーム機能と、焦点を自動的に合わせるオートフォーカス機能と、を有している。

本実施形態では、退場撮像装置２１Ａは動画を撮影するように構成されている。なお、動画は、その１コマを画像（静止画像）として取り出し、画像データとして記録することが可能である。

退場撮像装置２１Ａは、ネットワークＮＷに接続されており、レジ装置５０から制御信号が送信される。退場撮像装置２１Ａは、受信した制御信号に基づいて、退場ゲート２２Ａの周辺を撮影するように構成されている。例えば、退場ゲート２２Ａに会員登録済の利用者（以下、単に「登録済利用者」という）ＲＵが近づいてくると、退場撮像装置２１Ａは当該登録済利用者ＲＵを撮影する。より詳細には、退場撮像装置２１Ａは、当該当該登録済利用者ＲＵの顔にズーム及びフォーカスし、顔を撮影する。また、当該登録済利用者ＲＵが商品ＩＴ１，ＩＴ２を所持する場合、退場撮像装置２１Ａは、当該商品ＩＴ１，ＩＴ２にもズーム及びフォーカスし、商品ＩＴ１，ＩＴ２を撮影する。そして、退場撮像装置２１Ａは、記録した登録済利用者ＲＵの動画のデータを、自己の識別情報である退場撮像装置ＩＤとともに、レジ装置５０に送信する。

図３に示す例のように、登録済利用者ＲＵが複数の商品ＩＴ１,ＩＴ２を所持する場合、退場撮像装置２１Ａは、商品ＩＴ１及び商品ＩＴ２のそれぞれを撮影してもよいし、商品ＩＴ１及び商品ＩＴ２を一緒に（同時に）撮影してもよい。また、退場撮像装置２１Ａは、登録済利用者ＲＵの顔と、所持する商品ＩＴ１,ＩＴ２とを一緒に（同時に）撮影してもよい。

なお、本願における「所持」の用語は、手に持っていたり身につけたりして持っている場合に限定されず、例えばトレー等の物を載せる道具を介して持っている場合を含む意味である。

退場ゲート２２Ａは、店舗の売り場出口付近に設置されている。退場ゲート２２Ａは、開閉可能なフラップを含んでいる。退場ゲート２２Ａは、フラップが開いているときに顧客ＣＵが入場ゲート１２Ａの間を通過可能になり、フラップが閉じているときに顧客ＣＵが入場ゲート１２Ａの間を通過不能になるように、構成されている。

退場ゲート２２Ａは、ネットワークＮＷに接続されており、レジ装置５０から制御信号が送信される。退場ゲート２２Ａは、受信した制御信号に基づいてフラップを駆動し、フラップを開けたり閉じたりするように構成されている。

出力装置２３Ａは、退場ゲート２２Ａの付近に設置されている。出力装置２３Ａは、情報を出力可能に構成されている。出力装置２３Ａは、例えば、液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ等の表示装置と、スピーカーとを含んで構成することが可能である。

出力装置２３Ａは、ネットワークＮＷに接続されており、レジ装置５０から出力すべき情報が送信される。出力装置２３Ａは、受信した情報のうち、文字、数字、記号等のテキスト、画像、及び動画の情報を表示装置に表示し、音声の情報をスピーカーから出力する。

次に、図４から図６を参照しつつ、情報処理装置の構成について説明する。図４は、図１に示したレジ装置５０の構成を概略的に示すブロック図である。図５は、図４に示した利用者データ７１の一例を示すデータ構造図である。図６は、図４に示した商品データ７２の一例を示すデータ構造図である。

レジ装置５０は、例えばコンピュータ等の情報処理装置である。図２に示すように、レジ装置５０は、通信部６０と、記憶部７０と、制御部８０と、を備える。また、レジ装置５０は、レジ装置５０の各部の間で信号やデータを伝送するように構成されたバス５１をさらに備える。

通信部６０は、データを通信（送受信）するためのものである。通信部６０は、１つ又は複数の所定の通信方式に基づいて、ネットワークＮＷを介して、ネットワークＮＷに接続される機器と通信可能に構成されている。ネットワークＮＷがインターネットである場合、通信部６０の無線通信方式のうちの少なくとも一つは、インターネットプロトコルに従う通信方式である。

記憶部７０は、プログラムやデータ等を記憶するように構成されている。記憶部７０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部７０は、制御部８０が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。

また、記憶部７０は、利用者データ７１をあらかじめ記憶している。利用者データ７１は、登録済利用者ＲＵの顔画像と当該登録済利用者ＲＵの利用者情報とを関連付けたものである。

図５に示すように、利用者データ７１は、利用者ＩＤごとに、利用者情報として氏名と、利用者情報及び決済情報として電子マネー残高と、顔画像と、を含んでいる。ここで、登録済利用者ＲＵには、例えば会員として登録される際に、全ての登録済利用者ＲＵにおいてユニークな（一意の）利用者ＩＤが割り当てられている。すなわち、登録済利用者ＲＵの顔画像と、利用者情報とは、利用者ＩＤによって関連付けられている。登録済利用者ＲＵの顔画像は、デジタルカメラによる撮影、既存の顔画像のアップロード等の方法によって登録され、当該顔画像は利用者データ７１に格納される。なお、利用者データ７１に格納される顔画像は、１つである場合に限定されず、複数であってもよい。格納される顔画像が複数である場合、例えば正面、右側面、左側面等、それぞれ異なる方向（角度）の顔画像であることが好ましい。また、登録済利用者ＲＵは、所定の電子マネーに対し、現金、クレジットカード、ポイント等の方法によって入金可能である。登録済利用者ＲＵが所定の電子マネーに入金したときに、その入金額を加算した金額が利用者データ７１の電子マネー残高に格納される。後述するように、利用者データ７１の電子マネー残高は、レジシステム１００において商品の決済が行われると、減算され、更新される。

図４の説明に戻り、記憶部７０は、商品データ７２をあらかじめ記憶している。商品データ７２は、店舗の売り物である登録された商品ＩＴ１，ＩＴ２の商品画像と当該商品ＩＴ１，ＩＴ２の商品情報とを関連付けたものである。

図６に示すように、商品データ７２は、商品ＩＤごとに、商品情報として商品名称と、商品情報として販売価格と、商品画像と、を含んでいる。ここで、登録された商品ＩＴ１，ＩＴ２には、例えば店舗の売り物として登録される際に、全ての商品においてユニークな（一意の）商品ＩＤが割り当てられている。すなわち、商品画像と商品情報とは、商品ＩＤによって関連付けられている。登録された商品ＩＴ１，ＩＴ２の商品画像は、デジタルカメラによる撮影等の方法によって登録され、当該商品画像は商品データ７２に格納される。なお、商品データ７２に格納される商品画像は、１つである場合に限定されず、複数であってもよい。格納される商品画像が複数である場合、例えば正面、右側面、左側面、背面、上面、底面等、それぞれ異なる方向（角度）の商品画像であることが好ましい。また、販売価格は、任意のタイミングで変更可能であり、販売価格が変更されたときに、変更後の販売価格が商品データ７２の販売価格に格納される。

なお、利用者データ７１及び商品データ７２の構造及び形式は、図５及び図６に示した例に限定されるものではない。例えば、利用者データ７１及び商品データ７２は、それぞれ、ファイルであってもよいし、データベースであってもよい。また、利用者データ７１及び商品データ７２の少なくとも一部がデータベースである場合、正規化を行い、データのグループ単位を細分化してもよい。

図１の説明に戻ると、制御部８０は、通信部６０及び記憶部７０等、レジ装置５０の各部の動作を制御するように構成されている。また、制御部８０は、記憶部７０に記憶されたプログラムを実行する等によって、後述する各機能を実現するように構成されている。制御部８０は、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)等のプロセッサ、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。

また、制御部８０は、その機能構成として、例えば、利用者特定部８１と、商品認識部８２と、決済部８３と、を備える。

利用者特定部８１は、退場撮像装置２１が撮影した映像に基づいて、登録済利用者ＲＵを特定するように構成されている。

より詳細には、利用者特定部８１は、退場撮像装置２１が撮影した映像から人を検出し、検出した人の画像を取得する。そして、利用者特定部８１は、当該画像と、記憶部７０に記憶された利用者データ７１の顔画像とに基づいて、登録済利用者ＲＵを特定するように構成されている。

商品認識部８２は、退場撮像装置２１が撮影した映像に基づいて、登録済利用者ＲＵが所持する商品を認識するように構成されている。これにより、従来、時間が掛かっていた商品のスキャン操作を行うことなく、商品を認識することができる。

より詳細には、商品認識部８２は、退場撮像装置２１が撮影した映像から商品を検出し、検出した商品の画像を取得する。そして、商品認識部８２は、当該画像と、記憶部７０に記憶された商品データ７２の商品画像とに基づいて、登録済利用者ＲＵが所持する商品を認識するように構成されている。商品の認識は、様々な方法を採用可能である。例えば、パターンマッチングを用い、取得した画像に一番類似する商品画像の商品を、登録済利用者ＲＵが所持する商品として認識する。また、登録済利用者ＲＵが複数の商品を所持する場合、商品認識部８２は、商品ごとに、登録済利用者ＲＵが所持する商品の認識を行う。

決済部８３は、特定された登録済利用者ＲＵの利用者情報と、認識された商品の商品情報とに基づいて、登録済利用者ＲＵの所持する商品の決済を行うように構成されている。これにより、従来必要であった、決済手段の選択等の決済操作を行うことなく、商品の決済を行うことができる。

より詳細には、決済部８３は、特定された登録済利用者ＲＵについて、記憶部７０に記憶された利用者データ７１の電子マネー残高を用いて、認識された商品について、記憶部７０に記憶された商品データ７２の販売価格に基づいて算出される合計金額の決済を行うように構成されている。すなわち、決済部８３は、利用者データ７１の電子マネー残高の残高から商品データ７２の販売価格に基づいて算出される合計金額を減算し、当該減算した結果で、記憶部７０に記憶された利用者データ７１の電子マネー残高を更新する。

制御部８０の各機能は、コンピュータ（マイクロプロセッサ）で実行されるプログラムによって実現することが可能である。したがって、制御部８０が備える各機能は、ハードウェア、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現可能であり、いずれかの場合に限定されるものではない。

また、制御部８０の各機能が、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現される場合、その処理は、マルチタスク、マルチスレッド、若しくはマルチタスク及びマルチスレッドの両方で実行可能であり、いずれかの場合に限定されるものではない。

次に、図７から図９を参照しつつ、本発明の一実施形態に係るレジシステムの動作について説明する。図７は、本発明の一実施形態に係るレジシステム１００において登録済利用者ＲＵを特定する概略動作を示すフローチャートである。図８は、本発明の一実施形態に係るレジシステム１００において登録済利用者ＲＵが所持する商品を認識する概略動作を示すフローチャートである。図９は、本発明の一実施形態に係るレジシステム１００において登録済利用者ＲＵが所持する商品の決済を行う概略動作を示すフローチャートである。

＜登録済利用者特定処理＞
レジ装置５０の制御部８０は、例えば、退場撮像装置２１Ａ〜２１Ｄのいずれかの動画において、対応する退場ゲート２２Ａ〜２２Ｄに向かってくる顧客を検出すると、図７に示す登録済利用者特定処理Ｓ２００を実行する。

登録済利用者特定処理Ｓ２００において、最初に、利用者特定部８１は、退場撮像装置２１によって撮影された動画から検出された顧客の顔画像を取得する（Ｓ２０１）。

次に、利用者特定部８１は、ステップＳ２０１で取得した顔画像に基づいて、記憶部７０に記憶された利用者データ７１の顔画像を検索し、検出された顧客が登録済利用者ＲＵであるか否かを判定する（Ｓ２０２）。利用者特定部８１は、例えば、ステップＳ２０１で取得した顔画像の特徴量と利用者データ７１の顔画像の特徴量とが同一である又は近似する場合に、検出された顧客が登録済利用者ＲＵであると判定する。

ステップＳ２０２の判定の結果、検出された顧客ＣＵが登録済利用者ＲＵである場合、特定部８１は、記憶部７０に記憶された利用者データ７１から当該登録済利用者ＲＵの利用者ＩＤを読み出す（Ｓ２０３）。

次に、利用者特定部８１は、記憶部７０に記憶された利用者データ７１から当該登録済利用者ＲＵの氏名を読み出し、対応する出力装置２３Ａ〜２３Ｄに氏名を出力する（Ｓ２０４）。

次に、制御部８０は、後述する商品認識処理Ｓ２２０を行い、その後、登録済利用者特定処理Ｓ２００を終了する。

一方、ステップＳ２０２の判定の結果、検出された顧客ＣＵが登録済利用者ＲＵでない場合、利用者特定部８１は、何もせずに登録済利用者特定処理Ｓ２００を終了する。この場合、対応する退場ゲート２２Ａ〜２２Ｄのフラップは閉じたままとなり、当該顧客ＣＵは、対応する退場ゲート２２Ａ〜２２Ｄを通ることができない。

＜商品認識処理＞
商品認識処理Ｓ２２０において、最初に、商品認識部８２は、退場撮像装置２１Ａ〜２１Ｄによって撮影された動画から、登録済利用者ＲＵが所持する商品の商品画像を取得する（Ｓ２２１）。

次に、商品認識部８２は、ステップＳ２２１で取得した商品画像と、記憶部７０に記憶された商品データ７２の商品画像とを比較し、当該商品が登録された商品であるか否かを判定する（Ｓ２２２）。

ステップＳ２２２の判定の結果、登録済利用者ＲＵが所持する商品が登録された商品である場合、商品認識部８２は、記憶部７０に記憶された商品データ７２から当該商品の商品名称及び販売価格を読み出し、読み出した商品名称及び販売価格を対応する出力装置２３Ａ〜２３Ｄに出力させる（Ｓ２２３）。

次に、商品認識部８２は、ステップＳ２２３で読み出した販売価格を合計金額に加算する（Ｓ２２４）。なお、合計金額は、商品認識処理Ｓ２２０の開始直後に、初期値として「ゼロ」が設定される。

次に、商品認識部８２は、商品認識部８２は、退場撮像装置２１Ａ〜２１Ｄによって撮影された動画に、登録済利用者ＲＵが所持する別の商品があるか否かを判定する（Ｓ２２５）。

ステップＳ２２５の判定の結果、登録済利用者ＲＵが所持する他の商品がある場合、商品認識部８２は、ステップＳ２２１に戻り、登録済利用者ＲＵが所持する他の商品がなくなるまで、再度ステップＳ２２１からステップＳ２２５を繰り返す。

ステップＳ２２２の判定の結果、登録済利用者ＲＵが所持する商品が登録された商品でない場合、当該商品は、店舗の商品以外の物、例えば、登録済利用者ＲＵが身に付けている時計、眼鏡、衣服、帽子、アクセサリー等であると考えられる。また、ステップＳ２２６の判定の結果、登録済利用者ＲＵが所持する他の商品がない場合、登録済利用者ＲＵが所持する全ての商品について、登録された商品であるか否かの商品認識が完了したものと考えられる。商品認識部８２は、いずれの場合も、合計金額がゼロより大きいか否かを判定する（Ｓ２２６）。

ステップＳ２２６の判定の結果、合計金額がゼロより大きい場合、商品認識部８２は、合計金額を対応する出力装置２３Ａ〜２３Ｄに出力させる（Ｓ２２７）。

ステップＳ２２７の後、制御部８０は、後述する決済処理Ｓ２４０を行い、その後、商品認識処理Ｓ２２０を終了する。

一方、ステップＳ２２６の判定の結果、合計金額がゼロより大きくない、つまり、ゼロ以下である場合、商品認識部８２は、何もせずに商品認識処理Ｓ２２０を終了する。

＜決済処理＞
決済処理Ｓ２４０において、最初に、決済部８３は、登録済利用者特定処理Ｓ２００のステップＳ２０３で取得した利用者ＩＤに基づいて、記憶部７０に記憶された利用者データ７１から当該利用者ＩＤの登録済利用者ＲＵの電子マネー残高を読み出す（Ｓ２４１）。

次に、決済部８３は、ステップＳ２４１で読み出した電子マネー残高と、商品認識処理Ｓ２２０のステップＳ２２７で出力させた合計金額とを比較し、電子マネー残高が合計金額以上であるか否かを判定する（Ｓ２４２）。

ステップＳ２４２の判定の結果、電子マネー残高が合計金額以上である場合、決済部８３は、電子マネー残高から合計金額を減算し（Ｓ２４３）、減算した結果を、記憶部７０に記憶された利用者データ７１における当該利用者ＩＤの登録済利用者ＲＵの電子マネー残高に書き出す（Ｓ２４４）。

次に、決済部８３は、対応する出力装置２３Ａ〜２３Ｄに商品の決済完了を出力させるとともに（Ｓ２４５）、対応する退場ゲート２２Ａ〜２２Ｄのフラップを開かせ（Ｓ２４６）、決済処理Ｓ２４０を終了する。この場合、登録済利用者ＲＵは、対応する退場ゲート２２Ａ〜２２Ｄを通って店舗の売り場を退場することができる。

一方、ステップＳ２４２の判定の結果、電子マネー残高が合計金額以上でない、つまり、電子マネー残高が合計金額未満である場合、電子マネーの残高不足によって商品の決済が完了できない。よって、決済部８３は、対応する出力装置２３Ａ〜２３Ｄに電子マネーの残高不足を出力させ（Ｓ２４６）、決済処理Ｓ２４０を終了する。この場合、対応する退場ゲート２２Ａ〜２２Ｄのフラップは閉じたままとなり、登録済利用者ＲＵは、対応する退場ゲート２２Ａ〜２２Ｄを通ることができない。

以上、本発明の例示的な実施形態について説明した。本発明の一実施形態に係るレジシステム１００によれば、登録済利用者ＲＵが所持する商品を撮影した画像に基づいて、当該商品が認識される。これにより、従来、時間が掛かっていた商品のスキャン操作を行うことなく、商品を認識することができる。また、特定された登録済利用者ＲＵの利用者情報と認識された商品の商品情報とに基づいて、登録済利用者ＲＵが所持する商品の決済が行われる。これにより、従来必要であった、決済手段の選択等の決済操作を行うことなく、商品の決済を行うことができる。従って、スキャン操作及びスキャン処理に要する時間を削減することができるとともに、商品の決済を迅速に行うことができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１１，１１Ａ，１１Ｂ，１１Ｃ…入場撮像装置、１２，１２Ａ，１２Ｂ，１３Ｃ…入場ゲート、２１，２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ…退場撮像装置、２２，２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ…退場ゲート、２３，２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ 出力装置、５０…レジ装置、５１…バス、６０…通信部、７０…記憶部、７１…利用者データ、７２…商品データ、８０…制御部、８１…利用者特定部、８２…商品認識部、８３…決済部、１００…レジシステム、ＣＵ…顧客、ＩＴ１，ＩＴ２…商品、ＮＷ…ネットワーク、ＲＵ…登録済利用者、Ｓ２００…登録済利用者特定処理、Ｓ２２０…商品認識処理、Ｓ２４０…決済処理。

Claims (9)

1. 利用者を撮影した第１画像に基づいて該利用者を特定する特定部と、
   前記利用者が所持する商品を撮影した第２画像に基づいて該商品を認識する認識部と、
   前記特定された利用者の利用者情報と前記認識された商品の商品情報とに基づいて、前記利用者が所持する商品の決済を行う決済部と、を備える、
   レジシステム。
2. 前記商品情報は前記商品の販売価格を示す販売価格情報を含み、
   前記利用者情報は前記利用者の決済情報を含み、
   前記決済部は、前記特定された利用者の前記決済情報を用いて、前記認識された商品の前記販売価格情報に基づいて算出される合計金額の決済を行う、
   請求項１に記載のレジシステム。
3. 前記利用者の顔画像と前記利用者情報とを関連付けた利用者データを記憶する記憶部をさらに備え、
   前記特定部は、前記第１画像と前記顔画像とに基づいて前記利用者を特定し、
   前記決済情報は、所定の決済手段における前記利用者の残高を示す残高情報を含み、
   前記決済部は、前記特定された利用者の残高情報における残高から前記認識された商品の前記商品情報に基づく合計金額を減算し、該減算した結果で前記利用者データにおける前記特定された利用者の前記残高情報を更新する、
   請求項２に記載のレジシステム。
4. 前記記憶部は、前記商品の商品画像と前記商品情報とを関連付けた商品データを記憶し、
   前記認識部は、前記第２画像と前記商品画像とに基づいて前記商品を認識し、
   前記商品情報は、前記商品の販売価格を示す販売価格情報を含み、
   前記認識された商品の前記販売価格に基づいて、前記合計金額が算出される、
   請求項３に記載のレジシステム。
5. 前記第２画像は、複数の前記商品を含み、
   前記認識部は、前記商品ごとに前記第２画像から前記商品を認識する、
   請求項１から４のいずれか一項に記載のレジシステム。
6. 少なくとも前記第２画像を取得する取得部をさらに備える、
   請求項１から５のいずれか一項に記載のレジシステム。
7. 前記第１画像と前記第２画像とは同一の画像である、
   請求項１から６のいずれか一項に記載のレジシステム。
8. 前記特定された利用者の前記利用者情報と前記認識された商品の前記商品情報とを出力する出力部をさらに備える、
   請求項１から７のいずれか一項に記載のレジシステム。
9. 前記利用者が退場するための退場ゲートであって、前記決済の結果に基づいて前記特定された利用者を通過可能にする、退場ゲートをさらに備える、
   請求項１から８のいずれか一項に記載のレジシステム。

Images