JP2018147252A - チェック装置、及びチェックプログラム - Google Patents

Abstract

【課題】顧客の操作による購入予定とする商品の登録が確実にできるようにするためのチェック装置を提供すること。【解決手段】実施形態によれば、チェック装置は、受信部と、カメラと、オブジェクト検出部と、チェック部とを有する。受信部は、電子機器において記憶された顧客が購入予定とする商品に関する商品情報を、前記電子機器から受信する。カメラは、画像を撮影する。オブジェクト検出部は、前記画像から商品に相当するオブジェクトを検出する。チェック部は、前記商品情報と前記オブジェクトをもとに、前記カメラによる撮影範囲内に存在する商品と前記商品情報に対応する商品との一致をチェックする。【選択図】図１

Description

本発明の実施形態は、チェック装置、及びチェックプログラムに関する。

スーパーマーケット等の小売店では、ＰＯＳ（Point Of Sales）による会計処理の効率化を図るために、顧客により会計処理の作業の一部をさせるチェックアウトシステムが導入されている。例えば、セルフレジ（セルフチェックアウト端末）を設けたセルフチェックアウトシステムが導入されている。セルフレジでは、顧客の操作により商品の商品コード（一般にはバーコード）を読み取らせることで商品登録し、決済処理のための決済情報を生成する登録処理、及び登録処理により生成された決済情報をもとにした代金支払いをする決済処理を実行する。

さらに近年では、顧客が店内で商品の買い回りをしている間に、購入予定とする商品について商品登録をするパーソナルチェックアウトシステムも考えられている。このシステムの場合、購入予定としてカートやカゴに入れられた商品と、商品登録された商品とが一致していることが必要となる。

特表２０１６−５３２９３２号公報

本発明が解決しようとする課題は、顧客の操作による購入予定とする商品の登録が確実にできるようにするためのチェック装置、及びチェックプログラムを提供することである。

実施形態によれば、チェック装置は、受信部と、カメラと、オブジェクト検出部と、チェック部とを有する。受信部は、電子機器において記憶された顧客が購入予定とする商品に関する商品情報を、前記電子機器から受信する。カメラは、画像を撮影する。オブジェクト検出部は、前記画像から商品に相当するオブジェクトを検出する。チェック部は、前記商品情報と前記オブジェクトをもとに、前記カメラによる撮影範囲内に存在する商品と前記商品情報に対応する商品との一致をチェックする。

本実施形態のシステムの全体構成を概略的に示したシステム構成図。 本実施形態における電子機器の構成を示すブロック図。 本実施形態におけるクリップ端末の使用例を示す図。 本実施形態におけるクリップ端末の外観を示す図。 本実施形態における電子機器の動作を説明するためのフローチャート。 本実施形態におけるクリップ端末の動作を説明するためのフローチャート。 本実施形態におけるクリップ端末の動作を説明するためのフローチャート。 本実施形態における商品チェックリストの一例を示す図。 本実施形態におけるメッセージの一例を示す図。 本実施形態におけるカメラにより撮影された画像の一例を示す図。 図１０に示す画像から検出された商品に相当するオブジェクトの一例を示す図。 本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャート。 店舗内の商品棚の配置とカートの位置の一例を示す図。

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態のシステムの全体構成を概略的に示したシステム構成図である。図１に示すシステムは、本部に設けられたシステム１０と、複数の店舗のそれぞれに設けられた店舗システム１２とが、専用回線あるいはインターネット等を含むネットワーク１４を介して接続される。

本部に設けられたシステム１０は、例えば本部システム１０Ａ、顧客システム１０Ｂ、決済システム１０Ｃ、販促システム１０Ｄなどが設けられ、ＬＡＮ（Local Area Network）等のネットワーク１０Ｅを介して相互に接続される。

本部システム１０Ａは、各店舗に設置された店舗システム等を統括するための処理を実行する。顧客システム１０Ｂは、店舗システムを利用して商品の購入等をする顧客を管理する。決済システム１０Ｃは、店舗システムにおける顧客によるクレジットカード等を利用した決済処理のための処理（個人認証、クレジット決済など）を実行する。販促システム１０Ｄは、店舗システムを通じて、販売促進のための商品の広告や店内案内などの情報を顧客（顧客が使用する電子機器）に対して提供するための管理をする。

店舗に設けられた店舗システム１２は、例えばＰＯＳ（Point Of Sales）システムとして実現される。店舗システム１２は、例えば店舗サーバ２０Ａ、クリップ端末管理サーバ２０Ｂ、複数の会計機２０Ｃ、複数のＰＯＳ端末２０Ｄなどが設けられ、ＬＡＮ等のネットワーク２０Ｅを介して相互に接続される。

店舗サーバ２０Ａは、店舗システム１２の全体を制御する。店舗サーバ２０Ａには、店舗内で販売される商品に関するデータ、例えば商品毎の商品コード、商品名、単価、重量、店舗内で販売されている商品位置（商品棚の位置）、商品画像などのデータが記憶されている。登録処理では、商品をスキャンすることにより読み取られた商品コードに対応する商品のデータを店舗サーバ２０Ａから受信して記憶すると共に、決済処理のための決済情報（金額、商品、個数などを含む）を生成することができる。クリップ端末管理サーバ２０Ｂは、顧客の操作により購入予定として電子機器３０を利用して登録処理がされた商品（買上商品）と、購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックするために使用される電子機器５０（後述するクリップ端末）を管理する。会計機２０Ｃは、顧客の操作により電子機器３０を利用して登録処理がされた商品について決済処理を実行する。ＰＯＳ端末２０Ｄは、店員の操作による顧客の買上商品についての登録処理、登録処理により登録された商品についての決済処理等を実行する。

また、店内に配線されたネットワーク２０Ｅには、複数のアクセスポイント（基地局）２０Ｆが接続されている。アクセスポイント２０Ｆは、店内で使用される各種の電子機器と、例えば無線ＬＡＮなどにより無線通信をする。店内で使用される電子機器には、例えば顧客が使用する電子機器３０、店員（アテンダント）等が使用する電子機器４０、例えばカート６０に装着した状態で使用される電子機器５０（後述するクリップ端末５０）が含まれる。

電子機器３０，４０は、例えばスマートフォン、タブレット型パーソナルコンピュータ（ＰＣ）などが用いられる。電子機器３０は、店舗システム１２が提供するサービスを利用するためのアプリケーションプログラム（チェックプログラムを含む）に基づいて、購入予定の商品についての登録処理、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を、電子機器５０（クリップ端末）と協働して実行する。電子機器４０は、電子機器３０により実行された登録処理を確認するための確認プログラムに基づいて、登録処理により登録された商品情報とカート６０に入れられた商品との一致を店員（アテンダント）が容易に確認できるようにするための確認処理などを実行する。

電子機器３０と電子機器５０（クリップ端末５０）とは、クリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を介して通信しても良いし、直接、近距離無線通信によって通信しても良い。さらに、通信ケーブルを相互に接続して、有線通信をするようにしても良い。

図２は、本実施形態における電子機器３０，５０の構成を示すブロック図である。図２に示す電子機器３０は、例えばスマートフォンにより実現されているものとして説明する。また、電子機器５０は、店舗システム１２において個体チェック処理を実行するための専用のクリップ端末５０として構成されているものとする。以下、クリップ端末５０として説明する。なお、クリップ端末５０は、スマートフォンなどのカメラが実装された汎用の機器（コンピュータ）に、チェックプログラムをインストールすることで実現することも可能である。

電子機器３０は、プロセッサ３０Ａ、メモリ３０Ｂ、記憶装置３０Ｃ、タッチパネル３０Ｄ、カメラ３０Ｅ、通信モジュール３０Ｆ、及びバッテリ３０Ｇが設けられている。
プロセッサ３０Ａは、メモリ３０Ｂに記録されたプログラムを実行することにより、電子機器３０としての各種処理を実現するために各部を制御する回路である。

メモリ３０Ｂは、プロセッサ３０Ａにより実行されるプログラムの他、プロセッサ３０Ａが各種の処理を実行する上で使用するデータを記録する。メモリ３０Ｂに記録されるプログラムには、例えば、購入予定の商品についての登録処理を実行する登録処理プログラム、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックするための個体チェック処理を実行するチェックプログラムが含まれる。メモリ３０Ｂに記憶されるデータには、登録処理において読み取られた商品コードをもとに生成される決済情報、登録処理により登録された商品に関する商品情報などが記憶される。

記憶装置３０Ｃは、ハードディスク（ＨＤＤ（Hard disk drive））装置やＳＳＤ（solid state drive）装置等により実現され、プロセッサ３０Ａが各種の処理を行う上で使用するデータ、あるいはプロセッサ３０Ａでの処理によって生成されたデータを記録する。

タッチパネル３０Ｄは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル３０Ｄには、プロセッサ３０Ａの処理に伴う、ＧＵＩ（Graphical User Interface）画面などの任意の画面を表示する。
カメラ３０Ｅは、プロセッサ３０Ａの制御のもとで画像を撮影する。

通信モジュール３０Ｆは、プロセッサ３０Ａの制御のもとで外部の電子機器との通信を制御する。通信モジュール３０Ｆは、アクセスポイント２０Ｆとの無線通信、クリップ端末５０等の他の電子機器との近距離無線通信などの通信を制御することができる。

クリップ端末５０は、プロセッサ５０Ａ、メモリ５０Ｂ、記憶装置５０Ｃ、タッチパネル５０Ｄ、カメラ５０Ｅ、通信モジュール５０Ｆ、バッテリ５０Ｇ、Ｉ／Ｏインタフェース５０Ｈ、及びリーダライタ５０Ｊが設けられている。

プロセッサ５０Ａは、メモリ５０Ｂに記録されたプログラムを実行することにより、クリップ端末５０としての各種処理を実現するために各部を制御する回路である。

メモリ５０Ｂは、プロセッサ５０Ａにより実行されるプログラムの他、プロセッサ５０Ａが各種の処理を実行する上で使用するデータを記録する。メモリ５０Ｂに記録されるプログラムには、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を実現するチェックプログラムが含まれる。チェックプログラムには、カメラ５０Ｅにより撮影された画像から商品に該当するオブジェクトを検出し、商品がカート６０に入れられた、及び商品がカート６０から取り出されたことを検出する画像処理を実現する画像処理プログラムが含まれる。メモリ５０Ｂに記憶されるデータには、電子機器３０の登録処理により登録された商品情報、画像処理により検出されるオブジェクトを管理するオブジェクト管理データ（図１１参照）、カート６０に入れられた商品をチェックするための商品チェックリスト（図８参照）などの各種データが記憶される。

記憶装置５０Ｃは、ハードディスク装置（ＨＤＤ（Hard disk drive））やＳＳＤ（solid state drive）装置等により実現され、プロセッサ５０Ａが各種の処理を行う上で使用するデータ、あるいはプロセッサ５０Ａでの処理によって生成されたデータを記録する。

タッチパネル５０Ｄは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル５０Ｄには、プロセッサ５０Ａの処理に伴う、ＧＵＩ（Graphical User Interface）画面などの任意の画面を表示する。
カメラ５０Ｅは、プロセッサ５０Ａの制御のもとで画像を撮影する。

通信モジュール５０Ｆは、プロセッサ５０Ａの制御のもとで外部の電子機器との通信を制御する。通信モジュール５０Ｆは、アクセスポイント２０Ｆとの無線通信、電子機器３０等の他の電子機器との近距離無線通信などの通信を制御することができる。

Ｉ／Ｏインタフェース５０Ｈは、外部機器からの信号を入力するためのインタフェースであり、例えばカート６０のカゴ底部６０Ｃに取り付けた重量センサ６０１（計量器、感圧器、重量計など）が接続される。重量センサ６０１は、カート６０に入れられた（載置）商品の重量を検出して検出信号を出力する。

リーダライタ５０Ｊは、店舗内で販売される各商品や店舗内の商品棚などに取り付けられたＲＦ（Radio Frequency）タグとの通信をする。リーダライタ５０Ｊによる通信範囲は、例えばカート６０に入れられた商品のＲＦタグと通信可能な範囲、あるいはカート６０を店舗内で移動させることで商品棚に取り付けられたＲＦタグと通信可能な範囲とする。リーダライタ５０Ｊは、カート６０に商品が入れられた、あるいは取り出されたことを検知するために使用する、あるいはクリップ端末５０が装着されたカート６０の店舗内の位置を検出するために使用することができる。

図３は、本実施形態におけるクリップ端末５０の使用例を示す図、図４は、本実施形態におけるクリップ端末５０の外観を示す図である。

クリップ端末５０は、例えば、店舗内で使用されるカート６０の上部フレーム６０Ｂに装着して使用される。図４に示すように、クリップ端末５０には、クリップ６０ｋが設けられており、任意に着脱可能となっている。従って、店舗に予め用意されている全てのカート６０に予めクリップ端末５０を装着しておく必要がなく、クリップ端末５０を利用した個体チェックv処理のサービスを利用する顧客が使用するカート６０のみに、必要に応じてクリップ端末５０を装着すれば良い。このため、個体チェック処理のサービスを実現するために、店舗を改造したり、カート６０を交換したりするなどの大がかりな投資が不要であり、低コストで実現することが可能である。

図３に示す例では、カート６０のハンドル６０Ａの側の上部フレーム６０Ｂに装着された例を示している。クリップ端末５０を装着する際には、クリップ端末５０に設けられたカメラ５０Ｅをカゴ底部６０Ｃの方向に向けて、少なくともカート６０に入れられた全ての商品を撮影可能となるように撮影範囲が調整される。カメラ５０Ｅによる撮影範囲は、好ましくは、上部フレーム６０Ｂを含むようにして、カメラ５０Ｅにより撮影された画像において、カゴの内外の領域を明確に区分できるようにする。さらに、カメラ５０Ｅによる撮影範囲は、顧客による商品の出し入れの動作を検出できるように、例えば顧客の腕（手）の動きを撮影可能とすることが望ましい。

また、クリップ端末５０は、図４に示すように、上部フレーム６０Ｂに装着することで、タッチパネル５０Ｄの表示面が顧客側に向くようにする。これにより、カメラ５０Ｅにより撮影された画像や、撮影された画像を利用した個体チェック処理のチェック結果を表す情報（メッセージ等）の確認が容易となる。

次に、本実施形態の店舗システム１２において使用される電子機器３０とクリップ端末５０（電子機器）の動作について説明する。図５は、本実施形態における電子機器３０の動作を説明するためのフローチャートである。図６及び図７は、本実施形態におけるクリップ端末５０の動作を説明するためのフローチャートである。

顧客は電子機器３０を用いて登録処理をする場合、店舗システム１２が提供するサービスを利用するためのアプリケーションプログラム（チェックプログラム）を起動させる。以下、電子機器３０のプロセッサ３０Ａは、アプリケーションに基づいて、以下に説明する登録処理及び個体チェック処理を実行する。

まず、電子機器３０は、店舗システム１２に接続するためのログイン処理を実行する（Ａｃｔ１０）。ログイン処理では、顧客の操作により、例えば会員カードに付された会員に固有の会員コードを含むバーコードをカメラ３０Ｅにより読み取らせる（画像撮影）。プロセッサ３０Ａは、カメラ３０Ｅに読み取られたバーコードから会員コードを抽出し、クリップ端末管理サーバ２０Ｂに送信する。クリップ端末管理サーバ２０Ｂは、電子機器３０から受信した会員コードをもとに、顧客システム１０Ｂにおいて管理された会員データと照合して会員認証をする。

電子機器３０は、クリップ端末管理サーバ２０Ｂにより会員認証されたことが通知されると、店舗で利用可能なサービスの選択画面を表示させる。店舗で利用可能なサービスには、購入予定の処理についての登録処理の他、チラシ情報の表示、特売商品の案内表示、店舗案内（マップ）表示、クリップ端末５０の利用などがある。クリップ端末５０を利用することで、例えばカート６０に入れられた商品について登録処理がされていない場合にクリップ端末５０からメッセージが出力される。従って、顧客は、購入予定の商品について登録忘れなどを防ぐことができる。また、顧客により店舗内で買い回りがされている間に、クリップ端末５０により購入予定商品のチェックがされているため、顧客による登録処理が終了した後のアテンダント（店員）による確認作業の負担を軽減することができる。

店舗システム１２は、顧客がクリップ端末５０を利用した場合には、顧客に対して利益（ポイントなど）を提供する（顧客システム１０Ｂにおいて顧客に対する利益を示すデータを記憶する）ことで、顧客に対してクリップ端末５０の利用を促すようにしても良い。

クリップ端末５０を利用する場合、電子機器３０とクリップ端末５０とが通信可能な状態にする。例えば、顧客が使用するカート６０にクリップ端末５０を装着し（あるいは予めクリップ端末５０が装着されたカート６０を顧客に使用させ）、顧客の電子機器３０とクリップ端末５０とのリンクを設定する。例えば、電子機器３０とクリップ端末５０が近距離無線通信により通信可能となるようにペアリングさせる。あるいは、クリップ端末５０の固有コードを電子機器３０により読み取らせて、電子機器３０からクリップ端末管理サーバ２０Ｂに送信する。クリップ端末管理サーバ２０Ｂは、協働して個体チェック処理を実行する電子機器３０とクリップ端末５０とを判別し、電子機器３０とクリップ端末５０との間でクリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を介して通信ができるようにする。なお、電子機器３０とクリップ端末５０との接続方法は、他の方法を用いることも可能である。

電子機器３０のプロセッサ３０Ａは、クリップ端末５０と接続されると（Ａｃｔ１１）、商品の登録処理を実行可能な状態にする。また、クリップ端末５０のプロセッサ５０Ａは、電子機器３０と接続される（Ａｃｔ４０）、商品検出処理を開始する。商品検出処理では、カメラ５０Ｅにより撮影された画像から商品に相当するオブジェクトを検出する処理である。プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置を記憶しておく。プロセッサ５０Ａは、例えばカートの外部に相当する領域（カート外）から、カートの内部（カート内）に移動するオブジェクトが検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。また、顧客の動作を検出した場合でも、カート内の商品に相当するオブジェクトの数が変化していない場合には、例えば顧客がカート内の商品を置き直したものと判別する。プロセッサ５０Ａは、置き直されたオブジェクトの位置を記憶しておく。プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から検出されたオブジェクトを商品チェックリストに記憶させる。

図８は、本実施形態における商品チェックリストの一例を示す図である。商品チェックリストでは、図８に示すように、カメラ５０Ｅにより撮影された画像から検出されたオブジェクト（検出オブジェクト）のデータ、及び電子機器３０における登録処理により登録された商品の情報（登録商品）のデータ、登録商品と検出オブジェクトに対応する商品との一致をチェックした結果を示すデータ（チェック結果「ＯＫ」「ＮＧ」）とが対応づけられたデータ（例えばＤ１〜Ｄ４）が記憶される。

顧客は、店内を買い回りしながら購入しようとする商品について、電子機器３０のカメラ３０Ｅを用いて商品に付されたバーコードスキャンさせることにより商品登録する（Ａｃｔ１２）。プロセッサ３０Ａは、カメラ３０Ｅにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ３０Ａは、商品コードに対応する商品の情報を、例えばクリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を通じて店舗サーバ２０Ａから取得してタッチパネル３０Ｄに表示させる。すなわち、商品スキャンによって読み取られた商品の商品名称、価格、商品画像などを表示して顧客により確認させる。ここで、顧客により商品登録の指示操作（例えばタッチパネル３０Ｄに表示された商品登録のボタンのタッチ）がされると（Ａｃｔ１３、Ｙｅｓ）、プロセッサ３０Ａは、商品スキャンにより読み取られた商品を購入予定の登録商品として記憶する（Ａｃｔ１４）。また、プロセッサ３０Ａは、登録商品の情報をクリップ端末５０に対して送信する（Ａｃｔ１５）。

一方、クリップ端末５０は、電子機器３０から登録商品の情報を受信すると（Ａｃｔ４２、Ｙｅｓ）、登録商品の情報を商品チェックリストに記憶させる（Ａｃｔ４３）。プロセッサ５０Ａは、登録商品の情報を参照して大型商品であることを検出した場合、すなわちカート６０に入れる必要がない（入れられない）商品であることが判別される場合には、商品チェックリストにスキップフラグをセットする（Ａｃｔ４５）。図８に示す例では、データＤ２として、登録商品「商品Ｃ」に対応づけてスキップフラグがセットされている。スキップフラグがセットされた登録商品「商品Ｃ」については、プロセッサ５０Ａは、登録商品とカート６０に入れられた商品との一致をチェックする対象から外す。また、プロセッサ５０Ａは、電子機器３０に対して商品入れ不要通知を送信する（Ａｃｔ５７）。

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品入れ不要通知が受信されると（Ａｃｔ１８、Ｙｅｓ）、タッチパネル３０Ｄにおいて、登録済みの商品の情報（商品名、商品画像、価格など）と共に、顧客に対して商品をカート６０に入れる必要ないことを通知するメッセージを表示させる。なお、商品入れ不要通知のメッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。

一方、登録商品が大型商品でない場合、プロセッサ５０Ａは、例えば、ネットワーク２０Ｅを通じてクリップ端末管理サーバ２０Ｂから、登録商品を画像処理によって識別するための商品辞書データを取得する。例えば、プロセッサ５０Ａは、登録商品に対応する商品辞書データを記憶していない場合に、クリップ端末管理サーバ２０Ｂに対して、登録商品に対応する商品辞書データの送信要求を出力する。クリップ端末管理サーバ２０Ｂは、クリップ端末５０からの送信要求に応じて、該当する商品の商品辞書データをクリップ端末５０に送信する。なお、電子機器３０とクリップ端末５０とがクリップ端末管理サーバ２０Ｂを介して通信する場合には、クリップ端末管理サーバ２０Ｂは、電子機器３０から登録商品の情報を受信した場合に、登録商品の情報と共に該当する商品の商品辞書データをクリップ端末５０に対して送信するようにしても良い。また、商品辞書データは、予めクリップ端末５０に記憶されていても良い。

また、商品チェックリストに登録商品を記憶させると、プロセッサ５０Ａは、この登録商品を記憶させてからの経過時間の計測を開始する。プロセッサ５０Ａは、登録商品に対応する商品がカート６０に入れられたことが確認されるまで、経過時間が予め設定された時間を経過したかを判別する（Ａｃｔ４６）。

顧客による購入予定とする商品の扱いは、例えば商品を商品棚等から取り上げて、電子機器３０を用いて商品スキャンをした後、カート６０に載せるといった一連の動作で行われることが多い。従って、商品スキャン（クリップ端末５０での登録商品の記憶）から予め設定された時間を経過した場合には、登録済みの商品のカート６０への入れ忘れの可能性があるため顧客に通知できるようにしている。プロセッサ５０Ａは、登録商品について経過時間が予め設定された時間を経過したことが判別された場合（Ａｃｔ４６、Ｙｅｓ）、電子機器３０に対して商品入れ要求を送信する（Ａｃｔ４７）。

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品入れ要求が受信されると（Ａｃｔ１８、Ｙｅｓ）、タッチパネル３０Ｄにおいて、登録済みの商品の情報（商品名、商品画像、価格など）と共に、顧客に対して商品をカート６０に入れることを促す商品入れ要求メッセージを表示させる（Ａｃｔ１９）。例えば、図９（Ａ）に示すように、「登録した商品をカートに入れてください。」のメッセージを表示させる。なお、商品入れ要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。なお、商品入れ要求メッセージの対象とする商品が複数個ある場合には、対象とする複数の商品の情報をリスト化して表示するなどして、対象商品を顧客が確実に認識できるようにしても良い。

一方、クリップ端末５０のプロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像に対する画像処理により、顧客が商品を出し入れするための動作をしたと検出された場合に、この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。なお、プロセッサ５０Ａは、画像をもとに商品の出し入れの動作を検出するだけでなく、この動作を検出したタイミングでの重量センサ６０１により検出される重量の変化と組み合わせて、商品の出し入れを判別することもできる。

図１０には、カメラ５０Ｅにより撮影された画像の一例を示している。図１０に示す例では、例えば３個の商品Ａ，Ｂ，Ｅがカート６０に入れられた状態を表している。

プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像中からカート６０の上部フレーム６０Ｂの位置及びカゴ底部６０Ｃの領域を検出する。クリップ端末５０がカート６０に固定されているため、基本的に買い回り中においては、画像中の上部フレーム６０Ｂ及びカゴ底部６０Ｃの領域は変動しない。プロセッサ５０Ａは、上部フレーム６０Ｂの位置を基準にして、例えばカートの外部に相当する領域（カート外）から、カートの内部（カート内）に移動するオブジェクトが検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。

また、プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置をオブジェクト管理データとして記憶しておく。

図１１には、図１０に示す画像から検出された商品に相当するオブジェクトＯＪ−Ａ，ＯＪ−Ｂ，ＯＪ−Ｅの一例を示している。プロセッサ５０Ａは、顧客により商品の出し入れされた前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。

プロセッサ５０Ａは、商品に相当するオブジェクトが画像から検出されると（Ａｃｔ４８、Ｙｅｓ）、商品チェックリストを参照して、チェック結果「ＮＧ」の登録商品が記憶されているかを判別する。すなわち、電子機器３０により商品登録済みであるが、対応する商品がカート６０に入れられたことが確認されていない商品があるかを判別する。ここで、チェック結果「ＮＧ」の登録商品が記憶されている場合（Ａｃｔ４９、Ｙｅｓ）、プロセッサ５０Ａは、チェック結果「ＮＧ」の登録商品に対応する商品辞書データを用いて、画像から検出されたオブジェクトについて認識処理を実行する（Ａｃｔ５２）。商品辞書データは、例えば商品に付されたバーコード、パッケージのデザインや文字などの特徴をもとに、商品を認識することができるように作成されている。

ここで、商品辞書データを用いた認識処理の処理結果をもとに、画像から検出されたオブジェクトが商品辞書データに対応する登録商品であるか判別する。例えば、オブジェクトが表す画像の特徴と商品辞書データが示す特徴とが、予め設定された基準値を越える類似性を示す場合に、商品辞書データに対応する登録商品であると判別する。

ここで、登録商品であると判別された場合（Ａｃｔ５３、Ｙｅｓ）、プロセッサ５０Ａは、認識処理に用いた商品辞書データに対応する、先に商品チェックリストに記憶されている登録商品と対応づけて、画像から検出されたオブジェクトを検出オブジェクトとして記憶させる（Ａｃｔ５４）。なお、検出オブジェクトに関係するデータとして認識処理における類似性（類似度）を示すデータなどを記憶させても良い。これにより、商品辞書データに対応する登録商品であると判別されたが、類似度が低いために、決済処理の前にアテンダントに商品の確認を促すことができるようにしておく。

また、プロセッサ５０Ａは、登録商品と検出オブジェクトの組に対応するチェック結果「ＯＫ」をセットして（Ａｃｔ５５）、登録商品がカート６０に入れられたことが確認済みであることを記憶する。この場合、プロセッサ５０Ａは、電子機器３０に対して商品入れ確認を送信する（Ａｃｔ５６）。

電子機器３０は、クリップ端末５０から商品入れ確認が受信されると（Ａｃｔ２０、Ｙｅｓ）、商品入れ要求メッセージを表示している場合には、このメッセージをタッチパネル３０Ｄから消去する（Ａｃｔ２８）。これにより、登録商品がカート６０に入れられたことが、クリップ端末５０により確認されたことを、顧客に対して通知することができる。

なお、商品チェックリストにおいて、チェック結果「ＮＧ」の登録商品が複数個ある場合、プロセッサ５０Ａは、それぞれの登録商品の商品辞書データを用いてオブジェクトに対して認識処理を実行する。また、認識処理により登録商品であると判別されなかったオブジェクトについては（Ａｃｔ５３、Ｎｏ）、プロセッサ５０Ａは、商品が未登録の検出オブジェクトとして、チェック結果「ＮＧ」として商品チェックリストに記憶させる（Ａｃｔ５０）。また、画像からオブジェクトが検出された際に（Ａｃｔ４８、Ｙｅｓ）、チェック結果「ＮＧ」の登録商品が記憶されていない場合（Ａｃｔ４９、Ｎｏ）、プロセッサ５０Ａは、同様にして、商品が未登録の検出オブジェクトとして、チェック結果「ＮＧ」として商品チェックリストに記憶させる（Ａｃｔ５０）。

図８に示すデータＤ３は、商品Ｃについて電子機器３０において登録済みであるが、チェック結果「ＮＧ」がセットされており、カート６０に商品が入れられたことが確認されていないことを表している。また、データＤ４は、未登録の商品Ｆ，Ｆが先にカート６０に入れられたことにより、オブジェクトＥ，Ｆとしてそれぞれ検出されていることを表している（チェック結果「ＮＧ」）。

プロセッサ５０Ａは、商品が未登録の検出オブジェクト（チェック結果「ＮＧ」）を商品チェックリストに記憶させた場合（Ａｃｔ５０）、電子機器３０に対して商品登録要求を送信する（Ａｃｔ５１）。電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品登録要求が受信される（Ａｃｔ２１、Ｙｅｓ）、タッチパネル３０Ｄにおいて、顧客に対して商品を登録することを促す商品登録要求メッセージを表示させる。例えば、図９（Ｂ）に示すように、「登録されていない商品がカートにあります。商品を登録してください。」の商品登録要求メッセージを表示させる。なお、商品登録要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い（Ａｃｔ２２）。

なお、タッチパネル５０Ｄにおいて表示させた商品登録要求メッセージは、前述したように、商品登録された後、この登録された商品の商品辞書データを用いた認識処理に基づいて、カート６０に商品が入れられていることが確認された場合に（Ａｃｔ４９〜５１）、消去される（Ａｃｔ２０，２８）。

一方、購入予定として登録済みの商品を返品する場合、顧客は、商品登録時と同様にして、返品対象とする商品について、電子機器３０のカメラ３０Ｅを用いて商品に付されたバーコードスキャンさせる（Ａｃｔ１２）。プロセッサ３０Ａは、カメラ３０Ｅにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ３０Ａは、商品コードに対応する商品の情報（商品名称、価格、商品画像など）をタッチパネル３０Ｄに表示させて、返品対象とする商品を顧客に確認させる。ここで、顧客により商品取消の指示操作（例えばタッチパネル３０Ｄに表示された商品取消のボタンのタッチ）がされると（Ａｃｔ１３、Ｎｏ）、プロセッサ３０Ａは、商品スキャンにより読み取られた商品を購入予定から削除する（Ａｃｔ１６）。また、プロセッサ３０Ａは、取消（返品）の対象とする商品の情報と共に登録取消の通知をクリップ端末５０に対して送信する（Ａｃｔ１７）。

クリップ端末５０は、電子機器３０から登録取消の通知を受信すると（Ａｃｔ６０、Ｙｅｓ）、取消対象の商品の情報をもとに商品チェックリストから該当する登録商品を判別し（Ａｃｔ６１）、この登録商品の情報を削除する（Ａｃｔ６２）。プロセッサ５０Ａは、電子機器３０に対して取消完了の通知を送信する（Ａｃｔ６３）。電子機器３０は、取消完了の通知を受信した際に（Ａｃｔ２５、Ｙｅｓ）、商品入れ要求メッセージを表示している場合には、商品入れ要求メッセージを消去する（Ａｃｔ２８）。例えば、電子機器３０は、前述したように、商品の登録処理がされた後、商品がカート６０に入れられることなく設定時間が経過した場合に、商品入れ要求メッセージを表示させている。顧客が登録処理をした商品について商品取消の操作をすることで、電子機器３０は、該当する商品についての商品入れ要求メッセージを消去する。

なお、カート６０に入れられた商品が顧客により取り出された場合、クリップ端末５０のプロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像をもとに、顧客が商品を出し入れするための動作をしたことを判別し、既存の画像処理により取り出された商品に対応するオブジェクトを検出する。なお、商品が入れられた際にオブジェクトを検出する場合と同様にして、重量センサ６０１により検出される重量の変化と組み合わせて、商品が出されたことを判別することもできる。

プロセッサ５０Ａは、オブジェクト（商品）がカート６０の外に出されたことを検出した場合（Ａｃｔ６４、Ｙｅｓ）、この検出されたオブジェクトに対応する登録商品が商品チェックリストに記憶されている（チェック結果「ＯＫ」）かを判別する。ここで、対応する登録商品が記憶されていない場合には（Ａｃｔ６５、Ｎｏ）、プロセッサ５０Ａは、取り出された商品に対応する検出オブジェクトを商品チェックリストから削除する（Ａｃｔ６８）。

一方、対応する登録商品が記憶されている場合には（Ａｃｔ６５、Ｙｅｓ）、プロセッサ５０Ａは、電子機器３０に対して商品取消要求を送信する（Ａｃｔ６６）。また、プロセッサ５０Ａは、取り出された商品に対応する検出オブジェクトについてチェック結果「ＮＧ」をセットする（Ａｃｔ６７）。

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品取消要求が受信されると（Ａｃｔ２３、Ｙｅｓ）、タッチパネル３０Ｄにおいて、顧客に対して商品の取消操作を促す商品取消要求メッセージを表示させる（Ａｃｔ２４）。例えば、図９（Ｃ）に示すように、「カートから商品が取り出されました。返品する場合には返品操作をしてください。」の商品取消要求メッセージを表示させる。なお、商品取消要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。

なお、カート６０から商品が取り出された場合に、直ちに、商品チェックリストに記憶されたデータを更新しているが、予め決められた設定時間（例えば１０秒）が経過した後に、商品の取消（返品）の可能性が高いものとしてデータを更新するようにしても良い。この場合、商品取消要求メッセージについては、商品の取り出しに応じて、直ちに電子機器３０に表示させるようにしても良いし、設定時間が経過した後に表示させるようにしても良い。

こうして、顧客は、カート６０にクリップ端末５０を装着し、電子機器３０を利用して登録処理をしながら買い回りをすることで、購入予定の商品について登録忘れ、カート６０への商品の入れ忘れがあっても、電子機器３０に表示されるメッセージにより容易に確認することができる。

顧客は、購入予定とする商品について登録処理が完了すると、例えば小計ボタンの操作により商品登録の終了を指示する。電子機器３０のプロセッサ３０Ａは、顧客により商品登録の終了が指示されると（Ａｃｔ２６、Ｙｅｓ）、登録された商品の確認画面（商品リスト）を表示させると共に、決済方法（クレジット、現金、口座引き落とし、電子マネーなど）を顧客に指定させる。プロセッサ３０Ａは、登録処理により登録された商品の情報をもとに決済情報を生成する。

また、電子機器３０のプロセッサ３０Ａは、クリップ端末５０に対して、登録処理終了の通知を送信する（Ａｃｔ２７）。クリップ端末５０のプロセッサ５０Ａは、電子機器３０から登録処理終了の通知が受信されると（Ａｃｔ６９、Ｙｅｓ）、商品チェックリストのデータを電子機器３０に送信する（Ａｃｔ７０）。このデータには、例えば検出オブジェクトを認識した際の類似度を示すデータなども含まれる。プロセッサ５０Ａは、商品チェックリストのデータを送信後に、商品チェックリストのデータをクリアして処理を終了する（Ａｃｔ７１）。

なお、登録処理の終了が指示された場合に、商品チェックリストに記憶されたデータにチェック結果「ＮＧ」のデータが残っている場合には、改めて顧客に対して確認を促すためのメッセージを電子機器３０のタッチパネル３０Ｄ（クリップ端末５０のタッチパネル５０Ｄ）に表示させる。

最終の確認の指示が顧客から指示されると、電子機器３０のプロセッサ３０Ａは、決済情報と、商品チェックリストに含まれるアテンダントに確認を促すデータを含むコード（バーコードあるいは２次元コード）をタッチパネル３０Ｄに表示させる。

アテンダントは、電子機器４０のカメラを利用して、電子機器３０のタッチパネル３０Ｄに表示されたコードをスキャンさせる。電子機器４０は、コードに含まれる決済情報、及び確認が必要なデータに応じた確認画面を表示させる。例えば、電子機器４０には、顧客が登録処理をした購入予定の商品の一覧（商品名、価格、小計額などを含む）と商品点数などを表示させる。これにより、アテンダントは、カート６０に入れられた商品と登録商品とが一致しているかを確認することができる。さらに、電子機器４０は、確認が必要なデータをもとに、例えばクリップ端末５０の認識処理において類似度が低かった検出オブジェクトに対応する商品を明示して表示する。これにより、アテンダントに対して、特に確認が必要な商品を容易に認識できるようにして確認作業の負担を軽減することができる。

なお、前述した説明では、クリップ端末５０における画像処理を利用した、登録商品とカート６０に入れられた商品の一致をチェックする例について説明しているが、重量センサ６０１により検出される商品の重量も利用して商品をチェックするようにしても良い。例えば、店舗サーバ２０Ａから提供される商品に関するデータには、商品の重量のデータが含まれるため、カート６０に商品が入れられた時に増加した重量が、登録商品の重量と許容範囲内で一致するかに基づいてチェックすることができる。特に、重量によって価格が異なる計量商品については、重量センサ６０１により検出される重量のデータを利用することが正しいチェックをする上で有効である。例えば、重量の少ない商品により登録処理をした後、同じ種類の登録商品よりも重い商品をカート６０に入れる不正などを確認することができる。商品チェックリストには、計量商品がある場合、さらに登録商品の重量とカート６０に入れられた時の重量との差が設定値よりも大きい場合には、確認が必要なことを示すデータを記憶しておく。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。

さらに、前述した説明では、登録処理により登録された商品とカート６０に入れられた商品の一致をチェックするとしているが、クリップ端末５０を利用して、その他の商品の登録に関するチェックをすることも可能である。例えば、電子機器３０における商品登録のタイミング、あるいはクリップ端末５０による商品（検出オブジェクト）が検出されたタイミングにおける店舗内の位置と、対象商品が置かれた店舗内の商品棚の位置（商品位置）との差異が、予め設定された判定値より大きい場合に、確認が必要であると判定することも可能である。

図１２は、本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャートである。クリップ端末５０のプロセッサ５０Ａは、チェックプログラムに基づいて登録位置判定処理を実行する。なお、登録位置判定処理は、前述した個体チェック処理と平行して実行されるものとする。

プロセッサ５０Ａは、電子機器３０から登録処理された商品の商品情報を受信する（Ａｃｔ８０、Ｙｅｓ）、あるいは検出オブジェクトが何れの登録商品に対応するか判別された場合（チェック結果「ＯＫ」）（Ａｃｔ８１、Ｙｅｓ）に、現在位置を検出する（Ａｃｔ８２）。現在位置は、例えばリーダライタ５０Ｊにより店舗内の商品棚のそれぞれに付されたＲＦタグと通信することで検出することができる。

図１３には、店舗内の商品棚７０−１〜７０−５の配置と、カート６０の位置の一例を示す図である。カート６０に装着されたクリップ端末５０は、リーダライタ５０Ｊによる限られた範囲内での通信により、商品棚７０−５に取り付けられたＲＦタグ７２−５と通信ができた場合に、商品棚７０−５の近くにいると判別することができる。なお、カート６０（クリップ端末５０）の現在位置の検出は、リーダライタ５０Ｊ（ＲＦタグ）を用いる方法だけでなく、通信モジュール５０Ｆと複数のアクセスポイント２０Ｆとの間の電波強度の違い、店舗内を撮影する画像に対するカート６０を検出する画像処理などの方法を用いることが可能である。

プロセッサ５０Ａは、現在位置を検出すると、次に登録商品が販売されている商品位置（商品棚の位置）を示すデータを、例えば店舗サーバ２０Ａあるいは電子機器３０を通じて取得する（Ａｃｔ８３）。プロセッサ５０Ａは、現在位置と商品位置（商品棚の位置）との差異が、予め設定された判定値より大きいかを判定する（Ａｃｔ８４）。例えば、図１３に示す商品棚７０−１において配置されている商品７４が、商品棚７０−５の近い位置で登録処理あるいはカート６０に入れられた場合には、通常と異なる動作を顧客がしたものとして確認が必要であると判定する（Ａｃｔ、Ｙｅｓ）。クリップ端末５０は、商品チェックリストの該当する登録商品と検出オブジェクトに対応するデータと対応づけて確認データを記憶させる。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。

以上説明した少なくともひとつの実施形態によれば、クリップ端末５０を利用することにより、電子機器３０による登録処理により登録される商品情報と、クリップ端末５０により検出されるカート６０に出し入れされる商品に対応する検出オブジェクトに該当する商品との一致がチェックされる。このチェック結果に応じて、適宜、顧客に確認を促すメッセージを表示させることができるので、顧客の操作による購入予定とする商品の登録が確実にできるようにすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

１２…店舗システム、２０Ａ…店舗サーバ、２０Ｂ…クリップ端末管理サーバ、３０，４０…電子機器、５０…クリップ端末（電子機器）、５０Ａ…プロセッサ、５０Ｂ…メモリ、５０Ｃ…記憶装置、５０Ｄ…タッチパネル、５０Ｅ…カメラ、５０Ｆ…通信モジュール、５０Ｊ…リーダライタ、６０…カート、６０１…重量センサ。

Claims (6)

1. 電子機器において記憶された顧客が購入予定とする商品に関する商品情報を、前記電子機器から受信する受信部と、
   画像を撮影するカメラと、
   前記画像から商品に相当するオブジェクトを検出するオブジェクト検出部と、
   前記商品情報と前記オブジェクトをもとに、前記カメラによる撮影範囲内に存在する商品と前記商品情報に対応する商品との一致をチェックするチェック部とを有するチェック装置。
2. 前記チェック部によるチェック結果を他の電子機器に送信する送信部をさらに有する請求項１記載のチェック装置。
3. 前記カメラによる撮影範囲に存在する商品を含む重量の変化を検出する検出部をさらに有し、
   前記チェック部は、前記重量の変化に応じてチェックする請求項１記載のチェック装置。
4. 前記商品情報をもとにチェックの対象としない商品を判別する判別部をさらに有し、
   前記チェック部は、前記判別部により判別された商品についてチェックしない請求項１記載のチェック装置。
5. コンピュータを、
   電子機器において記憶された顧客が購入予定とする商品に関する商品情報を、前記電子機器から受信する受信部と、
   カメラにより撮影された画像から商品に相当するオブジェクトを検出するオブジェクト検出部と、
   前記商品情報と前記オブジェクトをもとに、前記カメラによる撮影範囲内に存在する商品と前記商品情報に対応する商品との一致をチェックするチェック部として機能させるためのチェックプログラム。
6. コンピュータを、
   購入予定とする商品の商品情報を登録する登録部と、
   前記商品情報に対応する商品と予め決められた範囲に存在する商品との一致をチェックするチェック装置に対して、前記商品情報を送信する送信部と、
   前記商品情報の送信に基づくチェック結果を前記チェック装置から受信する受信部と、
   前記チェック結果を表示する表示部として機能させるためのチェックプログラム。