JP2023126727A - 情報処理システム、情報処理システムの制御方法、電子機器、プログラム - Google Patents

Abstract

【課題】 商品に関する案内をより効果的に行う。【解決手段】商品が陳列された陳列場所に商品が返却されることに対応する現象である返却対応現象を検知する検知手段と、前記検知手段で前記返却対応現象を検知した場合に、検知された現象における返却の対象となる返却対象商品に関する情報を電子機器から出力するように制御する制御手段とを有する。【選択図】 図７

Description

本発明は、商品の販売現場における案内を行うシステムに関する。

従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。

特許文献１には、来店者が商品棚に陳列されている第１商品に手を伸ばしたことを示す動作を検出した場合、その時点からカウントされた時間が所定時間に達した場合、手を伸ばした商品を対象とする商品演出を実行させることが提案されている。これにより、商品棚の前で興味を持っているが購入するかを迷っていると推測される来店者のみを狙って商品をアピールし、商品演出の実効性を高めることが開示されている。

特開２０１５－１５６２１１号公報

特許文献１に記載の商品演出の方法であっても商品購入に結び付くとは限らず、商品の演出、宣伝、アピールに改善の余地があった。

本発明は上記課題に鑑み、商品に関する案内をより効果的に行うことができる仕組みを提供することを目的とする。

上記課題を解決するために、本発明の情報処理システムは、
商品が陳列された陳列場所に商品が返却されることに対応する現象である返却対応現象を検知する検知手段と、
前記検知手段で前記返却対応現象を検知した場合に、検知された現象における返却の対象となる返却対象商品に関する情報を電子機器から出力するように制御する制御手段と
を有することを特徴とする。

本発明によれば、商品に関する案内をより効果的に行うことができる。

本実施形態の販売システムのシステム構成図である。 本実施形態の販売システムに含まれる各装置のハードウェア構成図である。 購入者端末１００ａにおける処理フローチャートである。 サーバ装置１００ｂにおける処理フローチャートである。 サーバ装置１００ｂで管理している情報を説明する図である。 エッジＰＣ１００ｃにおける処理フローチャートである。 サイネージ制御処理のフローチャートである。 購入者端末１００ａにおける画面表示例である。 サイネージ装置１００ｄにおける応答の表示例である。 サイネージ装置１００ｄにおける応答の他の表示例である。

特許文献１に記載のシステムは、例えば、商品毎にＲＦＩＤタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び／または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。

本実施形態では上記課題の少なくとも１つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１に、本実施形態の情報処理システム（販売システム）のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末１００ａ（電子機器）、サーバ装置１００ｂ（情報処理装置）、エッジＰＣ１００ｃ（情報処理装置としての端末装置）、サイネージ装置１００ｄが含まれる。購入者端末１００ａはインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。また、エッジＰＣ１００ｃもインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。一方、購入者端末１００ａとエッジＰＣ１００ｃは直接通信を行う必要はない。サイネージ装置１００ｄは棚１３０の付近（陳列場所）に設置されており、エッジＰＣ１００ｃから出力された映像（静止画、動画）の表示、エッジＰＣ１００ｃから出力された音声の出力（発音）が可能である。また、ユーザー（購入者１２０）からの音声入力や操作入力を受け付けて、エッジＰＣ１００ｃに入力する。

商品１３１を含む１つ以上（少なくとも１つ）の商品が、商品の陳列場所（載置する場所を含む）の一例としての商品棚である棚１３０に載置（陳列）されている。また、棚１３０自体、あるいは棚１３０の近傍に、棚１３０の識別情報（棚ＩＤ）を持つＱＲコード（商標）１６０が掲示されている。本実施形態では棚１３０には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。

棚１３０に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ１４０が設置される。カメラ１４０は、カメラ１４０で棚１３０からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジＰＣ１００ｃは棚１３０に対応付けられており、カメラ１４０で撮影された画像を取得可能なように、有線または無線通信でカメラ１４０と接続されている。本実施形態ではエッジＰＣと商品棚を１対１で対応づけて処理する例を説明するが、エッジＰＣ１台に対して複数の商品棚を対応付けて処理してもよい。

エッジＰＣ１００ｃは、カメラ１４０から送信された撮影画像（映像）を解析し、棚１３０から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置１００ｂに送信する。

購入者１２０は、自身の保有するスマートフォンなどの購入者端末１００ａでＱＲコード１６０を撮影することで、棚ＩＤを取得する。そして棚ＩＤと購入者１２０の識別情報（ユーザーＩＤ）とをサーバ装置１００ｂに送信する。

サーバ装置１００ｂでは、購入者端末１００ａから受信した棚ＩＤとユーザーＩＤに基づき、購入者１２０のユーザーＩＤと、棚１３０の棚ＩＤとを関連付ける（すなわち、購入者１２０と棚１３０を関連付ける）。以下、ユーザーＩＤと棚ＩＤとを関連付ける（関連付けて記憶する）処理をチェックイン処理、関連付いた状態をチェックイン状態（チェックインされた状態）と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置１００ｂから購入者端末１００ａとエッジＰＣ１００ｂに通知する。この状態で購入者１２０が棚１３０に置かれた商品を取り出して良い状態となる。購入者１２０が棚１３０に置かれた商品を手に取って取り出すと、それをエッジＰＣ１００ｃがカメラ１４０で撮影された画像に基づいて検知し、サーバ装置１００ｂに検知結果を送信する。サーバでは取り出された商品を特定し、棚１３０と関連付けられた購入者１２０の仮想のカート（買い物かご。以下、単にカートと称する）に取り出された商品を追加する。カートの状態はサーバ装置１００ｂから購入者端末１００ａに送信され、購入者端末１００ａで表示されるため、購入者１２０は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末１００ａを操作して決済処理を行うと、サーバ装置１００ｂはインターネット上の決済サービス１７０を呼び出して決済を行う。このようにして、購入者１２０は購入者端末１００ａでＱＲコード１６０を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。

図２（ａ）に、本発明を適用可能な装置の一例としての購入者端末１００ａの構成の一例を示す。購入者端末１００ａは購入者であるユーザーが持つ電子機器であり、スマートフォン（携帯電話端末）やタブレットＰＣなどを用いて構成可能なものである。

図２において、内部バス１５０ａに対してＣＰＵ１０１ａ、メモリ１０２ａ、不揮発性メモリ１０３ａ、画像処理部１０４ａ、ディスプレイ１０５ａ、操作部１０６ａ、記録媒体Ｉ／Ｆ１０７ａ、外部Ｉ／Ｆ１０９ａ、通信Ｉ／Ｆ１１０ａが接続されている。内部バス１５０ａに接続される各部は、内部バス１５０ａを介して互いにデータのやりとりを行うことができるようにされている。

メモリ１０２ａは、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１ａは、例えば不揮発性メモリ１０３ａに格納されるプログラムに従い、メモリ１０２ａをワークメモリとして用いて、購入者端末１００ａの各部を制御する。不揮発性メモリ１０３ａには、画像データや音声データ、その他のデータ、ＣＰＵ１０１ａが動作するための各種プログラムなどが格納される。不揮発性メモリ１０３ａは例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部１０４ａは、ＣＰＵ１０１ａの制御に基づいて、不揮発性メモリ１０３ａや記録媒体１０８ａに格納された画像や、外部Ｉ／Ｆ１０９ａや通信Ｉ／Ｆ１１０ａを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部１０４ａが行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４ａは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４ａを用いずにＣＰＵ１０１ａがプログラムに従って画像処理を施すことも可能である。

ディスプレイ１０５ａは、ＣＰＵ１０１ａの制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１ａは、プログラムに従い表示制御信号を生成し、ディスプレイ１０５ａに表示するための映像信号を生成してディスプレイ１０５ａに出力するように購入者端末１００ａの各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。なお、購入者端末１００ａ自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５ａは外付けのモニタ（テレビなど）で構成してもよい。

操作部１０６ａは、ユーザー操作を受け付けるための入力デバイスである。操作部１００６ａには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル７０ａといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル７０ａは、ディスプレイ１０５ａに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記録媒体Ｉ／Ｆ１０７ａは、メモリーカードなどの記録媒体１０８ａが装着可能とされ、ＣＰＵ１０１ａの制御に基づき、装着された記録媒体１０８ａからのデータの読み出しや、当該記録媒体１０８ａに対するデータの書き込みを行う。外部Ｉ／Ｆ１０９ａは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０ａは、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

カメラ部１１２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。カメラ部１１２ａには、ズームレンズやフォーカスレンズを含むレンズ群（撮影レンズ）、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部１０４ａは、カメラ部１１２ａで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部１０４ａにより得られた演算結果に基づいてＣＰＵ１０１ａが露光制御、測距制御、ＡＷＢ（オートホワイトバランス）処理を行う。カメラ部１１２ａで撮像され、画像処理部１０４ａで画像処理された表示用の画像データはディスプレイ１０５ａにより表示される。カメラ部１１２ａで撮像され、Ａ／Ｄ変換器によって一度Ａ／Ｄ変換されメモリ１０２ａに蓄積されたデジタル信号をＤ／Ａ変換器でアナログ変換し、ディスプレイ１０５ａに逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。ＣＰＵ１０１ａは、操作部１０６ａで行われたユーザー操作に基づく撮影準備指示に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ処理等の動作を開始するように、カメラ部１１２ａ、画像処理部１０４ａを制御する。ＣＰＵ１０１ａは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部１０４ａで画像処理して画像ファイルを生成し、記録媒体１０８ａに記録するまでの一連の撮影処理（本撮影）の動作を開始ように制御する。撮影指示は、操作部１０６ａに対するユーザー操作によって行うことができる。カメラ部１１２ａは、静止画及び動画の撮影が可能である。

図２（ｂ）に、本発明を適用可能な装置の一例としてのサーバ装置１００ｂの構成の一例を示す。サーバ装置１００ｂは購入者端末１００ａ及びエッジＰＣ１００ｃと通信可能な情報処理装置であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。サーバ装置１００ｂが有する構成である、符号１０１ｂ～１０４ｂ、１０６ｂ～１１０ｂ、１５０ｂが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置１００ｂはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置１００ｂとして用いてもよい。

図２（ｃ）に、本発明を適用可能な装置の一例としてのエッジＰＣ１００ｃの構成の一例を示す。エッジＰＣ１００ｃはサーバ装置１００ｂと通信可能な端末装置（情報処理装置）であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。エッジＰＣ１００ｃが有する構成である、符号１０１ｃ～１０４ｃ、１０６ｃ～１１０ｃ、１５０ｃが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、エッジＰＣ１００ｃはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のＰＣ本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジＰＣ１００ｃとして用いてもよい。音声出力部１１３ｃはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部１１３ｃから出力する通知音または音声メッセージによって、購入者１２０に各種ガイダンスや警告などの情報を通知する（認識させる）ことができる。

図２（ｄ）に、本発明を適用可能な装置の一例としてのサイネージ装置１００ｄの構成の一例を示す。サイネージ装置１００ｄは、エッジＰＣ１００ｃと通信可能な端末装置（情報処理装置、電子機器）であり、タブレットＰＣなどを用いて構成可能なものである。サイネージ装置１００ｄが有する構成である、符号１０１ｄ～１０６ｄ、１０９ｄ、１１０ｄ、１５０ｄが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０６ａ、１０９ａ、１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、音声出力部１１３ｄはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。ディスプレイ１０５ｄが棚１３０の前に立つ購入者１２０から視認可能な位置に設置されており、また、音声出力部１１３ｄから出力する音が、棚１３０の前に立つ購入者１２０に聞こえるように配置されているものとする。すなわち、サイネージ装置１００ｄは、サイネージ装置１００ｄからの出力内容を陳列場所付近にいる客が認識できるような位置に設置されている。タッチパネル７０ｄ（ＴＰ７０ｄ）は、ディスプレイ１０５ｄに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。音声入力部１１４ｄは購入者１２０（客）の発っした言葉を収集するための収音部であり、例えばマイクである。

図３に、購入者端末１００ａにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。購入者１２０が棚１３０の商品を購入するべく、購入者端末１００ａにおけるＱＲコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム（以下、単に購入アプリと称する）を起動すると図３の処理が開始される。

Ｓ３０１では、ＣＰＵ１０１ａは、ＱＲコードの読み取り画面にカメラ部１１２ａで撮影したＬＶ画像を表示する。図８（ａ）に、購入アプリによる、ディスプレイ１０５ａ（タッチパネル７０ａ）におけるＱＲコードの読み取り画面の表示例を示す。メッセージ８０１はＱＲコード１６０を購入者端末１００ａに読み取らせる（撮影範囲にＱＲコード１６０を収めるようにフレーミングする）ことを購入者１２０に促すガイダンスメッセージである。例えば、「商品棚に貼られているＱＲコードを読み取らせてください」と表示される。枠８０２は、ＱＲコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン８０３は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン８０３は、購入者１２０のユーザーＩＤに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、ＱＲコードの読み取り画面にはカメラ部１１２ａで撮影されているＬＶ画像が表示され、メッセージ８０１、枠８０２、カートアイコン８０３はＬＶ画像に重畳して表示される。

Ｓ３０２では、ＣＰＵ１０１ａは、不揮発性メモリ１０３ａに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはＳ３０３に進み、そうでない場合（カートが空、あるいはカート情報が生成されていない初期状態）にはＳ３０４へ進む。

Ｓ３０４では、ＣＰＵ１０１ａは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン８０３へのタッチ操作があった場合にはＳ３３０へ進み、そうでない場合にはＳ３０４へ進む。

Ｓ３０４では、ＣＰＵ１０１ａは、ＱＲコードが撮影されてＱＲコードの持つ情報を取得できたか否かを判定する。購入者１２０が購入者端末１００ａをフレーミングしたことにより撮影範囲内にＱＲコード１６０が収まり、ＬＶ画像として撮影された画像からＱＲコード１６０を取得し、解析して、ＱＲコード１６０の持つ情報を取得できた場合にはＳ３１０に進む。そうでない場合にはＳ３０５に進む。

Ｓ３０５では、ＣＰＵ１０１ａは、終了イベント（例えば、ＱＲコードの読み取り画面を閉じる操作）があったか否かを判定する。終了イベントが無い場合にはＳ３０２に戻って処理を繰り返し、終了イベントがあった場合には図３の処理を終了する。

Ｓ３１０では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が棚ＩＤを含むか否かを判定する。ＱＲコードの情報が棚ＩＤを含まない場合とは、撮影されたＱＲコードが本実施形態の販売システムとは関係のないＱＲコードであった場合である。棚ＩＤを含む場合はＳ３１２に進み、棚ＩＤを含まない場合はＳ３１１に進んでエラー表示を行う、あるいは、本システムとは別の処理（ＱＲコードに基づく処理）を行う。

Ｓ３１２では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたＱＲコードが棚ＩＤの情報を持っていた場合、ディスプレイ１０５ａに「６７８９０番の棚にチェックインしますか？」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「６７８９０番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、ＱＲコードの情報が示す処理の実行を決定する操作があったと判定してＳ３１３に進む。「いいえ」が選択されるとＳ３０２に戻る。なお、ＱＲコード１６０に、購入アプリを起動する、あるいはインターネット上のＷＥＢアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のＱＲコードリーダーでＱＲコード１６０を読み取り、決定指示を受け付けた場合に購入アプリまたはＷＥＢアプリに従ってＳ３１３以降の処理を行う。また、Ｓ３１２の処理を省き、読み取ったＱＲコードに棚ＩＤが含まれていると判定した場合（Ｓ３１０Ｙｅｓ）に、購入者１２０からの操作（決定指示の操作）を待つことなくＳ３１３の処理を行ってもよい。

Ｓ３１３では、ＣＰＵ１０１ａは、読み取ったＱＲコードから取得した棚ＩＤと、購入者１２０を識別するためのユーザーＩＤを含む、チェックインのリクエスト情報をサーバ装置１００ｂに送信する。棚ＩＤは、陳列場所である棚１３０を識別するための陳列場所情報である。ユーザーＩＤは本実施形態では、購入アプリへのログインＩＤ（予め記憶されていたもの、あるいは購入アプリ起動時に購入者１２０が入力したもの）とする。ユーザーＩＤはこれに限るものではなく、棚１３０にチェックインしている購入者１２０を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーＩＤとして例えば、購入者端末１００ａのＳＳＩＤ、ＳＮＳなどの連携している他のサービスのアカウント情報、購入者端末１００ａのログインアカウントの情報などを用いてもよい。すなわち、ユーザーＩＤは、購入者端末１００ａあるいは購入者１２０を識別するためのユーザー情報である。購入者端末１００ａからサーバ装置１００ｂに棚ＩＤとユーザーＩＤを送信すると、サーバ装置１００ｂにおいてチェックインを試み、サーバ装置１００ｂからチェックインできたかどうかの情報が返送されてくる。

なお、本実施形態では購入者端末１００ａでの棚ＩＤの取得方法として、二次元コードであるＱＲコード１６０を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚ＩＤを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚ＩＤを、購入者端末１００ａのディスプレイ１０５ａに表示される棚ＩＤの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末１００ａのＧＰＳ測位ユニットなどの位置情報取得部（不図示）から取得された購入者端末１００ａの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも２つを組み合わせて棚ＩＤを取得してもよい。

Ｓ３１４では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者１２０とは別のユーザーがすでに棚１３０にチェックインしていた場合、購入者１２０は棚１３０にはチェックインできないものとする。チェックイン不可通知を受信した場合にはＳ３１５に進み、そうでない場合には３１６に進む。

Ｓ３１５では、ＣＰＵ１０１ａは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ１０５ａに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び／または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚１３０に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが（すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが）、本実施形態では扉を設けていない。そのため棚１３０の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚１３０の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者１２０が認識することができる。また、本実施形態のように、１人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚１３０から商品を取り出した利用者が誰なのか判別できなくなる（購入者の混同が起こる）ことも抑止することができる。

Ｓ３１６では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはＳ３１７に進み、そうでない場合には３１４に戻る。

Ｓ３１７では、ＣＰＵ１０１ａは、Ｓ３０２と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはＳ３３０へ進み、そうでない場合にはＳ３２０に進む。

Ｓ３２０では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに空カート表示を行う。空カート表示の表示例を図８（ｂ）に示す。

表示アイテム８１０は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。

ガイダンス８１１は、ユーザーである購入者１２０に、棚１３０から商品を取り出すことを促すガイド表示である。図８（ｂ）の例では、「商品棚から商品を取り出してください」との文字列（メッセージ）が表示される。本実施形態の販売システムにおいては、商品棚１３０に扉やカバーを設けていない。従って、外観上は商品棚１３０を取り出して良い状態であるか否かを購入者１２０（ユーザー）が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス８１１を表示することで、購入者１２０は商品を棚１３０から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末１００ａのディスプレイ１０５ａにガイダンス８１１を表示することで、エッジＰＣ１００ｃの音声出力部１１３ｃでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境（静かにすべき環境、あるいは逆に雑音の大きい環境）であっても、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。また、エッジＰＣ１００ｃにディスプレイを接続したり、棚１３０付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス８１１は、購入者１２０に棚１３０からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末１００ａからの音声出力によるガイダンスでもよい。

表示アイテム８１２はカートにある商品の合計金額を示す。図８（ｂ）の例では、カートに商品は無いので０円である旨が表示される。

購入指示アイコン８１３は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン（表示アイテム）である。図８（ｂ）の例では、カートに商品が無く、何も購入できないため、グレーアウト（非アクティブ表示）されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。

中止指示アイコン８１４は、購入動作（買い物）のキャンセル指示を受け付けるタッチアイコン（表示アイテム）である。

棚移動アイテム８１５は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン（表示アイテム）である。

Ｓ３２１では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３２２に進み、そうでない場合にはＳ３２５に進む。

Ｓ３２２では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。

Ｓ３２３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはＳ３２４にすすみ、そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。

Ｓ３２４では、ＣＰＵ１０１ａは、メモリ１０２ａに保持したカート情報をクリア（消去）し、ディスプレイ１０５ａにチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。図８（ｄ）にチェックアウト表示の表示例を示す。チェックアウト表示には、購入（買い物）に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ８３０が表示される。チェックアウト表示を所定時間（例えば５秒）表示した後、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。

Ｓ３２５では、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３２８へ進む。

Ｓ３２６では、ＣＰＵ１０１ａは、棚移動操作が行われたことを示す棚移動指示をサーバ装置１００ｂに送信する。

Ｓ３２７では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のＱＲコードを読み取るため、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。

Ｓ３２８では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３２１へ進む。

なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン８１３へのタッチ操作を受け付けない（無視する）例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン８１３へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示（Ｓ３２０の表示とは異なる第２の表示）を行ってもよい。例えば、ガイダンス８１１を点滅させたり色を変えたりするなどしてＳ３２０とは異なる表示形態で強調表示したり、ガイダンス８１１とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン８１３が操作された場合、購入者１２０が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。

Ｓ３３０では、ＣＰＵ１０１ａは、表示部に商品ありの場合のカート表示を行う。商品ありのカート表示の表示例を図８（ｃ）に示す。図８（ｂ）と同じ表示物については、同じ符号を付して説明を省略する。

商品一覧８２０は、サーバ装置１００ｂから受信した更新通知に含まれる商品情報を含む情報であって、メモリ１０２ａに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧８２０は行毎に１つの商品の情報を表しており、列８２１～列８２４を含む。列８２１は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン（例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど）が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末１００ａの不揮発性メモリ１０３ａに予め記憶されていた画像か、サーバ装置１００ｂから受信した画像を表示する。列８２２は各行の商品の名前（商品名）を表しており、列８２３は各行の商品の価格を表している。列８２４は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図８（ｃ）の例では、購入指示アイコン８１３は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている（アクティブ表示）。一方、中止指示アイコン８１４はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚１３０に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン８１４へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン８１４へのタッチ操作を受け付けないようにしてもよい。

Ｓ３３１では、ＣＰＵ１０１ａは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列８２４に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面（タッチされた行の商品について修正する画面）での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚１３０に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者１２０が正しい内容に修正することができる。

Ｓ３３２では、ＣＰＵ１０１ａは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置１００ｂに送信する。

Ｓ３３３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからの更新通知を待ち、更新通知があると通知に基づいてメモリ１０２ａに保持したカート情報を更新してＳ３１７に進む。こうして、ディスプレイ１０５ａのカート表示も修正を反映したものが表示される。

Ｓ３３４では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３３５に進み、そうでない場合にはＳ３４０に進む。

Ｓ３３５では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。

Ｓ３３６では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに返却メッセージを表示する。返却メッセージは、棚１３０から購入者１２０が取り出した商品を、棚１３０に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列（メッセージ）が表示される。これによって購入者１２０は、取り出した商品を棚１３０に戻さないと買い物の中止（キャンセル）ができないことを認識することができ、手に持っている商品を棚１３０に戻そうとする。この結果、カートに入っていた商品（購入者１２０が取り出した商品）が棚１３０に戻されると、カメラ１４０によって戻した様子の映像から商品が戻されたことが検知され、エッジＰＣ１００ｃからサーバ装置１００ｂに商品が戻された旨の情報が送信される。サーバ装置１００ｂは、商品戻された旨の情報を受信すると、サーバ装置１００ｂに保持したカート情報を更新し、更新通知として購入者端末１００ａに送信する。

Ｓ３３７では、ＣＰＵ１０１ａは、サーバ装置１００ｂから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ１０２ａのカート情報を更新し、Ｓ３３８に進む。更新通知を受信できない場合はＳ３３７で更新通知の受信を待ち、チェックアウト表示には進まない。

Ｓ３３８では、ＣＰＵ１０１ａは、Ｓ３３７で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者１２０が棚１３０から取り出した商品がすべて棚１３０に戻された場合である。カートに商品が無い場合にはＳ３３９に進み、そうでない場合（まだカートに商品がある場合）にはＳ３３６へ進む。

ここで、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定された場合は、購入者１２０がまだ棚１３０から取り出した商品を棚１３０に戻していない場合である。従って、Ｓ３３４で中止指示があってから、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、Ｓ３３６で表示した返却メッセージを表示し続けることにより、購入者１２０に確実な商品の返却を促す。また、返却メッセージを表示してからＳ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。

Ｓ３３９では、ＣＰＵ１０１ａは、Ｓ３２４と同様にチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。これによって購入者１２０は、取り出した商品を棚１３０に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。

Ｓ３４０では、ＣＰＵ１０１ａは、購入指示の操作（購入指示アイコン８１３へのタッチ）があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはＳ３４１へ進み、そうでない場合にはＳ３４４へ進む。

Ｓ３４１では、ＣＰＵ１０１ａは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置１００ｂに送信する。

Ｓ３４２では、ＣＰＵ１０１ａは、サーバ装置１００ｂと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作（タッチパネル７０ａに対する決済操作）に応じて、カートに入った商品に対する支払い（決済、課金）が行われる。決済が完了するとＳ３３９へ進む。Ｓ３３９でのチェックアウト表示により、決済が正常に完了し、棚１３０から取り出した商品（購入済みの商品）をもってその場を立ち去ってもよいことを購入者１２０が認識できる。

Ｓ３４４では、ＣＰＵ１０１ａは、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３４５へ進む。

Ｓ３４５では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３３１へ進む。

図４に、サーバ装置１００ｂにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。

Ｓ４０１では、ＣＰＵ１０１ｂは、メモリ１０２ｂに保持された各種変数、情報（カート情報）などを初期化する。また、不揮発性メモリ１０３ｂには、サーバ装置１００ｂで管理している複数の商品棚のＩＤが記憶されている。この管理対象の商品棚のＩＤをすべて読み込み、チェックイン状態の管理情報をメモリ１０２ｂに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図５（ａ）に示す。管理情報には、管理対象となる棚のＩＤと、チェックイン状態と、チェックイン状態である場合にはチェックイン（ＣＩ）しているユーザーのＩＤとが対応付けて記憶される。Ｓ４０１においては、チェックイン状態は全て非チェックイン、ＣＩユーザーはすべての棚において無しとなる。

Ｓ４０２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚ＩＤを受信したか否かを判定する。これは前述の図３のＳ３１３で購入者端末１００ａから送信された棚ＩＤとユーザーＩＤを受信したか否かの判定である。棚ＩＤを受信した場合にはＳ４０２に進み、そうでない場合にはＳ４０７に進む。

Ｓ４０３では、メモリ１０２ｂに保持したチェックイン状態の管理情報を参照し、受信した棚ＩＤの棚がすでにチェックイン中である（チェックイン状態である）か否かを判定する。チェックイン状態であればＳ４０４に進み、そうでない場合（非チェックイン状態である場合）にはＳ４０５に進む。

Ｓ４０４では、チェックインできない旨を示すチェックイン不可通知を、Ｓ４０２で受信した棚ＩＤの送信元の購入者端末１００ａに送信する。また、メモリ１０２ｂに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚ＩＤでのチェックイン処理は行わない。こうしてＳ４０４で送信されたチェックイン不可通知が前述した図３のＳ３１４で受信され、Ｓ３１５でチェックインエラーが表示される。

Ｓ４０５では、ＣＰＵ１０１ｂは、チェックイン処理を行う。具体的には、メモリ１０２ｂに保持されたチェックイン状態の管理情報において、Ｓ４０２で受信した棚ＩＤの棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーに、棚ＩＤとともに受信したユーザーＩＤを関連付けて記憶する。すなわち、チェックイン処理は、棚ＩＤ（陳列場所情報）とユーザーＩＤ（ユーザー情報）とを関連付ける関連付け処理である。この場合の管理情報の例を図５（ａ）に示す。棚ＩＤ「６７８ユーザーＩＤ９０」の棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーのＩＤ「１２３４５」を関連付けて記憶している。

また、Ｓ４０５において、受信したＣＩユーザーのカート情報が生成されていなかった場合には、メモリ１０２ｂにＣＩユーザーのカート情報を生成する。図５（ｂ）に、ユーザーＩＤ「１２３４５」のカート情報の例を示す。カート情報には、ユーザーＩＤ毎に生成される情報である。カート情報には、ユーザーＩＤ、チェックインしている棚ＩＤ、商品棚から取り出した商品（カートに入っている商品）の商品名（あるいは商品の識別情報）、価格、数量、小計、商品の取出元の棚ＩＤと、カート内の全商品の合計価格が関連付けて記憶される。図５（ａ）の例は、ユーザーが棚ＩＤ「６７８９０」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。

なお、Ｓ４０２で受信した棚ＩＤとユーザーＩＤのうち、該当するユーザーＩＤのカート情報がメモリ１０２ｂにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーＩＤのカート情報におけるチェックイン中の棚ＩＤを受信した棚ＩＤで更新する。このケースは第１の棚からの棚移動指示があり、決済することなく第１の棚からのチェックアウトが行われた後に、別の棚（第２の棚）にチェックインするケースである。第２の棚にチェックインした後に、第２の棚から商品を取り出すと、取り出した商品がカートに追加される。図５（ｃ）に、棚ＩＤ「６７８９０」の棚（第１の棚）で商品Ａと商品Ｂを取り出した後に棚移動の指示が行われ、棚ＩＤ「６７８９１」の棚（第２の棚）にチェックインして商品Ｃが取り出された場合のカート情報を示す。第１の棚で取り出した商品Ａと商品Ｂに加え、第２の棚で取り出された商品Ｃが記録されており、合計価格は商品Ａ，Ｂ，Ｃの合計となっている。

Ｓ４０６では、ＣＰＵ１０１ｂは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末１００ａと、エッジＰＣ１００ｃとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末１００ａにおいては前述の図３のＳ３１６で受信され、エッジＰＣ１００ｃにおいては後述する図６のＳ６０３で受信される。

Ｓ４０７では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから送信された棚ＩＤと商品認識スコア、及び取り出し通知または返却通知を受信したか否かを判定する。受信した場合にはＳ４０８に進み、そうでない場合にはＳ４１１へ進む。

Ｓ４０８では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから受信した商品認識スコアに基づいて、棚からの取り出し／戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジＰＣ１００ｃでなくサーバ装置１００ｂ側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジＰＣに反映することなくサーバ装置１００ｂに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジＰＣ１００ｃの高機能化に伴う設置コスト増加や、エッジＰＣ１００ｃの更新作業などの管理負荷を軽減することができる。エッジＰＣから受信する商品認識スコアは、商品をある程度推定した結果の情報（推論スコア）であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ１４０で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジＰＣ１００ｃとサーバ装置１００ｂとの通信量を抑制し、高速な判定、応答を可能としている。

なお、エッジＰＣ１００ｃからサーバ装置１００ｂに商品認識スコアを送信するものに限るものではない。例えば、エッジＰＣ１００ｃ側では商品が何であるかの判定のための処理を行わずに、商品の取り出し／戻しがあったと推定される場面についてカメラ１４０で撮影された画像自体（動画または静止画）を送信してもよい。この場合、受信したカメラ１４０での撮影画像に基づいてサーバ装置１００ｂで商品を判定する。また逆に、エッジＰＣ１００ｃ側で、取り出し／戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置１００ｂに送信するようにしてもよい。この場合はＳ４０８の処理は省略される。

Ｓ４０９では、ＣＰＵ１０１ｂは、Ｓ４０８で判定された商品に基づき、メモリ１０２ｂに保持したカート情報を更新する。すなわち、Ｓ４０８で商品が棚から取り出されたと判定した場合は、受信した棚ＩＤに関連付いたユーザーＩＤのカート情報にＳ４０８で判定した商品の情報を追加する。逆に、Ｓ４０８で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚ＩＤが取り出し元として記録されているカート情報から、Ｓ４０８で判定した商品を削除する。図５（ｂ）に、元々カート情報に商品Ａが入っている状態から、Ｓ４０７で、棚ＩＤ「６７８９０」の棚ＩＤと商品認識スコアを受信し、Ｓ４０８で商品Ｂが棚から取り出されたと判定された場合のカート情報の例を示す。商品Ａに加えて商品Ｂの情報が追加されている。

Ｓ４１０では、ＣＰＵ１０１ｂは、カート情報を更新したことを示す更新通知を購入者端末１００ａに送信する。更新通知にはメモリ１０２ｂに保持した最新のカート情報も含まれる。すなわち、商品棚１３０からの商品の取り出しが行われた場合には、Ｓ４０８で判定された取り出された商品情報を含むカート情報も送信する。Ｓ４１０の処理の後、Ｓ４３０へ進む。

Ｓ４３０では、ＣＰＵ１０１ｂは、サイネージ制御処理を行う。サイネージ制御処理の詳細は図７を用いて後述する。

Ｓ４１１では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された修正指示（前述の図３のＳ３３２で購入者端末１００ａから送信した修正内容）を受信したか否かを判定する。修正指示を受信したと判定した場合は、Ｓ４３９へ進み、修正指示として受信した修正内容に基づいてメモリ１０２ｂに保持したカート情報を更新する。そして、Ｓ４４０でカート情報を更新したことを示す更新通知を購入者端末１００ａに送信する。修正指示を受信していない場合にはＳ４１２に進む。

Ｓ４１２では、ＣＰＵ１０１ｂは。購入者端末１００ａから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはＳ４１３へ進み、そうでない場合にはＳ４１７へ進む。

Ｓ４１３では、ＣＰＵ１０１ｂは、Ｓ４１２で受信した中止指示を行ったユーザーのユーザーＩＤのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはＳ４１４に進み、そうでない場合にはＳ４１９に進む。

Ｓ４１４～Ｓ４１６の処理は、Ｓ４０８～Ｓ４１０の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとＳ４１３でＮｏと判定され、チェックアウト処理を伴う中止の処理（Ｓ４１９～Ｓ４２２の処理）が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはＳ４１３でＮｏと判定されないため、チェックアウト処理を伴う中止の処理は行われない。

Ｓ４１７では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された決済指示（前述の図３のＳ３４１で購入者端末１００ａから送信した決済指示）を受信したか否かを判定する。決済指示を受信したと判定した場合は、Ｓ４１８へ進み、そうでない場合はＳ４２３に進む。

Ｓ４１８では、ＣＰＵ１０１ｂは、決済サービス１７０を呼び出し、決済サービス１７０に基づく決済処理を行う。

Ｓ４１９では、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤについてのメモリ１０２ｂに保持したカート情報をクリア（消去）する。

Ｓ４２０では、ＣＰＵ１０１ｂは、チェックアウト処理を行う。具体的には、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報（図５（ａ））における該当の棚ＩＤについて、状態をチェックアウト状態とし、ＣＩユーザーを消去する。これによって、棚とユーザー（購入者）との関連付けが消去される。

Ｓ４２１では、ＣＰＵ１０１ｂは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末１００ａとエッジＰＣ１００ｃに送信する。

Ｓ４２２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚移動指示（前述の図３のＳ３２８で購入者端末１００ａから送信した棚移動指示）を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、Ｓ４２３へ進み、そうでない場合はＳ４２４に進む。

Ｓ４２３では、ＣＰＵ１０１ｂは、前述のＳ４２０と同様、チェックアウト処理を行う。

Ｓ４２４では、ＣＰＵ１０１ｂは、図４の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図４の処理を終了し、終了イベントが無い場合にはＳ４０２に進んで処理を繰り返す。

図６に、エッジＰＣ１００ｃにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ｃに記録されたプログラムをメモリ１０２ｃに展開し、ＣＰＵ１０１ｃが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。図６は個別の棚に関する処理であり、本実施形態では棚１３０（棚ＩＤ：６７８９０）の棚に関する処理として説明する。

Ｓ６０１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。

Ｓ６０２では、ＣＰＵ１０１ｃは、カメラ１４０からの映像を取得する。ここで取得する映像は、棚１３０の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し／戻しの検知にカメラ１４０以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。

Ｓ６０３では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはＳ６０４へ進み、そうでない場合にはＳ６０６に進む。

Ｓ６０４では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態（棚１３０と購入予定者が関連付いた状態）とする。

Ｓ６０５では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末１００ａでＱＲコード１６０を読み取ったことに応じて棚１３０にチェックインできた（棚１３０が応答した）ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者１２０に棚から商品と取り出すことを促す音声（音声ガイダンス）や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び／または、商品棚１３０から商品を取り出すことを促す。

Ｓ６０６では、ＣＰＵ１０１ｃは、カメラ１４０から取得した映像に基づいて、棚１３０からの商品の取り出し、あるいは、棚１３０への商品の返却（戻し）があったか否かを判定する。すなわち、カメラ１４０で商品棚１３０を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚１３０の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてＳ６０７に進み、そうでない場合にはＳ６１０へ進む。
なお、本実施形態では、カメラ１４０で撮影された映像に基づいて商品の取り出し／戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚１３０の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し／戻しを検知してもよい。また、商品毎にＩＣタグなどのＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）タグを取り付けておき、このタグとの無線通信によって商品の取り出し／戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚１３０の手前（取り出し口）の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し／戻しを検知してもよい。複数の検知方法の１つを採用してもよいし、複数を組み合わせて商品の取り出し／戻しを検知してもよい。

Ｓ６０７では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはＳ６０８へ進み、そうでない場合にはＳ６０９に進む。

Ｓ６０８では、ＣＰＵ１０１ｃは、管理対象である棚１３０の棚ＩＤ（本実施形態では６７８９０）と、Ｓ６０６で取り出しまたは返却があった旨（取り出し通知または返却通知）、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置１００ｂに送信する。すなわち、商品の取り出し／返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ１４０で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ１４０で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。

Ｓ６０９では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから音声でエラー通知（エラー出力）を行う。この場合、エッジＰＣ１００ｃからはサーバ装置１００ｂに対しての商品スコアの送信は行わない。サーバ装置１００ｂと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者１２０により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置１００ｂに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置１００ｂへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、Ｓ６０６で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚１３０に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者１２０にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。

エラー通知は、非チェックイン状態で取り出された商品が棚１３０に戻された、もしくは所定時間（例えば１分）が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚１３０でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。

エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたＱＲコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のＱＲコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚１３０から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者１２０（購入予定者）は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。

Ｓ６１０では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はＳ６１１に進み、そうでない場合にはＳ６１３に進む。

Ｓ６１１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン（棚１３０と購入予定者が関連付いていない状態）とする。

Ｓ６１２では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。

Ｓ６１３では、ＣＰＵ１０１ｃは、サーバ装置１００ｂからサイネージ制御指示を受信したか否かを判定する。サイネージ制御指示を受信した場合にはＳ６１４に進み、そうでない場合にはＳ６１５に進む。ここで受信されるサイネージ制御指示は、後述する図７のＳ７０８、Ｓ７０９、Ｓ７１１のいずれかで出力（送信）された各種応答の指示と、各種応答内容（画像、音声のデータを含む広告データなど）である。Ｓ６１４では、ＣＰＵ１０１ｃは、Ｓ６１４で受信した指示に応じた応答をサイネージ装置１００ｄに出力し、サイネージ装置１００ｄから応答を出力するように制御する。すなわち、外部Ｉ／Ｆ１０９ｃを介して、サイネージ装置１００ｄに、サーバ装置１００ｂから指示された応答を出力するためのデータ（画像・音声）を出力する。

Ｓ６１５では、ＣＰＵ１０１ｃは、図６の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図６の処理を終了し、終了イベントが無い場合にはＳ０２に進んで処理を繰り返す。

図７に、図４のＳ４３０で前述したサイネージ制御処理の詳細フローチャートを示す。この処理は、棚１３０からの商品の取り出しを示す現象の検知及び取り出しの対象となる商品の特定、または、棚１３０への商品の返却を示す現象の検知及び返却の対象となる商品の特定に応じて実行される処理である。

Ｓ７０１では、システム制御部５０は、商品の取り出しを示す現象が検知されたのか、商品の返却を示す現象が検知されたのかを判定する。より具体的には、Ｓ４０７で受信したのが取り出し通知であったのか返却通知であったのかを判定する。取り出しであった場合はＳ７０２に進み、返却であった場合にはＳ７１０に進む。

Ｓ７０２では、システム制御部５０は、タイマーＴをリセットしてスタートする。タイマーＴは例えば６秒である。このタイマーＴが満了するまでは、取り出された商品に関する後述の取り出し応答（Ｓ７０８またはＳ７０９で出力するもの）は出力しない。購入を迷っていない客にとっては商品を取り出すだけで毎回広告が表示されるのは煩わしいと感じる可能性があるため、購入を迷っていると想定される６秒経過後までは後述の取り出し応答を表示しない。なお、煩わしくない程度に、取り出した商品がなんであるかなどといった情報は、タイマーＴの満了前にディスプレイ１０５ｄに表示してもよい。また、Ｓ７０２～Ｓ７０５を設けずに、取り出したらすぐ応答するようにＳ７０１で取り出しと判定された後にすぐＳ７０６以降の処理を行っても良い。

Ｓ７０３では、システム制御部５０は、エッジＰＣ１００ｃから送信された棚ＩＤと商品認識スコア、及び取り出し通知または返却通知を受信したか否かを判定する。受信した場合にはＳ７０４に進み、そうでない場合にはＳ７０５へ進む。Ｓ７０４では、システム制御部５０は、タイマーＴをストップして前述の図４のＳ４０８に進む。

Ｓ７０５では、システム制御部５０は、タイマーＴが満了したか否かを判定する。タイマーＴが満了していない場合はＳ７０３に進み、タイマーＴが満了した場合はＳ７０６に進む。このようにすることで、例えば商品Ａが取り出されたあと、すぐに商品Ｂが取り出された場合には、商品Ａの取り出しに応じてスタートしたタイマーＴが満了する前にＳ７０３でＹｅｓと判定され、Ｓ７０６の処理は行われない。すなわち、商品Ａの取り出し応答（Ｓ７０８またはＳ７０９で出力される応答）はサイネージ装置１００ｄから出力されない。このケースは、購入者１２０は商品Ａと取り出しあとにすぐ商品Ｂを取り出しているため、商品Ａは迷いなく購入するつもりであると想定される。そしてこの場合には商品Ａの取り出し応答による広告が表示されないため、購入者１２０が煩わしく感じる可能性を低減することができる。

Ｓ７０６では、システム制御部５０は、取り出しの対象となった商品（取り出された商品）の広告情報を、不揮発性メモリ１０３ｂ、または、サーバなどの通信可能な外部の広告情報を記憶した記憶手段から検索する。外部の広告情報を記憶した記憶手段は、例えば広告情報を記憶したデータベースを記憶しており、期間限定のキャンペーン情報や、新製品や取扱終了製品の情報、店舗ごとの在庫や価格といった情報が逐次更新されて記憶されている。

Ｓ７０７では、システム制御部５０は、Ｓ７０６で検索した結果取得できた広告情報に動画が含まれているか否かを判定する。動画が含まれている場合はＳ７０８に進み、そうでない場合にはＳ７０９に進む。

Ｓ７０８では、システム制御部５０は、Ｓ７０６で検索した結果取得された広告情報に基づき、取り出しの対象となった商品に関する動画付きの取り出し応答をサイネージ装置１００ｄから出力するように制御する。より詳しくは、動画付きの取り出し応答を出力する指示（サイネージ制御指示）と、動画付きの取り出し応答の内容（動画、静止画、商品情報、関連商品情報、価格情報、キャンペーン情報等）とを、エッジＰＣ１００ｃに送信する。

図９（ａ）に、サイネージ装置１００ｄのディスプレイ１０５ｄにおける、動画付きの取り出し応答の表示例を示す。領域９０１では、Ｓ７０６で検索した結果取得できた広告の動画を再生表示する。サイネージ装置１００ｄの音声出力部１１３ｄから、再生している動画の音声を出力する。動画は視聴に時間がかかるため、店舗内を移動している来店客には立ち止まって視聴してもらうことができない場合がある。しかし、商品を取り出して手に取っているユ―ザーは立ち止まっている可能性が高く、さらにその商品に興味を持っていると思われる。そのため、商品を棚から取り出したタイミングで再生される動画は購入者１２０に視聴してもらえる可能性が高く、効果的な広告となる。領域９０２には、取り出しの対象となった商品に関する各種商品情報を表示する。領域９０２に表示される商品情報には以下の情報の少なくとも１つが含まれるものとする。商品の名称、商品の画像（動画または静止画）、商品の通常価格、商品の販売価格（通常価格からの割引済み価格）、現在適用されるキャンぺーン情報。商品の宣伝文句、訴求ポイント、特長、効能、効果、使用方法、推奨使用場面、配合成分、表示指定成分、アレルギー関連情報、ハラル情報（ハラムを含むか否かに関する情報）。さらに、取り出しの対象となった商品に関する電子クーポン（割引券、ポイント還元券）を表示してもよい。領域９０２に表示する商品情報には、商品自体のパッケージには表示されていないより詳細な情報、商品自体のパッケージでは字が小さくて見辛い情報の少なくとも１つを含む。領域９０３には、取り出しの対象となった商品とは異なる、関連商品を表示する。また、取り出しの対象となった商品とセットで購入することによる割引情報を表示する。さらに、領域９０４には、取り出しの対象となった商品の陳列棚の位置に相当する現在位置と、領域９０３に表示した関連商品の売り場（陳列棚）を示す表示を行う。図示の例は店内の見取り図（地図、マップ）で売り場の場所を示しているが、棚番号と何段目かなどの文字列による案内でもよい。領域９０４の表示によって、客が関連商品を探す手間が省け、関連商品の購買意欲を削ぐ要因（心理的ハードル）が減る。従って関連商品の売り上げ増に寄与する。

Ｓ７０９では、システム制御部５０は、Ｓ７０６で検索した結果取得された広告情報に基づき、取り出しの対象となった商品に関する動画なしの取り出し応答をサイネージ装置１００ｄから出力するように制御する。より詳しくは、動画なしの取り出し応答を出力する指示（サイネージ制御指示）と、動画なしの取り出し応答の内容（静止画、商品情報、関連商品情報、価格情報、キャンペーン情報等）とを、エッジＰＣ１００ｃに送信する。動画無しの取り出し応答は、例えば、図９（ａ）の領域９０１の表示が静止画の広告画像となった表示が行われる。

一方、返却を示す現象を検知した場合、Ｓ７１０では、システム制御部５０は、返却の対象となった商品が、表示されている取り出し応答の対象の商品（取り出し応答の要因となった取り出しの対象の商品）と同一であるか否かを判定する。表示中の取り出し応答の対象商品と同じ商品が返却された場合はＳ７１１に進む。そうでない場合、すなわち表示中の取り出し応答と異なる商品が返却された場合には、返却応答をすることなく、図７の処理を終了する。また、前述のＳ７０８かＳ７０９で説明した取り出し応答がサイネージ装置１００ｄに表示されていない場合にもＳ７１０はＮｏと判定し、返却応答をすることなく、図７の処理を終了するものする。

Ｓ７１１では、システム制御部５０は、返却の対象となった商品（返却された商品、返却対象商品）に関する返却応答をサイネージ装置１００ｄから出力するように制御する。より詳しくは、返却応答を出力する指示（サイネージ制御指示）と、返却応答の内容（動画、静止画、商品情報、関連商品情報、価格情報、キャンペーン情報等）とを、エッジＰＣ１００ｃに送信する。

図９（ｂ）に、サイネージ装置１００ｄのディスプレイ１０５ｄにおける、返却応答の表示例を示す。返却応答は、取り出し応答とは少なくとも一部が異なる表示内容とする。サイネージ装置１００ｄの音声出力部１１３ｄからは、返却応答に対応する音声も出力する。
図９（ｂ）において、領域９０１に表示していた動画は、返却に対応する現象の検知があっても、途中で停止することなく最後まで再生するものとする。これは、動画を途中で停止すると広告の品位が落ちる、返却を行った客以外の他の客が見ている可能性があることなどが理由である。なお、これに限るものではなく、領域９０１に表示していた動画を停止し、静止画ですばやく商品の特徴を伝える広告を表示し、「ちょっとお待ちください」など、客の注意を惹く音声を出力するようにしてもよい。

図９（ｂ）の領域９０２は、図９（ａ）の領域９０１の表示内容と異なる内容を表示する。図９（ａ）の領域９０２では、「お手に取っている商品」としていたものを、図９（ｂ）の領域９０２では、「お手にとっていた商品」と表示を変更し、返却という行為に応答した表示であることを示す。また、返却対象商品の割引のキャンペーン期間が「１０／３１まで」といったような限定期間情報９０２ａ（期間限定であるイベントの期間に関する情報）を表示する。これによって、後日購入するのではなく、すぐ購入したほうが良いという動機付けを客（購入者１２０）に与え、早期の購入、再度の取り出しを促す。さらに、クーポン情報９０２ｂを表示し、図９（ａ）で表示していた価格に対して更なる価格優遇（この例ではポイントによる還元）が可能である旨を表示する。図９（ｂ）のクーポン情報９０２ｂは、価格優遇としてポイント還元のための表示であるが、価格優遇として価格割引が可能である旨の表示としてもよい。これによって、返却対象商品の購入の動機付けを客に与え、再度の取り出し、購入を促す。

図９（ｂ）の領域９０５には、返却対象商品の関連商品として、返却対象商品と同じ種別の他の商品に関する情報を表示する。領域９０５では例として、返却対象商品よりも高価な商品（ワンランク上の類似商品）と、安価な商品（お手頃な類似商品）を表示する。このようにすることで、返却対象商品を購入者１２０が返却した理由が、品質面での不満足であった場合に、より高品質（高価格）である商品を提案することで、客の満足する商品の購入に寄与することができる。逆に、返却対象商品を購入者１２０が返却した理由が、価格面での不満足であった場合に、より低価格である商品を提案することで、客の満足する商品の購入に寄与することができる。さらに、返却対象商品と同じ種別の商品のうち、最も人気のある商品、最も売り上げ数が大きい商品、インターネットなどでの「いいね」などの支持反応や口コミが多い商品などを表示するようにしてもよい。領域９０５に表示する商品についても、陳列場所情報９０５ａや９０５ｂのようにそれぞれ陳列場所を示す情報を表示し、客が興味を持った場合に商品を探す手間を省く。陳列場所情報９０５ａ、９０５ｂとして文字列で陳列場所を示す例を説明したが、領域９０４に表示されたようなマップ（店内見取り図）上に示してもよい。

なお、Ｓ７１０でＹｅｓと判定された場合に返却応答を出力する例を説明したが、これに限るものではない。Ｓ７１０の処理を省き、前述のＳ７０８かＳ７０９で説明した取り出し応答がサイネージ装置１００ｄに表示されていない場合にも、返却応答を出力するようにしてもよい。さらに、Ｓ７１０の処理を省き、サイネージ装置１００ｄに、返却の対象となった商品と異なる商品に関する取り出し応答が表示されていた場合にも、取り出し応答を中止するか並行して、返却対象の商品の返却応答を出力するように制御してもよい。この場合表示する内容は、図９（ｂ）の表示でもよいし、それに限らず、図９（ａ）のような表示でもよい。このようにすることで、商品を一度取り出したが返却した客（購入者１２０）、すなわち購入を躊躇したユーザーに対して、より購入したくなるような効果的な広告を出力することができる。さらに、取り出し応答（Ｓ７０８、Ｓ７０９）の処理をしないように設計し、返却応答（Ｓ７１１）の処理だけを行うようにしてもよい。このようにすることで、取り出しの度に広告が表示されることが抑止されるため、ユーザー（購入者１２０）が煩わしく感じる可能性を低減することができる。また、商品を取り出して返却するといった、一度は購入を検討したがやめようとした素振りを見せた場合にだけというように頻度を減らして広告を表示することで、ユーザー（購入者１２０）がより印象的に感じるような効果的な案内とすることができる。

あるいは、返却応答を、返却の対象となった商品にかかわらず、客が商品を取り出してくれたこと、購入を検討してくれたことに謝辞を伝える通知としてもよい。例えば、返却応答として、「ご検討ありがとうございます。またのご検討をよろしくお願い致します。」といったメッセージを表示または音声出力するようにしてもよい。このようにすることで、客の店舗に対する好感度を向上させることが期待でき、長期的な売り上げの増大に寄与することが可能となる。

このように、本実施形態においては、商品の取り出しに応答して、取り出し応答を出力し、返却に応答して、返却応答を出力する。従って、客の動作に合わせてより効果的な宣言（商品の案内）を行うことができる。

図１０に、取り出し応答の他の例を説明する。Ｓ７０６～Ｓ７０９の代わりに、このタイミングでサイネージ装置１００ｄのディスプレイ１０５ｄに、図１０のような取り出し応答を表示するように制御してもよい。ＣＰＵ１０１ｂは、商品の取り出しに対応する現象の検知に応じて、サイネージ装置１００ｄにおける対話機能（音声対話機能、画面操作による対話機能、バーチャルアシスタント機能）を起動するように制御する。対話機能の起動に応じて、サイネージ装置１００ｄのディスプレイ１０５ｄ（タッチパネル７０ｄ）に図１０のような画面が表示される。アバター１００１は、対話相手を模したキャラクターである。商品の案内訳であり、店舗店員のような役割を果たす。アバター１００１は、人物や動物などのキャラクターのアニメーションや静止図画としてもよいし、写真や動画としてもよい。吹き出し１００２には、取り出しの対象商品と、取り出しを認識した旨（「お手に取って頂き」）が表示される。また、客に向けた商品や店舗に関する案内が可能である旨を客に通知する内容（「ご案内いたします」）を表示する。これによって購入者１２０は、表示部１０５ｄの表示内容が自分に向けたものであるということを認識することができる。吹き出し１００３には、対話機能が起動されたため、音声または操作部の操作（この例では画面タッチ）による入力を促すメッセージが表示される。吹き出し１００２、１００３に表示した内容は、音声出力部１１３ｄから音声によって出力（読み上げ）してもよい。選択肢１００４～１００６は、画面タッチによる対話のためのユーザーからの入力を受け付けるタッチ操作アイテムである。図１０が表示された状態でユーザーがなんらかの言葉を発言すると、それが音声入力部１１４ｄで収音され、音声入力として入力される。音声入力は外部Ｉ／Ｆ１０９ｄまたは通信Ｉ／Ｆ１１０ｄを介し、エッジＰＣ１００を経由して（経由しなくてもよい）サーバ装置１００ｂに送信される。サーバ装置１００ｂは受信した音声入力を解析し、解析結果に応じた応答情報を生成する応答生成処理を行い、生成された応答情報を、エッジＰＣ１００ｃを経由して（経由しなくてもよい）、サイネージ装置１００ｄに送信する。サイネージ装置１００ｄは、サーバ装置１００ｂから送信されてきた応答情報に基づく情報を、ディスプレイ１０５ｄで表示したり、音声出力部１１３ｄから出力したりする。例えば、図１０の画面が表示された状態で、ユーザーが、「この商品の成分を教えて」と発音すると、それに応じて、取り出しの対象となった商品（例えば「きらめきシャンプー」）の成分に関する情報が表示および音声出力される。例えば、図９（ａ）の領域９０２の「配合成分」、「表示指定成分」、「ハラル情報」のような内容を表示するとともに、音声として読み上げる。同様にして、取り出しの対象となった商品の詳細情報、関連商品の情報、取り出しの対象となった商品にかかわらない情報（他の商品や店舗案内など）に関して、ユーザーからの問いかけに応答して出力することが可能である。

なお、上述のサイネージ装置１００ｄにおける対話機能の起動と図１０の表示は、取り出し応答に限らず、商品が返却されることに対応する現象（返却対応現象）の検知に応じた返却応答（図７のＳ７１１の処理）として行ってもよい。返却対応現象に応じて対話機能を表示する場合には、返却対応現象を認識した旨、返却対象商品を示す情報が出力（表示・音声出力）される。

なお、本実施形態では、サーバー装置１００ｂからエッジＰＣ１００ｃにサイネージ制御指示を送信し、これを受けてエッジＰＣ１００ｃからサイネージ装置１００ｄに応答の内容を出力する例を説明したが、これに限るものではない。すなわち、エッジＰＣ１００ｃを介することなく、サーバ装置１００ｂからサイネージ装置１００ｄにサイネージ制御指示を送信して、サイネージ装置１００ｄに各種応答を行わせるようにしても良い。また、図７の処理をサーバ装置１００ｂで行うものとして説明したが、これに限るものではない。すなわち、エッジＰＣ１００ｃで取り出しまたは返却の対象となった商品を特定するものとし、サーバ装置１００ｂを介することなく、エッジＰＣ１００ｃで図７のサイネージ制御処理を行うものとしてもよい。この場合、エッジＰＣ１００ｃで商品の取り出しまたは返却を検知した場合（Ｓ６０６Ｙｅｓ）に、エッジＰＣ１００ｃにおいて取り出しまたは返却の対象となった商品を特定する処理を行ったうえで、図７の処理をエッジＰＣ１００ｃのＣＰＵ１０１ｃが実行する。この場合、Ｓ７０８、Ｓ７０９、Ｓ７１１の各種応答の出力先はサイネージ装置１００ｄとなる。また、この時、Ｓ７０８、Ｓ７０９、Ｓ７１１の各種応答の出力先を、エッジＰＣ１００ｃの備えるディスプレイ（不図示、購入者１２０から視認可能な位置に設置されるものとする）、音声出力部１１３ｃとすることも可能である。こうすると、エッジＰＣ１００ｃとサイネージ装置１００ｄを別体の装置とすることなく、同一の装置で実現することができる。

また、図７のサイネージ制御処理は、チェックイン／チェックアウトの制御を行わないシステムに対しても適用可能である。さらに、購入者端末１００ａを用いた購入システムに限らず、有人あるいはセルフサービスのレジにおいて購入の決済を行うような店舗に対しても適用可能である。すなわち、図１の購入者端末１００ａ、サーバ装置１００ｂ、決済サービス１７０、ＱＲコード１６０のうち少なくとも１つを省いたシステムにも適用可能である。

以上説明した本実施形態によれば、商品に関する案内をより効果的に行うことができる。従来、店舗におけるデジタルサイネージなどの広告が来店客に対して効果が不十分であった要因は、例えば、店舗を動き回っている来店客に対して動画でアピールとしたとしても立ち止まって動画広告を見てくれるとは限らない点である。これに対し本実施形態によれば、商品を取り出した客、あるいは返却した客に対して図９、図１０で説明したような商品の案内を行うように制御する。商品と取り出した、あるいは返却したということは、その商品に対して来店客が少なくとも興味を示している状態である。しかも、取り出しまたは返却のために立ち止まっている可能性が高い。このような立ち止まっており、かつ、商品に興味を示している来店客に対して、興味を示している商品に関する案内を出力するため、来店客にその案内を見て貰える可能性が高まる。すなわち、本実施形態によれば、商品に関する案内をより効果的に来店客に認識させることができ、商品の売り上げの向上に寄与することができる。

なお、上述の実施形態においては、商品の陳列場所として商品棚１３０を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。

なお、ＣＰＵ１０１ａ、１０１ｂ、１０１ｃが行うものとして説明した上述の各種制御は、それぞれ１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能であ

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の１つ以上のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ａ：購入者端末 １００ｂ：サーバ装置 １００ｃ：エッジＰＣ １３０：棚

Claims (23)

1. 商品が陳列された陳列場所に商品が返却されることに対応する現象である返却対応現象を検知する検知手段と、
   前記検知手段で前記返却対応現象を検知した場合に、検知された現象における返却の対象となる返却対象商品に関する情報を電子機器から出力するように制御する制御手段と
   を有することを特徴とする情報処理システム。
2. 前記電子機器は、前記電子機器からの出力を、前記陳列場所へ商品を返却したユーザーが認識できる位置に設置されていることを特徴とする請求項１に記載の情報処理システム。
3. 前記出力は、前記電子機器の表示手段に表示することで出力されることを特徴とする請求項２に記載の情報処理システム。
4. 前記出力は、前記電子機器の音声出力手段から発音されることで出力されることを特徴とする請求項２または３に記載の情報処理システム。
5. 前記検知手段はさらに、前記陳列場所から商品が取り出されることに対応する現象である取り出し対応現象を検知可能であり、
   前記制御手段はさらに、前記検知手段で前記取り出し対応現象を検知した場合に、検知された現象における取り出しの対象となる取り出し対象商品に関する情報を前記電子機器から出力するように制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記検知手段によって、同一の商品を対象とした取り出し対応現象と返却対応現象が検知された場合、前記制御手段は、
   前記取り出し対象現象の検知に応じて第１の情報を前記電子機器から出力するように制御し、
   前記返却対応現象の検知に応じて前記第１の情報と少なくとも一部が異なる第２の情報を前記電子機器から出力するように制御する
   ことを特徴とする請求項５に記載の情報処理システム。
7. 前記第１の情報に含まれず、前記第２の情報に含まれる情報として、期間限定であるイベントの期間に関する情報を含むことを特徴とする請求項６に記載の情報処理システム。
8. 前記第１の情報に含まれず、前記第２の情報に含まれる情報として、価格または還元に関する優遇情報を含むことを特徴とする請求項６または７に記載の情報処理システム。
9. 前記第１の情報に含まれず、前記第２の情報に含まれる情報として、前記返却対象商品と同じ種別における異なる商品の情報を含む請求項６乃至８のいずれか１項に記載の情報処理システム。
10. 前記第２の情報に、前記異なる商品に関する陳列場所を案内する情報がさらに含まれることを特徴とする請求項９に記載の情報処理システム。
11. 前記制御手段は、前記第１の情報として前記取り出し対象商品に関する動画を再生するように制御し、
    前記返却対応現象の検知があっても前記動画の再生は停止されないことを特徴とする請求項６乃至１０のいずれか１項に記載の情報処理システム。
12. 前記制御手段は、前記返却対応現象を検知しても、検知さされた返却対応現象における返却対象商品と同一の商品に関する前記第１の情報の出力を行っていない場合には、前記第２の情報を出力しないように制御することを特徴とする請求項６乃至１１のいずれか１項に記載の情報処理システム。
13. 前記取り出し対象商品に関する情報には、前記取り出し対象商品の関連商品の陳列場所を案内する情報を含むことを特徴とする請求項５乃至１２のいずれか１項に記載の情報処理システム。
14. 前記検知手段はさらに、前記陳列場所から商品が取り出されることに対応する現象である取り出し対応現象を検知可能であり、
    前記制御手段は、前記検知手段で前記取り出し対応現象を検知しても、検知された現象における取り出しの対象となる取り出し対象商品に関する情報を前記電子機器から出力するための制御は行わないことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
15. 商品が陳列された陳列場所に商品が返却されることに対応する現象である返却対応現象を検知する検知ステップと、
    前記検知ステップで前記返却対応現象を検知した場合に、検知された現象における返却の対象となる返却対象商品に関する情報を電子機器から出力するように制御する制御ステップと
    を有することを特徴とする情報処理システムの制御方法。
16. 商品が陳列された陳列場所に商品が返却されることに対応する現象である返却対応現象を検知する検知手段と、
    前記検知手段で前記返却対応現象を検知した場合に、検知された現象における返却の対象となる返却対象商品に関する情報を電子機器から出力するように制御する制御手段と
    を有する情報処理システムに含まれる前記電子機器であって、
    前記陳列場所から商品を取り出した、または返却したユーザーが認識できるように、前記情報を出力する出力手段を有することを特徴とする電子機器。
17. 商品が陳列された陳列場所から商品が取り出されることに対応する現象である取り出し対応現象と、前記陳列場所に商品が返却されることに対応する現象である返却対応現象との少なくとも一方を検知する検知手段と、
    前記検知手段で前記取り出し対応現象と前記返却対応現象の少なくとも一方を検知した場合に、電子機器における対話機能を起動するように制御する制御手段と
    を有することを特徴とする情報処理システム。
18. 前記電子機器は、前記電子機器からの出力を、前記陳列場所から商品を取り出した、または返却したユーザーが認識できる位置に設置されていることを特徴とする請求項１７に記載の情報処理システム。
19. 前記対話機能の起動に応じて、前記電子機器から、対話相手を模したキャラクター、取り出し対象商品または返却対象商品を示す情報、取り出しまたは返却に対応する現象を検知した旨、客に向けた案内が可能である旨、音声または操作部の操作による入力を促す旨の少なくとも１つが出力されることを特徴とする請求項１７または１８に記載の情報処理システム。
20. 前記制御手段は、前記対話機能が起動された状態で前記陳列場所から商品を取り出した、または返却したユーザーから、前記電子機器に対する音声または操作部の操作による入力があったことに応じて、前記入力に対する応答を前記電子機器から出力するように制御することを特徴とする請求項１７乃至１９のいずれか１項に記載の情報処理システム。
21. 商品が陳列された陳列場所から商品が取り出されることに対応する現象である取り出し対応現象と、前記陳列場所に商品が返却されることに対応する現象である返却対応現象との少なくとも一方を検知する検知ステップと、
    前記検知手段で前記取り出し対応現象と前記返却対応現象の少なくとも一方を検知した場合に、電子機器における対話機能を起動するように制御する制御ステップと
    を有することを特徴とする情報処理システムの制御方法。
22. 商品が陳列された陳列場所から商品が取り出されることに対応する現象である取り出し対応現象と、前記陳列場所に商品が返却されることに対応する現象である返却対応現象との少なくとも一方を検知する検知手段を有する情報処理システムに含まれる電子機器であって、
    前記検知手段で前記取り出し対応現象と前記返却対応現象の少なくとも一方を検知した場合に、対話機能を起動するように制御する制御手段
    を有することを特徴とする電子機器。。
23. 少なくとも１つのコンピュータを、請求項１乃至１４、１７乃至２０のいずれか１項に記載された情報処理システムの各手段として機能させるためのプログラム。
    
    

Images