JP2023037712A - Information processing system, method for controlling information processing system, and program - Google Patents
Information processing system, method for controlling information processing system, and program Download PDFInfo
- Publication number
- JP2023037712A JP2023037712A JP2021144452A JP2021144452A JP2023037712A JP 2023037712 A JP2023037712 A JP 2023037712A JP 2021144452 A JP2021144452 A JP 2021144452A JP 2021144452 A JP2021144452 A JP 2021144452A JP 2023037712 A JP2023037712 A JP 2023037712A
- Authority
- JP
- Japan
- Prior art keywords
- product
- information processing
- information
- shelf
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims description 90
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 80
- 238000004891 communication Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 description 247
- 230000008569 process Effects 0.000 description 81
- 238000012937 correction Methods 0.000 description 16
- 238000009434 installation Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明は、無人または少ない店員で商品の管理や販売が可能なシステムに関する。 The present invention relates to a system that enables merchandise management and sales with unmanned or a small number of clerks.
従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。 Conventionally, sales systems such as vending machines and unmanned stores that reduce labor costs required for selling products have been proposed.
特許文献１には、重量センサーが備えられた商品棚に、それぞれＲＦＩＤタグが添付された複数の商品を配置した販売システム（商品管理装置）が提案されている。商品棚の重量の変化を検知すると、重量が変化した商品棚に置かれていた商品であって、かつ、ＲＦＩＤタグの受信強度が変化した商品を、物理的に移動した商品（購入者が手に取った可能性のある商品）として特定する。精算の際には、ＲＦＩＤリーダーによって、買い物カゴの中に入っている商品に添付されたＲＦＩＤタグを読み取ることで合計金額を算出して商品管理装置の表示部に表示する。そして、購入者が支払額読み取り部に金銭を投入することで精算が行われる。
特許文献１に記載のシステムは、例えば、商品毎にＲＦＩＤタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、というものであった。販売システムの導入コストや設置スペースの削減などを考慮すると、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できることが課題となる。
The system described in
本発明は上記課題の少なくとも１つに鑑み、商品の管理や販売に関するより好適なシステムを提供することを目的とする。 SUMMARY OF THE INVENTION In view of at least one of the above problems, it is an object of the present invention to provide a more suitable system for managing and selling merchandise.
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。
In order to solve the above problems, the information processing system of the present invention includes:
An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
and second control means for transmitting product information based on the detected content received from the terminal device to an electronic device and controlling the electronic device to display the product information.
本発明によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present invention, it is possible to provide a more suitable system for product management and sales.
特許文献１に記載のシステムは、例えば、商品毎にＲＦＩＤタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び／または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。
The system described in
本実施形態では上記課題の少なくとも１つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。 In view of at least one of the above problems, the present embodiment aims to provide a technique for providing a more suitable system for product management and sales.
以下、図面を参照して本発明の好適な実施形態を説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
図１に、本実施形態の情報処理システム（販売システム）のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末１００ａ（電子機器）、サーバ装置１００ｂ（情報処理装置）、エッジＰＣ１００ｃ（情報処理装置としての端末装置）が含まれる。購入者端末１００ａはインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。また、エッジＰＣ１００ｃもインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。一方、購入者端末１００ａとエッジＰＣ１００ｃは直接通信を行う必要はない。 FIG. 1 shows an example of the system configuration of the information processing system (sales system) of this embodiment. The sales system of this embodiment is an unmanned sales system that enables sales without a salesperson. The sales system of this embodiment includes a purchaser terminal 100a (electronic device), a server device 100b (information processing device), and an edge PC 100c (terminal device as an information processing device). The purchaser terminal 100a can communicate with the server device 100b directly or via the Internet. The edge PC 100c can also communicate with the server device 100b directly or via the Internet. On the other hand, the purchaser terminal 100a and the edge PC 100c do not need to communicate directly.
商品１３１を含む１つ以上（少なくとも１つ）の商品が、商品の陳列場所（載置する場所を含む）の一例としての商品棚である棚１３０に載置（陳列）されている。また、棚１３０自体、あるいは棚１３０の近傍に、棚１３０の識別情報（棚ＩＤ）を持つＱＲコード（商標）１６０が掲示されている。本実施形態では棚１３０には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。 One or more (at least one) products including the product 131 are placed (displayed) on a shelf 130, which is an example of a product display place (including a place where the products are placed). Also, a QR code (trademark) 160 having identification information (shelf ID) of the shelf 130 is posted on the shelf 130 itself or near the shelf 130 . In this embodiment, the shelf 130 is not provided with a partitioning member such as a door, a lid, or a cover to separate the product from the purchaser, so that the purchaser can directly take out the product by hand without opening the door. By doing so, the physical and psychological hurdles for the purchaser to pick up the product are lowered, so that the purchaser can easily purchase the product, and the seller can increase the sales volume. Even if a door, a lid, a cover, or the like is provided, this embodiment, which will be described later, can be applied. Further, even if a store clerk is employed for sales promotion, etc., the present embodiment, which will be described later, can be applied.
棚１３０に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ１４０が設置される。カメラ１４０は、カメラ１４０で棚１３０からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジＰＣ１００ｃは棚１３０に対応付けられており、カメラ１４０で撮影された画像を取得可能なように、有線または無線通信でカメラ１４０と接続されている。本実施形態ではエッジＰＣと商品棚を１対１で対応づけて処理する例を説明するが、エッジＰＣ１台に対して複数の商品棚を対応付けて処理してもよい。
A
エッジＰＣ１００ｃは、カメラ１４０から送信された撮影画像（映像）を解析し、棚１３０から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置１００ｂに送信する。
The
購入者１２０は、自身の保有するスマートフォンなどの購入者端末１００ａでＱＲコード１６０を撮影することで、棚ＩＤを取得する。そして棚ＩＤと購入者１２０の識別情報（ユーザーＩＤ）とをサーバ装置１００ｂに送信する。
The purchaser 120 acquires the shelf ID by photographing the
サーバ装置１００ｂでは、購入者端末１００ａから受信した棚ＩＤとユーザーＩＤに基づき、購入者１２０のユーザーＩＤと、棚１３０の棚ＩＤとを関連付ける（すなわち、購入者１２０と棚１３０を関連付ける）。以下、ユーザーＩＤと棚ＩＤとを関連付ける（関連付けて記憶する）処理をチェックイン処理、関連付いた状態をチェックイン状態（チェックインされた状態）と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置１００ｂから購入者端末１００ａとエッジＰＣ１００ｂに通知する。この状態で購入者１２０が棚１３０に置かれた商品を取り出して良い状態となる。購入者１２０が棚１３０に置かれた商品を手に取って取り出すと、それをエッジＰＣ１００ｃがカメラ１４０で撮影された画像に基づいて検知し、サーバ装置１００ｂに検知結果を送信する。サーバでは取り出された商品を特定し、棚１３０と関連付けられた購入者１２０の仮想のカート（買い物かご。以下、単にカートと称する）に取り出された商品を追加する。カートの状態はサーバ装置１００ｂから購入者端末１００ａに送信され、購入者端末１００ａで表示されるため、購入者１２０は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末１００ａを操作して決済処理を行うと、サーバ装置１００ｂはインターネット上の決済サービス１７０を呼び出して決済を行う。このようにして、購入者１２０は購入者端末１００ａでＱＲコード１６０を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。
Based on the shelf ID and user ID received from the purchaser terminal 100a, the server device 100b associates the user ID of the purchaser 120 with the shelf ID of the shelf 130 (that is, associates the purchaser 120 with the shelf 130). Hereinafter, the processing of associating (associating and storing) the user ID and the shelf ID will be referred to as check-in processing, and the associated state will be referred to as the check-in state (checked-in state). When the check-in process is completed, the server device 100b notifies the purchaser terminal 100a and the edge PC 100b of the check-in completion. In this state, the purchaser 120 can take out the product placed on the shelf 130 . When the purchaser 120 picks up and takes out the product placed on the shelf 130, the edge PC 100c detects it based on the image captured by the
図２（ａ）に、本発明を適用可能な装置の一例としての購入者端末１００ａの構成の一例を示す。購入者端末１００ａは購入者であるユーザーが持つ電子機器であり、スマートフォン（携帯電話端末）やタブレットＰＣなどを用いて構成可能なものである。 FIG. 2(a) shows an example of the configuration of a purchaser terminal 100a as an example of a device to which the present invention can be applied. The purchaser terminal 100a is an electronic device possessed by a user who is a purchaser, and can be configured using a smart phone (mobile phone terminal), a tablet PC, or the like.
図２において、内部バス１５０ａに対してＣＰＵ１０１ａ、メモリ１０２ａ、不揮発性メモリ１０３ａ、画像処理部１０４ａ、ディスプレイ１０５ａ、操作部１０６ａ、記録媒体Ｉ／Ｆ１０７ａ、外部Ｉ／Ｆ１０９ａ、通信Ｉ／Ｆ１１０ａが接続されている。内部バス１５０ａに接続される各部は、内部バス１５０ａを介して互いにデータのやりとりを行うことができるようにされている。
In FIG. 2, a
メモリ１０２ａは、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１ａは、例えば不揮発性メモリ１０３ａに格納されるプログラムに従い、メモリ１０２ａをワークメモリとして用いて、購入者端末１００ａの各部を制御する。不揮発性メモリ１０３ａには、画像データや音声データ、その他のデータ、ＣＰＵ１０１ａが動作するための各種プログラムなどが格納される。不揮発性メモリ１０３ａは例えばフラッシュメモリやＲＯＭなどで構成される。
The
画像処理部１０４ａは、ＣＰＵ１０１ａの制御に基づいて、不揮発性メモリ１０３ａや記録媒体１０８ａに格納された画像や、外部Ｉ／Ｆ１０９ａや通信Ｉ／Ｆ１１０ａを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部１０４ａが行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４ａは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４ａを用いずにＣＰＵ１０１ａがプログラムに従って画像処理を施すことも可能である。
Under the control of the
ディスプレイ１０５ａは、ＣＰＵ１０１ａの制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１ａは、プログラムに従い表示制御信号を生成し、ディスプレイ１０５ａに表示するための映像信号を生成してディスプレイ１０５ａに出力するように購入者端末１００ａの各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。なお、購入者端末１００ａ自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５ａは外付けのモニタ（テレビなど）で構成してもよい。
The
操作部１０６ａは、ユーザー操作を受け付けるための入力デバイスである。操作部１００６ａには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル７０ａといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル７０ａは、ディスプレイ１０５ａに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
The
記録媒体Ｉ／Ｆ１０７ａは、メモリーカードなどの記録媒体１０８ａが装着可能とされ、ＣＰＵ１０１ａの制御に基づき、装着された記録媒体１０８ａからのデータの読み出しや、当該記録媒体１０８ａに対するデータの書き込みを行う。外部Ｉ／Ｆ１０９ａは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０ａは、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
A
カメラ部１１２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。カメラ部１１２ａには、ズームレンズやフォーカスレンズを含むレンズ群（撮影レンズ）、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部１０４ａは、カメラ部１１２ａで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部１０４ａにより得られた演算結果に基づいてＣＰＵ１０１ａが露光制御、測距制御、ＡＷＢ（オートホワイトバランス）処理を行う。カメラ部１１２ａで撮像され、画像処理部１０４ａで画像処理された表示用の画像データはディスプレイ１０５ａにより表示される。カメラ部１１２ａで撮像され、Ａ／Ｄ変換器によって一度Ａ／Ｄ変換されメモリ１０２ａに蓄積されたデジタル信号をＤ／Ａ変換器でアナログ変換し、ディスプレイ１０５ａに逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。ＣＰＵ１０１ａは、操作部１０６ａで行われたユーザー操作に基づく撮影準備指示に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ処理等の動作を開始するように、カメラ部１１２ａ、画像処理部１０４ａを制御する。ＣＰＵ１０１ａは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部１０４ａで画像処理して画像ファイルを生成し、記録媒体１０８ａに記録するまでの一連の撮影処理（本撮影）の動作を開始ように制御する。撮影指示は、操作部１０６ａに対するユーザー操作によって行うことができる。カメラ部１１２ａは、静止画及び動画の撮影が可能である。
The
図２（ｂ）に、本発明を適用可能な装置の一例としてのサーバ装置１００ｂの構成の一例を示す。サーバ装置１００ｂは購入者端末１００ａ及びエッジＰＣ１００ｃと通信可能な情報処理装置であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。サーバ装置１００ｂが有する構成である、符号１０１ｂ～１０４ｂ、１０６ｂ～１１０ｂ、１５０ｂが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置１００ｂはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置１００ｂとして用いてもよい。
FIG. 2(b) shows an example of the configuration of a server device 100b as an example of a device to which the present invention can be applied. The server device 100b is an information processing device that can communicate with the purchaser terminal 100a and the
図２（ｃ）に、本発明を適用可能な装置の一例としてのエッジＰＣ１００ｃの構成の一例を示す。エッジＰＣ１００ｃはサーバ装置１００ｂと通信可能な端末装置（情報処理装置）であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。エッジＰＣ１００ｃが有する構成である、符号１０１ｃ～１０４ｃ、１０６ｃ～１１０ｃ、１５０ｃが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、エッジＰＣ１００ｃはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のＰＣ本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジＰＣ１００ｃとして用いてもよい。音声出力部１１３ｃはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部１１３ｃから出力する通知音または音声メッセージによって、購入者１２０に各種ガイダンスや警告などの情報を通知する（認識させる）ことができる。
FIG. 2(c) shows an example of the configuration of an
図３に、購入者端末１００ａにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。購入者１２０が棚１３０の商品を購入するべく、購入者端末１００ａにおけるＱＲコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム（以下、単に購入アプリと称する）を起動すると図３の処理が開始される。
FIG. 3 shows a flowchart of processing related to the sales system in the purchaser terminal 100a. This processing is realized by loading the program recorded in the
Ｓ３０１では、ＣＰＵ１０１ａは、ＱＲコードの読み取り画面にカメラ部１１２ａで撮影したＬＶ画像を表示する。図８（ａ）に、購入アプリによる、ディスプレイ１０５ａ（タッチパネル７０ａ）におけるＱＲコードの読み取り画面の表示例を示す。メッセージ８０１はＱＲコード１６０を購入者端末１００ａに読み取らせる（撮影範囲にＱＲコード１６０を収めるようにフレーミングする）ことを購入者１２０に促すガイダンスメッセージである。例えば、「商品棚に貼られているＱＲコードを読み取らせてください」と表示される。枠８０２は、ＱＲコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン８０３は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン８０３は、購入者１２０のユーザーＩＤに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、ＱＲコードの読み取り画面にはカメラ部１１２ａで撮影されているＬＶ画像が表示され、メッセージ８０１、枠８０２、カートアイコン８０３はＬＶ画像に重畳して表示される。
In S301, the
Ｓ３０２では、ＣＰＵ１０１ａは、不揮発性メモリ１０３ａに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはＳ３０３に進み、そうでない場合（カートが空、あるいはカート情報が生成されていない初期状態）にはＳ３０４へ進む。
In S302, the
Ｓ３０４では、ＣＰＵ１０１ａは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン８０３へのタッチ操作があった場合にはＳ３３０へ進み、そうでない場合にはＳ３０４へ進む。
In S304, the
Ｓ３０４では、ＣＰＵ１０１ａは、ＱＲコードが撮影されてＱＲコードの持つ情報を取得できたか否かを判定する。購入者１２０が購入者端末１００ａをフレーミングしたことにより撮影範囲内にＱＲコード１６０が収まり、ＬＶ画像として撮影された画像からＱＲコード１６０を取得し、解析して、ＱＲコード１６０の持つ情報を取得できた場合にはＳ３１０に進む。そうでない場合にはＳ３０５に進む。
In S304, the
Ｓ３０５では、ＣＰＵ１０１ａは、終了イベント（例えば、ＱＲコードの読み取り画面を閉じる操作）があったか否かを判定する。終了イベントが無い場合にはＳ３０２に戻って処理を繰り返し、終了イベントがあった場合には図３の処理を終了する。
In S305, the
Ｓ３１０では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が棚ＩＤを含むか否かを判定する。ＱＲコードの情報が棚ＩＤを含まない場合とは、撮影されたＱＲコードが本実施形態の販売システムとは関係のないＱＲコードであった場合である。棚ＩＤを含む場合はＳ３１２に進み、棚ＩＤを含まない場合はＳ３１１に進んでエラー表示を行う、あるいは、本システムとは別の処理（ＱＲコードに基づく処理）を行う。
In S310, the
Ｓ３１２では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたＱＲコードが棚ＩＤの情報を持っていた場合、ディスプレイ１０５ａに「６７８９０番の棚にチェックインしますか？」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「６７８９０番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、ＱＲコードの情報が示す処理の実行を決定する操作があったと判定してＳ３１３に進む。「いいえ」が選択されるとＳ３０２に戻る。なお、ＱＲコード１６０に、購入アプリを起動する、あるいはインターネット上のＷＥＢアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のＱＲコードリーダーでＱＲコード１６０を読み取り、決定指示を受け付けた場合に購入アプリまたはＷＥＢアプリに従ってＳ３１３以降の処理を行う。また、Ｓ３１２の処理を省き、読み取ったＱＲコードに棚ＩＤが含まれていると判定した場合（Ｓ３１０Ｙｅｓ）に、購入者１２０からの操作（決定指示の操作）を待つことなくＳ３１３の処理を行ってもよい。
In S312, the
Ｓ３１３では、ＣＰＵ１０１ａは、読み取ったＱＲコードから取得した棚ＩＤと、購入者１２０を識別するためのユーザーＩＤを含む、チェックインのリクエスト情報をサーバ装置１００ｂに送信する。棚ＩＤは、陳列場所である棚１３０を識別するための陳列場所情報である。ユーザーＩＤは本実施形態では、購入アプリへのログインＩＤ（予め記憶されていたもの、あるいは購入アプリ起動時に購入者１２０が入力したもの）とする。ユーザーＩＤはこれに限るものではなく、棚１３０にチェックインしている購入者１２０を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーＩＤとして例えば、購入者端末１００ａのＳＳＩＤ、ＳＮＳなどの連携している他のサービスのアカウント情報、購入者端末１００ａのログインアカウントの情報などを用いてもよい。すなわち、ユーザーＩＤは、購入者端末１００ａあるいは購入者１２０を識別するためのユーザー情報である。購入者端末１００ａからサーバ装置１００ｂに棚ＩＤとユーザーＩＤを送信すると、サーバ装置１００ｂにおいてチェックインを試み、サーバ装置１００ｂからチェックインできたかどうかの情報が返送されてくる。
In S313, the
なお、本実施形態では購入者端末１００ａでの棚ＩＤの取得方法として、二次元コードであるＱＲコード１６０を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚ＩＤを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚ＩＤを、購入者端末１００ａのディスプレイ１０５ａに表示される棚ＩＤの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末１００ａのＧＰＳ測位ユニットなどの位置情報取得部（不図示）から取得された購入者端末１００ａの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも２つを組み合わせて棚ＩＤを取得してもよい。
In this embodiment, a method of photographing the
Ｓ３１４では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者１２０とは別のユーザーがすでに棚１３０にチェックインしていた場合、購入者１２０は棚１３０にはチェックインできないものとする。チェックイン不可通知を受信した場合にはＳ３１５に進み、そうでない場合には３１６に進む。
In S314, the
Ｓ３１５では、ＣＰＵ１０１ａは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ１０５ａに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び／または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚１３０に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが（すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが）、本実施形態では扉を設けていない。そのため棚１３０の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚１３０の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者１２０が認識することができる。また、本実施形態のように、１人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚１３０から商品を取り出した利用者が誰なのか判別できなくなる（購入者の混同が起こる）ことも抑止することができる。
In S315, the
Ｓ３１６では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはＳ３１７に進み、そうでない場合には３１４に戻る。
In S316, the
Ｓ３１７では、ＣＰＵ１０１ａは、Ｓ３０２と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはＳ３３０へ進み、そうでない場合にはＳ３２０に進む。
In S317, the
Ｓ３２０では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに空カート表示を行う。空カート表示の表示例を図８（ｂ）に示す。
In S320, the
表示アイテム８１０は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。
A
ガイダンス８１１は、ユーザーである購入者１２０に、棚１３０から商品を取り出すことを促すガイド表示である。図８（ｂ）の例では、「商品棚から商品を取り出してください」との文字列（メッセージ）が表示される。本実施形態の販売システムにおいては、商品棚１３０に扉やカバーを設けていない。従って、外観上は商品棚１３０を取り出して良い状態であるか否かを購入者１２０（ユーザー）が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス８１１を表示することで、購入者１２０は商品を棚１３０から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末１００ａのディスプレイ１０５ａにガイダンス８１１を表示することで、エッジＰＣ１００ｃの音声出力部１１３ｃでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境（静かにすべき環境、あるいは逆に雑音の大きい環境）であっても、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。また、エッジＰＣ１００ｃにディスプレイを接続したり、棚１３０付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス８１１は、購入者１２０に棚１３０からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末１００ａからの音声出力によるガイダンスでもよい。
The
表示アイテム８１２はカートにある商品の合計金額を示す。図８（ｂ）の例では、カートに商品は無いので０円である旨が表示される。
購入指示アイコン８１３は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン（表示アイテム）である。図８（ｂ）の例では、カートに商品が無く、何も購入できないため、グレーアウト（非アクティブ表示）されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。
The
中止指示アイコン８１４は、購入動作（買い物）のキャンセル指示を受け付けるタッチアイコン（表示アイテム）である。
A cancel
棚移動アイテム８１５は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン（表示アイテム）である。
The
Ｓ３２１では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３２２に進み、そうでない場合にはＳ３２５に進む。
In S321, the
Ｓ３２２では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。
In S322, the
Ｓ３２３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはＳ３２４にすすみ、そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。
In S323, the
Ｓ３２４では、ＣＰＵ１０１ａは、メモリ１０２ａに保持したカート情報をクリア（消去）し、ディスプレイ１０５ａにチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。図８（ｄ）にチェックアウト表示の表示例を示す。チェックアウト表示には、購入（買い物）に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ８３０が表示される。チェックアウト表示を所定時間（例えば５秒）表示した後、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。
In S324, the
Ｓ３２５では、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３２８へ進む。 In S325, it is determined whether or not there has been a shelf move operation (touching the shelf move item 815). If there is a shelf movement operation, the process proceeds to S326; otherwise, the process proceeds to S328.
Ｓ３２６では、ＣＰＵ１０１ａは、棚移動操作が行われたことを示す棚移動指示をサーバ装置１００ｂに送信する。
In S326, the
Ｓ３２７では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のＱＲコードを読み取るため、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。
In S327, the
Ｓ３２８では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３２１へ進む。
In S328, the
なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン８１３へのタッチ操作を受け付けない（無視する）例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン８１３へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示（Ｓ３２０の表示とは異なる第２の表示）を行ってもよい。例えば、ガイダンス８１１を点滅させたり色を変えたりするなどしてＳ３２０とは異なる表示形態で強調表示したり、ガイダンス８１１とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン８１３が操作された場合、購入者１２０が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。
In this embodiment, an example in which the touch operation to the
Ｓ３３０では、ＣＰＵ１０１ａは、表示部に商品ありの場合のカート表示を行う。商品ありのカート表示の表示例を図８（ｃ）に示す。図８（ｂ）と同じ表示物については、同じ符号を付して説明を省略する。
In S330, the
商品一覧８２０は、サーバ装置１００ｂから受信した更新通知に含まれる商品情報を含む情報であって、メモリ１０２ａに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧８２０は行毎に１つの商品の情報を表しており、列８２１～列８２４を含む。列８２１は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン（例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど）が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末１００ａの不揮発性メモリ１０３ａに予め記憶されていた画像か、サーバ装置１００ｂから受信した画像を表示する。列８２２は各行の商品の名前（商品名）を表しており、列８２３は各行の商品の価格を表している。列８２４は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図８（ｃ）の例では、購入指示アイコン８１３は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている（アクティブ表示）。一方、中止指示アイコン８１４はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚１３０に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン８１４へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン８１４へのタッチ操作を受け付けないようにしてもよい。
The
Ｓ３３１では、ＣＰＵ１０１ａは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列８２４に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面（タッチされた行の商品について修正する画面）での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚１３０に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者１２０が正しい内容に修正することができる。
In S331, the
Ｓ３３２では、ＣＰＵ１０１ａは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置１００ｂに送信する。
In S332, the
Ｓ３３３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからの更新通知を待ち、更新通知があると通知に基づいてメモリ１０２ａに保持したカート情報を更新してＳ３１７に進む。こうして、ディスプレイ１０５ａのカート表示も修正を反映したものが表示される。
In S333, the
Ｓ３３４では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３３５に進み、そうでない場合にはＳ３４０に進む。
In S334, the
Ｓ３３５では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。
In S335, the
Ｓ３３６では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに返却メッセージを表示する。返却メッセージは、棚１３０から購入者１２０が取り出した商品を、棚１３０に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列（メッセージ）が表示される。これによって購入者１２０は、取り出した商品を棚１３０に戻さないと買い物の中止（キャンセル）ができないことを認識することができ、手に持っている商品を棚１３０に戻そうとする。この結果、カートに入っていた商品（購入者１２０が取り出した商品）が棚１３０に戻されると、カメラ１４０によって戻した様子の映像から商品が戻されたことが検知され、エッジＰＣ１００ｃからサーバ装置１００ｂに商品が戻された旨の情報が送信される。サーバ装置１００ｂは、商品戻された旨の情報を受信すると、サーバ装置１００ｂに保持したカート情報を更新し、更新通知として購入者端末１００ａに送信する。
In S336, the
Ｓ３３７では、ＣＰＵ１０１ａは、サーバ装置１００ｂから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ１０２ａのカート情報を更新し、Ｓ３３８に進む。更新通知を受信できない場合はＳ３３７で更新通知の受信を待ち、チェックアウト表示には進まない。
In S337, the
Ｓ３３８では、ＣＰＵ１０１ａは、Ｓ３３７で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者１２０が棚１３０から取り出した商品がすべて棚１３０に戻された場合である。カートに商品が無い場合にはＳ３３９に進み、そうでない場合（まだカートに商品がある場合）にはＳ３３６へ進む。
In S338, the
ここで、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定された場合は、購入者１２０がまだ棚１３０から取り出した商品を棚１３０に戻していない場合である。従って、Ｓ３３４で中止指示があってから、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、Ｓ３３６で表示した返却メッセージを表示し続けることにより、購入者１２０に確実な商品の返却を促す。また、返却メッセージを表示してからＳ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。 Here, if no update notification is received in S337, or if it is determined in S338 that there is an item in the cart, it means that the purchaser 120 has not returned the item taken out from the shelf 130 to the shelf 130 yet. Therefore, if the update notification is not received in S337 after the cancellation instruction is issued in S334, or if it is determined in S338 that there is an item in the cart, the return message displayed in S336 continues to be displayed, thereby allowing the purchase to be canceled. The person 120 is urged to surely return the merchandise. Further, when the update notification is not received in S337 after the return message is displayed, or when it is determined in S338 that there are products in the cart, the return message may be emphasized step by step. For example, after a predetermined period of time has elapsed, a return message may be flashed, an alarm may be sounded, or the like.
Ｓ３３９では、ＣＰＵ１０１ａは、Ｓ３２４と同様にチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。これによって購入者１２０は、取り出した商品を棚１３０に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。
In S339, the
Ｓ３４０では、ＣＰＵ１０１ａは、購入指示の操作（購入指示アイコン８１３へのタッチ）があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはＳ３４１へ進み、そうでない場合にはＳ３４４へ進む。
In S340, the
Ｓ３４１では、ＣＰＵ１０１ａは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置１００ｂに送信する。
In S341, the
Ｓ３４２では、ＣＰＵ１０１ａは、サーバ装置１００ｂと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作（タッチパネル７０ａに対する決済操作）に応じて、カートに入った商品に対する支払い（決済、課金）が行われる。決済が完了するとＳ３３９へ進む。Ｓ３３９でのチェックアウト表示により、決済が正常に完了し、棚１３０から取り出した商品（購入済みの商品）をもってその場を立ち去ってもよいことを購入者１２０が認識できる。
In S342, the
Ｓ３４４では、ＣＰＵ１０１ａは、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３４５へ進む。
In S344, the
Ｓ３４５では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３３１へ進む。
In S345, the
図４に、サーバ装置１００ｂにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。
FIG. 4 shows a flowchart of processing related to the sales system in the server device 100b. This processing is realized by loading the program recorded in the
Ｓ４０１では、ＣＰＵ１０１ｂは、メモリ１０２ｂに保持された各種変数、情報（カート情報）などを初期化する。また、不揮発性メモリ１０３ｂには、サーバ装置１００ｂで管理している複数の商品棚のＩＤが記憶されている。この管理対象の商品棚のＩＤをすべて読み込み、チェックイン状態の管理情報をメモリ１０２ｂに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図５（ａ）に示す。管理情報には、管理対象となる棚のＩＤと、チェックイン状態と、チェックイン状態である場合にはチェックイン（ＣＩ）しているユーザーのＩＤとが対応付けて記憶される。Ｓ４０１においては、チェックイン状態は全て非チェックイン、ＣＩユーザーはすべての棚において無しとなる。
In S401, the
Ｓ４０２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚ＩＤを受信したか否かを判定する。これは前述の図３のＳ３１３で購入者端末１００ａから送信された棚ＩＤとユーザーＩＤを受信したか否かの判定である。棚ＩＤを受信した場合にはＳ４０２に進み、そうでない場合にはＳ４０７に進む。
In S402, the
Ｓ４０３では、メモリ１０２ｂに保持したチェックイン状態の管理情報を参照し、受信した棚ＩＤの棚がすでにチェックイン中である（チェックイン状態である）か否かを判定する。チェックイン状態であればＳ４０４に進み、そうでない場合（非チェックイン状態である場合）にはＳ４０５に進む。
In S403, the check-in status management information held in the
Ｓ４０４では、チェックインできない旨を示すチェックイン不可通知を、Ｓ４０２で受信した棚ＩＤの送信元の購入者端末１００ａに送信する。また、メモリ１０２ｂに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚ＩＤでのチェックイン処理は行わない。こうしてＳ４０４で送信されたチェックイン不可通知が前述した図３のＳ３１４で受信され、Ｓ３１５でチェックインエラーが表示される。
In S404, a check-in disapproval notification indicating that check-in is not possible is transmitted to the purchaser terminal 100a that transmitted the shelf ID received in S402. Also, the check-in state management information held in the
Ｓ４０５では、ＣＰＵ１０１ｂは、チェックイン処理を行う。具体的には、メモリ１０２ｂに保持されたチェックイン状態の管理情報において、Ｓ４０２で受信した棚ＩＤの棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーに、棚ＩＤとともに受信したユーザーＩＤを関連付けて記憶する。すなわち、チェックイン処理は、棚ＩＤ（陳列場所情報）とユーザーＩＤ（ユーザー情報）とを関連付ける関連付け処理である。この場合の管理情報の例を図５（ａ）に示す。棚ＩＤ「６７８ユーザーＩＤ９０」の棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーのＩＤ「１２３４５」を関連付けて記憶している。
In S405, the
また、Ｓ４０４において、受と信したＣＩユーザーのカート情報が生成されていなかった場合には、メモリ１０２ｂにＣＩユーザーのカート情報を生成する。図５（ｂ）に、ユーザーＩＤ「１２３４５」のカート情報の例を示す。カート情報には、ユーザーＩＤ毎に生成される情報である。カート情報には、ユーザーＩＤ、チェックインしている棚ＩＤ、商品棚から取り出した商品（カートに入っている商品）の商品名（あるいは商品の識別情報）、価格、数量、小計、商品の取出元の棚ＩＤと、カート内の全商品の合計価格が関連付けて記憶される。図５（ａ）の例は、ユーザーが棚ＩＤ「６７８９０」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。
Also, in S404, if the received CI user's cart information has not been generated, the CI user's cart information is generated in the
なお、Ｓ４０２で受信した棚ＩＤとユーザーＩＤのうち、該当するユーザーＩＤのカート情報がメモリ１０２ｂにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーＩＤのカート情報におけるチェックイン中の棚ＩＤを受信した棚ＩＤで更新する。このケースは第１の棚からの棚移動指示があり、決済することなく第１の棚からのチェックアウトが行われた後に、別の棚（第２の棚）にチェックインするケースである。第２の棚にチェックインした後に、第２の棚から商品を取り出すと、取り出した商品がカートに追加される。図５（ｃ）に、棚ＩＤ「６７８９０」の棚（第１の棚）で商品Ａと商品Ｂを取り出した後に棚移動の指示が行われ、棚ＩＤ「６７８９１」の棚（第２の棚）にチェックインして商品Ｃが取り出された場合のカート情報を示す。第１の棚で取り出した商品Ａと商品Ｂに加え、第２の棚で取り出された商品Ｃが記録されており、合計価格は商品Ａ，Ｂ，Ｃの合計となっている。
Note that if the cart information of the corresponding user ID among the shelf ID and user ID received in S402 is already stored in the
Ｓ４０６では、ＣＰＵ１０１ｂは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末１００ａと、エッジＰＣ１００ｃとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末１００ａにおいては前述の図３のＳ３１６で受信され、エッジＰＣ１００ｃにおいては後述する図６のＳ６０３で受信される。
In S406, the
Ｓ４０７では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから送信された棚ＩＤと商品認識スコアを受信したか否かを判定する。受信した場合にはＳ４０８に進み、そうでない場合にはＳ４１１へ進む。
In S407, the
Ｓ４０８では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから受信した商品認識スコアに基づいて、棚からの取り出し／戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジＰＣ１００ｃでなくサーバ装置１００ｂ側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジＰＣに反映することなくサーバ装置１００ｂに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジＰＣ１００ｃの高機能化に伴う設置コスト増加や、エッジＰＣ１００ｃの更新作業などの管理負荷を軽減することができる。エッジＰＣから受信する商品認識スコアは、商品をある程度推定した結果の情報（推論スコア）であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ１４０で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジＰＣ１００ｃとサーバ装置１００ｂとの通信量を抑制し、高速な判定、応答を可能としている。
In S408, the
なお、エッジＰＣ１００ｃからサーバ装置１００ｂに商品認識スコアを送信するものに限るものではない。例えば、エッジＰＣ１００ｃ側では商品が何であるかの判定のための処理を行わずに、商品の取り出し／戻しがあったと推定される場面についてカメラ１４０で撮影された画像自体（動画または静止画）を送信してもよい。この場合、受信したカメラ１４０での撮影画像に基づいてサーバ装置１００ｂで商品を判定する。また逆に、エッジＰＣ１００ｃ側で、取り出し／戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置１００ｂに送信するようにしてもよい。この場合はＳ４０８の処理は省略される。
In addition, it is not limited to transmitting the product recognition score from the
Ｓ４０９では、ＣＰＵ１０１ｂは、Ｓ４０８で判定された商品に基づき、メモリ１０２ｂに保持したカート情報を更新する。すなわち、Ｓ４０８で商品が棚から取り出されたと判定した場合は、受信した棚ＩＤに関連付いたユーザーＩＤのカート情報にＳ４０８で判定した商品の情報を追加する。逆に、Ｓ４０８で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚ＩＤが取り出し元として記録されているカート情報から、Ｓ４０８で判定した商品を削除する。図５（ｂ）に、元々カート情報に商品Ａが入っている状態から、Ｓ４０７で、棚ＩＤ「６７８９０」の棚ＩＤと商品認識スコアを受信し、Ｓ４０８で商品Ｂが棚から取り出されたと判定された場合のカート情報の例を示す。商品Ａに加えて商品Ｂの情報が追加されている。
In S409, the
Ｓ４１０では、ＣＰＵ１０１ｂは、カート情報を更新したことを示す更新通知を購入者端末１００ａに送信する。更新通知にはメモリ１０２ｂに保持した最新のカート情報も含まれる。すなわち、商品棚１３０からの商品の取り出しが行われた場合には、Ｓ４０８で判定された取り出された商品情報を含むカート情報も送信する。
In S410, the
Ｓ４１１では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された修正指示（前述の図３のＳ３３２で購入者端末１００ａから送信した修正内容）を受信したか否かを判定する。修正指示を受信したと判定した場合は、Ｓ４０９へ進み、修正指示として受信した修正内容に基づいてメモリ１０２ｂに保持したカート情報を更新する。修正指示を受信していない場合にはＳ４１２に進む。
In S411, the
Ｓ４１２では、ＣＰＵ１０１ｂは。購入者端末１００ａから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはＳ４１３へ進み、そうでない場合にはＳ４１７へ進む。
In S412, the
Ｓ４１３では、ＣＰＵ１０１ｂは、Ｓ４１２で受信した中止指示を行ったユーザーのユーザーＩＤのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはＳ４１４に進み、そうでない場合にはＳ４１９に進む。
In S413, the
Ｓ４１４～Ｓ４１６の処理は、Ｓ４０８～Ｓ４１０の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとＳ４１３でＮｏと判定され、チェックアウト処理を伴う中止の処理（Ｓ４１９～Ｓ４２２の処理）が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはＳ４１３でＮｏと判定されないため、チェックアウト処理を伴う中止の処理は行われない。 The processing of S414-S416 is the same as the processing of S408-S410. As a result, when the product disappears from the cart of the user who gave the cancellation instruction, No is determined in S413, and cancellation processing (processing of S419 to S422) accompanied by checkout processing is performed. As long as there are still products in the cart of the user who issued the cancellation instruction, the judgment in S413 is not No, so the cancellation process accompanying the checkout process is not performed.
Ｓ４１７では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された決済指示（前述の図３のＳ３４１で購入者端末１００ａから送信した決済指示）を受信したか否かを判定する。決済指示を受信したと判定した場合は、Ｓ４１８へ進み、そうでない場合はＳ４２３に進む。
In S417, the
Ｓ４１８では、ＣＰＵ１０１ｂは、決済サービス１７０を呼び出し、決済サービス１７０に基づく決済処理を行う。
In S<b>418 , the
Ｓ４１９では、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤについてのメモリ１０２ｂに保持したカート情報をクリア（消去）する。
In S419, the
Ｓ４２０では、ＣＰＵ１０１ｂは、チェックアウト処理を行う。具体的には、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報（図５（ａ））における該当の棚ＩＤについて、状態をチェックアウト状態とし、ＣＩユーザーを消去する。これによって、棚とユーザー（購入者）との関連付けが消去される。
In S420, the
Ｓ４２１では、ＣＰＵ１０１ｂは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末１００ａとエッジＰＣ１００ｃに送信する。
In S421, the
Ｓ４２２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚移動指示（前述の図３のＳ３２８で購入者端末１００ａから送信した棚移動指示）を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、Ｓ４２３へ進み、そうでない場合はＳ４２４に進む。
In S422, the
Ｓ４２３では、ＣＰＵ１０１ｂは、前述のＳ４２０と同様、チェックアウト処理を行う。
In S423, the
Ｓ４２４では、ＣＰＵ１０１ｂは、図４の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図４の処理を終了し、終了イベントが無い場合にはＳ４０２に進んで処理を繰り返す。
In S424, the
図６に、エッジＰＣ１００ｃにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ｃに記録されたプログラムをメモリ１０２ｃに展開し、ＣＰＵ１０１ｃが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。図６は個別の棚に関する処理であり、本実施形態では棚１３０（棚ＩＤ：６７８９０）の棚に関する処理として説明する。
FIG. 6 shows a flowchart of processing related to the sales system in the
Ｓ６０１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。
In S601, the
Ｓ６０２では、ＣＰＵ１０１ｃは、カメラ１４０からの映像を取得する。ここで取得する映像は、棚１３０の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し／戻しの検知にカメラ１４０以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。
In S<b>602 , the
Ｓ６０３では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはＳ６０４へ進み、そうでない場合にはＳ６０６に進む。
In S603, the
Ｓ６０４では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態（棚１３０と購入予定者が関連付いた状態）とする。
In S604, the
Ｓ６０５では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末１００ａでＱＲコード１６０を読み取ったことに応じて棚１３０にチェックインできた（棚１３０が応答した）ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者１２０に棚から商品と取り出すことを促す音声（音声ガイダンス）や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び／または、商品棚１３０から商品を取り出すことを促す。
In S605, the
Ｓ６０６では、ＣＰＵ１０１ｃは、カメラ１４０から取得した映像に基づいて、棚１３０からの商品の取り出し、あるいは、棚１３０への商品の返却（戻し）があったか否かを判定する。すなわち、カメラ１４０で商品棚１３０を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚１３０の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてＳ６０７に進み、そうでない場合にはＳ６１０へ進む。
なお、本実施形態では、カメラ１４０で撮影された映像に基づいて商品の取り出し／戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚１３０の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し／戻しを検知してもよい。また、商品毎にＩＣタグなどのＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）タグを取り付けておき、このタグとの無線通信によって商品の取り出し／戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚１３０の手前（取り出し口）の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し／戻しを検知してもよい。複数の検知方法の１つを採用してもよいし、複数を組み合わせて商品の取り出し／戻しを検知してもよい。
In S<b>606 , the
In the present embodiment, an example of detecting the removal/return of the product based on the image captured by the
Ｓ６０７では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはＳ６０８へ進み、そうでない場合にはＳ６０９に進む。
In S607, the
Ｓ６０８では、ＣＰＵ１０１ｃは、管理対象である棚１３０の棚ＩＤ（本実施形態では６７８９０）と、Ｓ６０６で取り出しまたは返却があった旨、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置１００ｂに送信する。すなわち、商品の取り出し／返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ１４０で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ１４０で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。
In S608, the
Ｓ６０９では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから音声でエラー通知（エラー出力）を行う。この場合、エッジＰＣ１００ｃからはサーバ装置１００ｂに対しての商品スコアの送信は行わない。サーバ装置１００ｂと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者１２０により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置１００ｂに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置１００ｂへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、Ｓ６０６で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚１３０に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者１２０にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。
In S609, the
エラー通知は、非チェックイン状態で取り出された商品が棚１３０に戻された、もしくは所定時間（例えば１分）が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚１３０でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。 The error notification is automatically canceled when the product that was taken out in the non-checked-in state is returned to the shelf 130 or when a predetermined time (for example, 1 minute) has passed. By automatically canceling the error notification after outputting the error notification for a predetermined time even when the taken merchandise is not returned, the error notification continues for a long time on the unmanned shelf 130 due to illegal operation, and another purchaser is made. It is possible to prevent that the purchase opportunity of the customer is spoiled.
エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたＱＲコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のＱＲコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚１３０から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者１２０（購入予定者）は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。 Error notifications are actions for check-in, such as "Please check in before taking out the product" or "Please read the QR code posted on the shelf with your terminal and then take out the product". It is a voice message or a sound effect that prompts you to Alternatively, a message such as "Please read the QR code on the shelf after returning the product to the shelf" may prompt the customer to return the product to its original position. The error notification is output by a sound that can be heard by the person who has taken out the product from the product shelf 130 or the person who has tried to take it out. With this error notification, the purchaser 120 (prospective purchaser) can notice and restore the product when the product is not in good condition. That is, the sales system of this embodiment can be used appropriately.
Ｓ６１０では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はＳ６１１に進み、そうでない場合にはＳ６１３に進む。
In S610, the
Ｓ６１１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン（棚１３０と購入予定者が関連付いていない状態）とする。
In S611, the
Ｓ６１２では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。
In S612, the
Ｓ６１３では、ＣＰＵ１０１ｃは、図６の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図６の処理を終了し、終了イベントが無い場合にはＳ０２に進んで処理を繰り返す。
In S613, the
図７に、図３で説明した購入者端末１００ａの処理、図４で説明したサーバ装置１００ｂの処理、図６で説明したエッジＰＣ１００ｃの処理の連携によって実現する、本実施形態の販売システムでの販売に係る処理シーケンスの例を示す。括弧内に、図３、図４、図６で前述した処理の対応するステップを示す。
FIG. 7 shows the sales system of the present embodiment, which is realized by linking the processing of the purchaser terminal 100a explained in FIG. 3, the processing of the server device 100b explained in FIG. 4, and the processing of the
Ｓ７００では、購入者端末１００ａにおいてＱＲコードの読み取り画面を開き、ＬＶ画像が表示された状態で、購入者１２０が購入者端末１００ａのカメラ部１１２ａをＱＲコード１６０に向ける。
In S700, a QR code reading screen is opened on the purchaser terminal 100a, and the purchaser 120 points the
Ｓ７０１では、購入者端末１００ａのカメラ部１１２ａでＱＲコード１６０の撮影、読み取りが行われる（Ｓ３０４Ｙｅｓ）。
In S701, the
Ｓ７０２では、購入者端末１００ａからサーバ装置１００ｂに棚ＩＤとユーザーＩＤが送信される（Ｓ３１３）。 In S702, the shelf ID and user ID are transmitted from the purchaser terminal 100a to the server device 100b (S313).
Ｓ７０３では、サーバ装置１００ｂにおいてチェックイン処理が行われる（Ｓ４０５）。 In S703, check-in processing is performed in the server apparatus 100b (S405).
Ｓ７０４でサーバ装置１００ｂからエッジＰＣ１００ｃにチェックイン完了通知が送信され（Ｓ４０６）、これに応じてＳ７０５ではエッジＰＣでのチェックイン（Ｓ６０４）と、音声ガイドの出力（Ｓ６０５）が行われる。
In S704, the server apparatus 100b transmits a check-in completion notification to the
Ｓ７０６でサーバ装置１００ｂから購入者端末１００ａにチェックイン完了通知が送信され（Ｓ４０６）、これに応じてＳ７０７で購入者端末１００ａにおける空カート表示が行われる（Ｓ３２０）。 In S706, a check-in completion notice is transmitted from the server device 100b to the purchaser terminal 100a (S406), and in response to this, an empty cart is displayed on the purchaser terminal 100a in S707 (S320).
Ｓ７０８で、購入者１２０が棚１３０から商品を取り出す。 At S<b>708 , the purchaser 120 removes the item from the shelf 130 .
Ｓ７０９では、エッジＰＣ１００ｃで商品が取り出されたことを検知し（Ｓ６０６Ｙｅｓ）、棚ＩＤと商品認識スコアをサーバ装置１００ｂに送信する（Ｓ６０８）。
In S709, the
Ｓ７１０では、サーバ装置１００ｂで商品判定を行い（Ｓ４０８）、カート内の商品を更新する（Ｓ４０９）。 In S710, the server device 100b performs product determination (S408), and updates the products in the cart (S409).
Ｓ７１１では、サーバ装置１００ｂから購入者端末１００ａにカート情報の更新通知を送信する（Ｓ４１０）。 In S711, the server device 100b transmits a cart information update notification to the purchaser terminal 100a (S410).
Ｓ７１２では、購入者端末１００ａにおいてカートの表示を更新する。この例では、この状態で、Ｓ７０８で取り出した商品がカートに入った商品ありのカート表示となる（Ｓ３３０）。 In S712, the display of the cart is updated on the purchaser terminal 100a. In this example, in this state, the cart display shows that the product taken out in S708 is in the cart (S330).
Ｓ７１３では、購入者１２０が中止指示アイコン８１４をタッチする中止操作を行う。
In S<b>713 , the purchaser 120 performs a cancellation operation by touching the
Ｓ７１４では、中止操作に応じて、購入者端末１００ａからサーバ装置１００ｂに中止指示を送信する（Ｓ３３５）。 In S714, a cancellation instruction is transmitted from the purchaser terminal 100a to the server device 100b in response to the cancellation operation (S335).
Ｓ７１５では、カートに商品が入っているため、購入者端末１００ａにおいて返却メッセージを表示する（Ｓ３３６）。 In S715, since there are products in the cart, a return message is displayed on the purchaser terminal 100a (S336).
Ｓ７１６では、返却メッセージを見た購入者１２０が、Ｓ７０８で取り出した商品を、棚１３０に戻す（返却する）。 In S716, the purchaser 120 who saw the return message returns (returns) the product taken out in S708 to the shelf 130. FIG.
Ｓ７１７では、エッジＰＣ１００ｃが、カメラ１４０で撮影された画像に基づいて商品が返却されたことを検知し（Ｓ６０６）、棚ＩＤと返却された商品認識スコアをサーバ装置１００ｂに送信する（Ｓ６０８）。
In S717, the
Ｓ７１８では、サーバ装置１００ｂにおいて、受信した棚ＩＤと商品認識スコアに基づいて返却された商品を判定（特定）し（Ｓ４１５）、カート内の商品を更新する（Ｓ４１６）。すなわち、カートに入っていた商品のうち返却された商品を削除する。 In S718, the server device 100b determines (specifies) the returned product based on the received shelf ID and product recognition score (S415), and updates the product in the cart (S416). In other words, the returned item among the items in the cart is deleted.
Ｓ７１９では、カート情報の更新通知をサーバ装置１００ｂから購入者端末１００ａに送信する（Ｓ４１６）。 In S719, a cart information update notification is transmitted from the server device 100b to the purchaser terminal 100a (S416).
Ｓ７２０では、Ｓ７０８で取り出された商品が返却されたためカートに商品が無い状態となったため（Ｓ４１３Ｎｏ）、Ｓ７１４で送信された中止指示に応じてチェックアウト処理を行う（Ｓ４２０）。 In S720, since the product taken out in S708 has been returned and there is no product in the cart (No in S413), checkout processing is performed according to the cancellation instruction transmitted in S714 (S420).
Ｓ７２１では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知を送信する（Ｓ４２１）。Ｓ７２２では、エッジＰＣ１００ｃがチェックアウト完了通知に応じて、棚１３０の状態を非チェックインとする（Ｓ６１１）。
In S721, a checkout completion notice is transmitted from the server device 100b to the
Ｓ７２２では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知を送信する（Ｓ４２１）。Ｓ７２４では、チャックアウト完了通知に応じて、購入者端末１００ａにおいてチェックアウト画面を表示した後（Ｓ３３９）、ＱＲコード読み取り画面でＬＶ表示を行う。
In S722, the server apparatus 100b transmits a checkout completion notification to the
また、別のケースとして、カートに商品が入っている状態で、Ｓ７３０で購入者１２０が購入指示アイコン８１３をタッチする購入指示の操作を行うと、Ｓ７３１で、購入者端末１００ａからサーバ装置１００ｂに決済指示の通知を送信する。
In another case, when the
Ｓ７３２では、サーバ装置１００ｂにおいて、決済指示の通知に応じて、決済サービス１７０を用いた決済処理を行う。決済を行うとカートの商品をクリアし、Ｓ７３３でチェックアウト処理を行う。
In S732, the server device 100b performs payment processing using the
Ｓ７３４では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知が送信され、Ｓ７３５で
エッジＰＣ１００ｃが棚１３０の状態を非チェックインとする。
In S734, the server apparatus 100b transmits a check-out completion notification to the
Ｓ７３６では、サーバ装置１００ｂから購入者端末１００ａにチェックアウト完了通知を送信する。ＳＳ７２４では、チャックアウト完了通知に応じて、購入者端末１００ａにおいてチェックアウト画面を表示した後、ＱＲコード読み取り画面でＬＶ表示を行う（Ｓ３０１）。 In S736, a checkout completion notice is transmitted from the server device 100b to the purchaser terminal 100a. At SS724, after the checkout screen is displayed on the purchaser terminal 100a in response to the checkout completion notification, the LV is displayed on the QR code reading screen (S301).
以上説明した本実施形態によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present embodiment described above, it is possible to provide a more suitable system for managing and selling merchandise.
また、本実施形態の販売システムは、図７のシーケンス図からも明らかなとおり、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がない。すなわち、本実施形態においては、購入者端末１００ａと前記エッジＰＣ１００ｃは直接の通信確立を行わない。従って、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信するための機能が無い装置も、購入者端末１００ａとして利用することができる。購入者端末１００ａとエッジＰＣ１００ｃとが直接通信するための機能としては、例えば、ＮＦＣ（Ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）やＢｌｕｅｔｏｏｔｈ（商標）などの近距離無線通信機能がある。しかし、安価なスマートフォンや携帯電話端末などの電子機器には、カメラ部を備えていても、ＮＦＣやＢｌｕｅｔｏｏｔｈの機能は有していないものが存在する。本実施形態の販売システムでは、そのようなＮＦＣやＢｌｕｅｔｏｏｔｈの機能を有していない電子機器でも購入者端末１００ａとして用いて買い物を行うことができる。すなわち、近距離無線通信機能の無い電子機器のユーザーの購入機会を妨げ、近距離無線通信機能を有する電子機器を所有するユーザーだけに購入者が限られてしまうということを防止することができる。言い換えれば、より幅広いユーザーが購入することが可能であり、販売機会の増大に寄与する。すなわち、より多くのユーザーが利用可能な販売システムを提供することができる。
Further, in the sales system of this embodiment, as is clear from the sequence diagram of FIG. 7, there is no need for direct communication between the purchaser terminal 100a and the
また、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がないため、エッジＰＣ１００ｃと接続された近距離無線通信の送受信機などの機器を商品棚１３０の近辺に設置する必要がない。従って設置スペースの増加や設置コストの増大も抑えることができる。
In addition, since there is no need for direct communication between the purchaser terminal 100a and the
また、購入者端末１００ａとエッジＰＣ１００ｃとの通信を行おうとする場合、ＮＦＣで接続したのちにＢｌｕｅｔｏｏｔｈにハンドオーバーするといった通信の仕方が考えられる。この場合、ＮＦＣは有効通信距離が１０ｃｍ程度と短く、ＮＦＣの送受信機をユーザーが手の届くところに設置しないといけないという設置場所の制約が発生する。また、Ｂｌｕｅｔｏｏｔｈを用いる場合、購入者端末１００ａで他の機器とＢｌｕｅｔｏｏｔｈ接続を行っていた場合に、元の接続を一度切断しなければならない場合があるという不利益がある。例えば、Ｂｌｕｅｔｏｏｔｈイヤホンで音楽を聴いたまま購入を行えないといったことが発生する。本実施形態の販売システムであれば、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がないためこのような課題も解決される。
Further, when communication between the purchaser terminal 100a and the
また、本実施形態の販売システムでは、購入者１２０が棚１３０に載置された商品を購入する際にエッジＰＣ１００ｃに対して何等か操作や入力をする必要がない。従って、棚１３０に操作や入力を受け付けるための装置を設置する必要がなく、販売スペースの増大や設置コストの増加を抑えることができる。また、決済も購入者端末１００ａとサーバ装置１００ｂとの処理によって実行されるため、現金授受のための装置や、クレジットカードの読み取り装置といった決済のための装置を設置する必要が無く、設置スペース、設置コストを低減できる。
In addition, in the sales system of this embodiment, when the purchaser 120 purchases a product placed on the shelf 130, there is no need to perform any operation or input to the
なお、上述の実施形態においては、商品の陳列場所として商品棚１３０を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。 In the above-described embodiment, the product shelf 130 is used as an example of the product display location, but the display location is not limited to this, and any place other than the shelf can be used as long as the purchaser can take out the product. There may be.
また、上述の実施形態は、商品の販売の代わりに商品の在庫補充などの場合にも適用可能である。すなわち、本実施形態は、販売システムや在庫管理システムを含む商品管理システムに適用可能である。在庫管理の場合、上述の購入者１２０を在庫補充者に置き換え、商品を戻したことの検知を在庫を補充したことの検知に置き換え、商品を取り出したことの検知を商品の陳列を取りやめるために商品を取り出したことの検知に置き換えれば適用可能である。すなわち、在庫補充者が所有する端末でＱＲコード１６０を読み取ることで在庫補充者が棚１３０にチェックインする。チェックインした状態で在庫補充や陳列している商品の交換等を行えるようにして、チェックインしていない状態での作業はエラーとして上述した各種通知を行うようにしてもよい。
Also, the above-described embodiments can be applied to cases such as product inventory replenishment instead of product sales. That is, this embodiment is applicable to product management systems including sales systems and inventory management systems. In the case of inventory management, the above-mentioned purchaser 120 is replaced with an inventory replenisher, the detection of product return is replaced with the detection of inventory replenishment, and the detection of product removal is used to cancel the display of products. It can be applied by replacing it with the detection of taking out the product. That is, the inventory replenisher checks in the shelf 130 by reading the
なお、ＣＰＵ１０１ａ、１０１ｂ、１０１ｃが行うものとして説明した上述の各種制御は、それぞれ１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
Note that the various controls described above that are performed by the
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である Moreover, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention can be applied to the present invention. included. Furthermore, each embodiment described above merely shows one embodiment of the present invention, and it is also possible to combine each embodiment as appropriate.
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の１つ以上のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and one or more computers (or CPU, MPU, etc.) of the system or device execute the program. This is the process of reading and executing the code. In this case, the program and the storage medium storing the program constitute the present invention.
１００ａ：購入者端末 １００ｂ：サーバ装置 １００ｃ：エッジＰＣ １３０：棚
100a: purchaser terminal 100b:
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。
In order to solve the above problems, the information processing system of the present invention includes:
An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
identifying means for identifying the product based on the detected content received from the terminal device;
and second control means for transmitting information on the product specified by the specifying means to an electronic device and controlling the electronic device to display the information on the product. .
Claims (14)
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする情報処理システム。 An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
and second control means for transmitting product information based on the detected content received from the terminal device to an electronic device and controlling such that the product information is displayed on the electronic device. processing system.
前記端末装置の前記第１の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項３に記載の情報処理システム。 The second control means of the information processing device controls to transmit a notification to the effect that the association processing has been performed to the terminal device corresponding to the display location information when the association processing is performed,
The first control means of the terminal device controls to determine whether or not the display location is associated with the user information based on the notification received from the information processing device. 4. The information processing system according to claim 3.
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項４に記載の情報処理システム。 The first control means of the terminal device,
when a phenomenon in which the product is taken out from the display place in the associated state is detected, the content of the detection is transmitted to the information processing device;
5. The information processing system according to claim 4, wherein control is performed so that an error notification is output when a phenomenon in which the product is taken out from the display place in a state in which the product is not in the associated state is detected.
前記情報処理装置の前記第２の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。 The electronic device further has reception means for receiving a payment instruction for purchasing the product represented by the product information received from the information processing device,
When the second control means of the information processing apparatus receives from the electronic device that a payment instruction for purchasing the product indicated by the product information received by the electronic device has been received from the electronic device, 10. The information processing system according to any one of claims 1 to 9, wherein control is performed so that payment is made based on the payment instruction.
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御ステップと
を有することを特徴とする情報処理システムの制御方法。 A control method for an information processing system including an information processing device and a terminal device,
The terminal device
a detection step for detecting a phenomenon in which the product is taken out from the display;
a first control step of controlling to transmit the detection content in the detection step to the information processing device;
has
The information processing device is
and a second control step of transmitting product information based on the detected content received from the terminal device to an electronic device and controlling the electronic device to display the product information. How to control the processing system.
A program for causing one or more computers to function as each means of the information processing system according to any one of claims 1 to 12.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021144452A JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021144452A JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023037712A true JP2023037712A (en) | 2023-03-16 |
| JP7290842B2 JP7290842B2 (en) | 2023-06-14 |
Family
ID=85514204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021144452A Active JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7290842B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335409A (en) * | 2019-06-14 | 2019-10-15 | 合肥美的智能科技有限公司 | Retail units and its control method and machine readable storage medium |
| JPWO2019181499A1 (en) * | 2018-03-20 | 2021-03-11 | 日本電気株式会社 | Store management device and store management method |
| JP2021093649A (en) * | 2019-12-11 | 2021-06-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7108862B2 (en) | 2018-04-05 | 2022-07-29 | パナソニックＩｐマネジメント株式会社 | ROLL PRESS DEVICE AND METHOD FOR PRODUCING POWDER MOLDED PRODUCT |
-
2021
- 2021-09-06 JP JP2021144452A patent/JP7290842B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2019181499A1 (en) * | 2018-03-20 | 2021-03-11 | 日本電気株式会社 | Store management device and store management method |
| CN110335409A (en) * | 2019-06-14 | 2019-10-15 | 合肥美的智能科技有限公司 | Retail units and its control method and machine readable storage medium |
| JP2021093649A (en) * | 2019-12-11 | 2021-06-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
Non-Patent Citations (1)
| Title |
|---|
| BRANDON LEWIS, WITH EDGE AI, TOMORROW’S AUTONOMOUS STORE IS HERE TODAY [ONLINE], JPN6022054166, 7 February 2020 (2020-02-07), ISSN: 0005006957 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7290842B2 (en) | 2023-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6303160B1 (en) | Purchase product settlement support system | |
| JP7130355B2 (en) | Check device and check program | |
| JP6261197B2 (en) | Display control apparatus, display control method, and program | |
| JPWO2019181499A1 (en) | Store management device and store management method | |
| JP2021536619A (en) | Scan omission identification methods and devices, self-service cache register terminals and systems | |
| WO2021125357A1 (en) | Information processing system | |
| CN115516533A (en) | Checkout payment device and checkout payment system | |
| US12051093B2 (en) | Shopping support system and shopping support method | |
| JP6687199B2 (en) | Product shelf position registration program and information processing device | |
| JPWO2014020794A1 (en) | Information processing apparatus and screen setting method | |
| JP2012108805A (en) | Try-on system | |
| CN115516532B (en) | Checkout payment device and checkout payment system | |
| US11651416B2 (en) | Goods purchase analysis assist system | |
| JP5412457B2 (en) | Product purchasing device and program | |
| JP7290842B2 (en) | Information processing system, information processing system control method, and program | |
| JP2023037714A (en) | Information processing apparatus, method for controlling information processing apparatus, and program | |
| JP2023037716A (en) | Program, electronic apparatus control method, and electronic apparatus | |
| WO2022158494A1 (en) | Display device and display method | |
| JP2011227643A (en) | Cash register system, method for confirming total amount of commodities to be purchased, mobile phone, and program | |
| JP7417119B2 (en) | Information processing systems, information processing system control methods, electronic devices, programs | |
| US20170083891A1 (en) | Information processing apparatus and information processing method | |
| JP6798529B2 (en) | Information processing equipment, information processing systems, sales promotion methods and programs | |
| JP2024078756A (en) | Information processing system, method of controlling information processing system, electronic device, and program | |
| US20230259914A1 (en) | Display processing apparatus, transaction support apparatus, and program | |
| JP7435658B2 (en) | Information processing equipment, information processing system, sales promotion method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7290842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |