JP2022553542A - 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法 - Google Patents

実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法 Download PDF

Info

Publication number
JP2022553542A
JP2022553542A JP2022523938A JP2022523938A JP2022553542A JP 2022553542 A JP2022553542 A JP 2022553542A JP 2022523938 A JP2022523938 A JP 2022523938A JP 2022523938 A JP2022523938 A JP 2022523938A JP 2022553542 A JP2022553542 A JP 2022553542A
Authority
JP
Japan
Prior art keywords
virtual
physical
rack
item
shopping cart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022523938A
Other languages
English (en)
Other versions
JP7440627B2 (ja
JPWO2021081319A5 (ja
Inventor
アリ ミルザ,シャーメール
バーラスワージ クリシュナムルティ,サイレシュ
ギア グエン,トロン
ヴァカチャーラ,サラス
マギー,マシュー,レイモンド
ベリー,ジョシュア,イー.
クルヴァ,ラヴィ,クマール
モハン,ランガナサン
スリ,マニンデール,シン
ホッジ,ジョナサン,クリストファー
フィリップス,フランクリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7 Eleven Inc
Original Assignee
7 Eleven Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/663,589 external-priority patent/US10861085B1/en
Priority claimed from US16/663,564 external-priority patent/US10607080B1/en
Priority claimed from US16/664,470 external-priority patent/US10922555B1/en
Priority claimed from US16/664,529 external-priority patent/US11798065B2/en
Priority claimed from US16/664,490 external-priority patent/US11100717B2/en
Application filed by 7 Eleven Inc filed Critical 7 Eleven Inc
Publication of JP2022553542A publication Critical patent/JP2022553542A/ja
Publication of JPWO2021081319A5 publication Critical patent/JPWO2021081319A5/ja
Application granted granted Critical
Publication of JP7440627B2 publication Critical patent/JP7440627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00Alarm indicators, e.g. bells

Landscapes

  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

装置はディスプレイ、インターフェース、及びプロセッサを含む。インターフェースは、実店舗に置かれて第1物理ラックに向けられているカメラから映像を受信する。カメラは、ショッピングセッション中のラックの映像を捕捉する。プロセッサは、第1物理ラックをエミュレートして、第1及び第2仮想シェルフを含む第1仮想ラックを表示する。仮想シェルフは、物理ラックにある物理アイテムのグラフィカル表現を含む仮想アイテムを含む。プロセッサは、人が第1物理ラックと関係を持っていることを含むイベントを表すラック映像を表示する。プロセッサはまた、仮想ショッピングカートを表示する。プロセッサは、第1仮想アイテムを特定する、イベントに関連した情報を受信する。ラック映像は、人が第1物理ラックと関係を持っているときに第1物理アイテムを選択したことを表す。プロセッサは、次いで、第1仮想アイテムを仮想ショッピングカートに格納する。

Description

本開示は、遠隔監視技術に概して関係があり、より具体的には、実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法に関係がある。
実店舗での従来のショッピングセッション中に、客は、店舗内にある棚からアイテムを選択し、それから、それらのアイテムをレジ係に提示する。レジ係は、アイテムの勘定書を出し、客から支払いを受け取る。店舗内にあるいずれのカメラも、通常は、セキュリティ目的のために存在する。
従来の店舗でのショッピングセッションには、客及び店舗オーナーの両方にとってのいくつかの効率の悪さがつきまとう場合がある。例えば、店舗内の忙しい時間帯に、客は、彼/彼女が選択したアイテムの代金をレジ係に支払うために、相当の時間を列で待つことに費やす場合がある。待つことに費やされた時間は、顧客がアイテムを選択するのに費やした総時間量を超えることさえある。これは、客のフラストレーションを生じさせる可能性があり、潜在的には、リピート客ビジネスの喪失に繋がりかねない。他の例として、従来の店舗は、通常、店舗内のレジ係の役を務める1人以上の従業員の存在に依存する。店舗にさもなければ誰もいない場合でさえ、万が一にも顧客が買い物をするために店舗に入ることが起こることに備えて、そのような従業員はそれでもなお存在する。結果として、ピークのビジネス時間外では、店舗内のレジ係の時間の大部分が無駄に過ごされている可能性がある。
本開示は、上記の技術的課題の1つ以上に対処する仮想店舗ツールを企図している。ツールは、実店舗をエミュレートするよう構成される仮想店舗を生成する。ツールはまた、実店舗でショッピングセッション中の客を追跡するために、実店舗内にあるカメラから受け取ったカメラフィードから映像の組を生成する。特定の実施形態では、ツールは、次いで、実店舗において客によって選択されたアイテムをエミュレートするよう構成されるアイテムの組を格納する仮想ショッピングカートを生成するために、仮想店舗と、実店舗でのショッピングセッションの映像とを使用する。それに応じて、ツールは、仮想ショッピングカートを使用して、客に彼/彼女の購入品の料金を請求することができる。いくつかの実施形態で、ツールはまた、実店舗にあるセンサから受け取られた入力に基づき、実店舗においてショッピングセッション中に客によって選択されたアイテムを決定するよう訓練されたアルゴリズムとともに使用されてもよい。そのような実施形態では、ツールは、アルゴリズムによってなされた決定を検証するために、仮想店舗と、実店舗でのショッピングセッションの映像とを使用する。ツールの特定の実施形態については後述する。
一実施形態に従って、装置は、インターフェースと、ディスプレイと、メモリと、メモリ及びディスプレイへ通信可能に結合されるハードウェアプロセッサとを含む。インターフェースは、第1ビデオフィードを受け取る。第1ビデオフィードは、実店舗に置かれている第1カメラに対応する第1カメラフィードと、実店舗にある第2カメラに対応する第2カメラフィードとを含む。第1カメラは、実店舗内の第1位置に向けられている。第2カメラは、実店舗内の第2位置に向けられている。ハードウェアプロセッサは、第1ビデオセグメントをメモリに保存する。第1ビデオセグメントは、第1人物に割り当てられ、開始タイムスタンプと終了タイムスタンプとの間の時間インターバル中に起こる実店舗における第1人物のショッピングセッションの部分を捕捉する。第1ビデオセグメントは、開始タイムスタンプから終了タイムスタンプまでの第1カメラフィードの記録に対応する第1カメラフィードセグメントと、開始タイムスタンプから終了タイムスタンプまでの第2カメラフィードの記録に対応する第2カメラフィードセグメントとを含む。プロセッサはまた、第1スライダバーを第1ビデオセグメントに割り当てる。
第1カメラフィードセグメント及び第2カメラフィードセグメントの再生は同期し、第1スライダバーは、第1カメラフィードセグメント及び第2カメラフィードセグメントの再生進行を制御する。プロセッサは更に、ディスプレイの第1領域において第1カメラフィードセグメント及び第1スライダの第1コピーを表示する。プロセッサは更に、ディスプレイの第2領域において第2カメラフィードセグメント及び第1スライダの第2コピーを表示する。プロセッサはまた、第1カメラフィードセグメント及び第2カメラフィードセグメントの再生進行を調整ために、第1スライダの第1コピー及び第1スライダの第2コピーのうちの少なくとも一方から命令を受け取る。命令を受け取ることに応答して、プロセッサは、第1カメラフィードセグメント及び第2カメラフィードセグメントの再生進行を調整する。
他の実施形態に従って、装置は、ディスプレイと、インターフェースと、ディスプレイへ通信可能に結合されるハードウェアプロセッサとを含む。インターフェースは、実店舗に置かれているラックカメラからラックカメラフィードを受け取る。ラックカメラは、実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられている。ハードウェアプロセッサは、ディスプレイの第1領域において、仮想店舗の仮想レイアウトを表示する。仮想レイアウトは、実店舗の物理レイアウトをエミュレートするよう構成される。仮想レイアウトは、第1物理ラックに割り当てられている第1仮想ラックと、第2物理ラックに割り当てられている第2仮想ラックとを含む。ここで、仮想レイアウトにおける第1仮想ラック及び第2仮想ラックの配置は、実店舗における第1物理ラック及び第2物理ラックの配置をエミュレートするよう構成される。
プロセッサはまた、第1物理ラックに関連したイベントの指示を受け取る。イベントは、実店舗にいる人が第1物理ラックと関係を持っていることを含む。第1物理ラックに関連したイベントの指示を受け取ることに応答して、プロセッサは、ディスプレイの第2領域において、第1仮想ラックを表示する。第1仮想ラックは、第1仮想シェルフ及び第2仮想シェルフを含む。第1仮想シェルフは、第1仮想アイテムを含み、第2仮想シェルフは、第2仮想アイテムを含む。第1仮想アイテムは、第1物理ラックの第1物理シェルフにある第1物理アイテムのグラフィカル表現を含み、第2仮想アイテムは、第1物理ラックの第2物理シェルフにある第2物理アイテムのグラフィカル表現を含む。プロセッサは更に、ディスプレイの第3領域において、開始タイムスタンプから終了タイムスタンプまでのラックカメラフィードの記録に対応するラックビデオセグメントを表示する。ラックビデオセグメントは、第1物理ラックに関連したイベントを表す。
他の実施形態に従って、装置は、ディスプレイと、インターフェースと、ディスプレイへ通信可能に結合されるハードウェアプロセッサとを含む。インターフェースは、実店舗に置かれているラックカメラからラックビデオを受け取る。ラックカメラは、実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられている。ラックカメラは、実店舗における人のショッピングセッション中に第1物理ラックの映像を捕捉する。プロセッサは、ディスプレイの第1領域において、第1物理ラックをエミュレートする第1仮想ラックを表示する。第1仮想ラックは、第1仮想シェルフ及び第2仮想シェルフを含む。第1仮想シェルフは、第1仮想アイテムを含み、第2仮想シェルフは、第2仮想アイテムを含む。第1仮想アイテムは、第1物理ラックの第1物理シェルフにある第1物理アイテムのグラフィカル表現を含み、第2仮想アイテムは、第1物理ラックの第2物理シェルフにある第2物理アイテムのグラフィカル表現を含む。
プロセッサはまた、ディスプレイの第2領域において、ラック映像を表示する。ラック映像は、人が第1物理ラックと関係を持っていることを含むイベントを表す。プロセッサは、更に、ディスプレイの第3領域において、仮想ショッピングカートを表示する。プロセッサは、更に、イベントに関連した情報を受け取る。情報は、第1仮想アイテムを特定し、ラック映像は、人が第1物理ラックと関係を持っているときに第1物理アイテムを選択したことを表す。イベントに関連した情報を受け取ることに応答して、プロセッサは、第1仮想アイテムを仮想ショッピングカートに格納する。
他の実施形態に従って、実店舗の物理レイアウトをエミュレートするように仮想店舗の仮想レイアウトを生成するよう構成される装置は、メモリと、メモリへ通信可能に結合されるハードウェアプロセッサとを含む。ハードウェアプロセッサは、実店舗に置かれている第1物理ラックに関連した第1物理位置及び第1物理方向を受け取る。第1物理位置及び第1物理方向を受け取ることに応答して、プロセッサは、第1仮想位置において第1仮想方向により第1仮想ラックを仮想レイアウトに置く。仮想レイアウトでの第1仮想ラックの第1仮想位置は、物理レイアウトでの第1物理ラックの第1物理位置に相当し、仮想レイアウトでの第1仮想ラックの第1仮想方向は、物理レイアウトでの第1物理ラックの第1物理方向に相当する。プロセッサはまた、第1物理ラックの第1物理シェルフにある第1物理アイテムに関連した第1仮想アイテムを受け取る。第1仮想アイテムを受け取ることに応答して、プロセッサは、第1仮想アイテムを第1仮想ラックの第1仮想シェルフに置く。第1仮想ラックの第1仮想シェルフは、第1物理ラックの第1物理シェルフに相当する。
プロセッサは、更に、第1物理ラックの第2物理シェルフにある第2物理アイテムに関連した第2仮想アイテムを受け取る。第2仮想アイテムを受け取ることに応答して、プロセッサは、第2仮想アイテムを第1仮想ラックの第2仮想シェルフに置く。第1仮想ラックの第2仮想シェルフは、第1物理ラックの第2物理シェルフに相当する。プロセッサは、更に、実店舗に置かれている第1ラックカメラを第1仮想ラックに割り当てる。第1ラックカメラは、第1物理ラックを含む映像を捕捉する。プロセッサはまた、仮想レイアウトをメモリに保存する。
他の実施形態に従って、装置は、ハードウェアプロセッサを含む。プロセッサは、第1のアイテムの組を含むアルゴリズム的ショッピングカートを受け取る。第1のアイテムの組は、実店舗内に設置されているセンサから受け取られた入力の組に基づいて、実店舗においてショッピングセッション中に第1人物によって選択されたとアルゴリズムによって決定される。プロセッサはまた、ショッピングセッションに関連した第2のアイテムの組を含む仮想ショッピングカートを受け取る。ショッピングセッションの映像は、実店舗に置かれているカメラの組によって捕捉されたものである。映像は、人が第2のアイテムの組を選択することを表す。プロセッサは、更に、アルゴリズム的ショッピングカートを仮想ショッピングカートと比較する。アルゴリズム的ショッピングカートを仮想ショッピングカートと比較することに応答して、プロセッサは、アルゴリズム的ショッピングカートと仮想ショッピングカートとの間に不一致が存在することを決定する。プロセッサは、更に、入力の組の中から不一致に関連したサブセットを決定する。プロセッサはまた、メタデータをサブセットに付加する。メタデータは不一致を説明するものである。プロセッサは、更に、サブセットを使用して、アルゴリズムを訓練する。
特定の実施形態は、1つ以上の技術的利点をもたらす。例えば、実施形態は、互いに同期されており、客のショッピングセッションを捕捉するよう構成されている店舗の複数のカメラビューを一度に提示することによって、店舗内の客の監視映像を確認するときに費やされる処理リソースを削減する。他の例として、実施形態は、自動化技術及び遠隔監視技術の使用を通じて、ショッピングセッションの効率を向上させる。更なる例として、実施形態は、実店舗において客を追跡するよう構成されている機械学習追跡アルゴリズムの独立した検証を提供する。本開示で記載されるシステムは、店に設置されているセンサからの入力が店内で起きるイベントを監視及び追跡するために使用され得る店などの物理的な場所のための遠隔監視システムの実際の適用に特に組み込まれ得る。
特定の実施形態は、上記の技術的利点のどれも含まなくても、あるいは、その一部又は全部を含んでもよい。1つ以上の他の技術的利点は、本願に含まれている図面、明細書、及び特許請求の範囲から当業者に容易に明らかだろう。
本開示のより完全な理解のために、これより、添付の図面とともに、以下の説明が参照される。
実店舗と仮想店舗との間の比較を示す。 実店舗と仮想店舗との間の比較を示す。 実店舗の物理レイアウトと仮想店舗の仮想レイアウトとの間の比較を示す。 実店舗の物理レイアウトと仮想店舗の仮想レイアウトとの間の比較を示す。 実店舗における物理ラックと仮想店舗における仮想ラックとの間の比較を示す。 実店舗における物理ラックと仮想店舗における仮想ラックとの間の比較を示す。 本開示に従うシステムの例を表す。 図4に表されているシステムで使用される店舗の領域を捕捉するよう構成されるカメラの実店舗での位置の例を表す。 図4に表されているシステムのレイアウトカメラによって捕捉される実店舗の領域の例を表す。 図4に表されているシステムの仮想店舗ツールのビデオプロセッサコンポーネントを表す。 図4に表されているシステムの仮想店舗ツールが、図4に表されているシステムのレイアウトカメラ及びラックカメラに関連したカメラフィードセグメントを表示する様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、図4に表されているシステムのレイアウトカメラ及びラックカメラに関連したカメラフィードセグメントを表示する様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、図4に表されているシステムのレイアウトカメラ及びラックカメラに関連したカメラフィードセグメントを表示する様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、図4に表されているシステムのレイアウトカメラ及びラックカメラに関連したカメラフィードセグメントを生成及び表示するプロセスを表すフローチャートを示す。 図4に表されているシステムの仮想店舗ツールが、実店舗で起こるショッピングセッションを仮想的にエミュレートし得る様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、実店舗で起こるショッピングセッションを仮想的にエミュレートし得る様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、実店舗で起こるショッピングセッションを仮想的にエミュレートし得る様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、実店舗で起こるショッピングセッションを仮想的にエミュレートし得る様態を表す例を示す。 図4に表されているシステムの仮想店舗ツールが、実店舗で起こるショッピングセッションを仮想的にエミュレートし得る様態を表すフローチャートを示す。 図4に表されているシステムの仮想店舗ツールによって生成されるグラフィカルユーザインターフェースが、実店舗の物理レイアウトをエミュレートするよう構成される仮想レイアウトを生成するために使用され得る実施形態の例を表す。 図4に表されているシステムの仮想店舗ツールによって生成されるグラフィカルユーザインターフェースが、実店舗の物理レイアウトをエミュレートするよう構成される仮想レイアウトを生成するために使用され得る実施形態の例を表す。 図4に表されているシステムの仮想店舗ツールが、実店舗の物理レイアウトをエミュレートするよう構成される仮想レイアウトを生成し得る様態を表すフローチャートを示す。 実店舗においてショッピングセッション中に客によって選択されたアイテムを決定するよう構成されるアルゴリズムへ入力を供給するために使用され得るセンサの例を示す。 実店舗においてショッピングセッション中に客によって選択されたアイテムを決定するよう構成されるアルゴリズムへ入力を供給するために使用され得るセンサの例を示す。 物理シェルフ及びその対応する仮想シェルフのゾーンを画定するための実店舗の物理シェルフへ結合されたセンサの使用の例を表す。 物理シェルフ及びその対応する仮想シェルフのゾーンを画定するための実店舗の物理シェルフへ結合されたセンサの使用の例を表す。 図4に表されているシステムの仮想店舗ツールの解消コンポーネントを表す。 図4に表されているシステムの仮想店舗ツールの機械学習コンポーネントを表す。 図4に表されているシステムの仮想店舗ツールが、実店舗においてショッピングセッション中に客によって選択されたアイテムを決定するよう構成されるアルゴリズムへフィードバックを供給し得る様態を表すフローチャートを示す。
本開示の実施形態及びその利点は、図面の図1から16を参照することによって理解され得る。同じ番号は、図面の同じ又は対応する部分に対して使用される。追加情報は、発明の名称が「Scalable Position Tracking System For Tracking Position In Large Spaces」である米国特許出願(代理人整理番号090278.0176)及び発明の名称が「Topview Object Tracking Using a Sensor Array」である米国特許出願(代理人整理番号090278.0180)で開示されている。これらの米国特許出願は、あたかも完全に複製されたかのように、参照により本願に援用される。
[I.仮想エミュレーションの概論]
本開示は、実店舗をエミュレートするよう構成される仮想店舗を生成し、実店舗内で行われるショッピングセッションの映像とともに、仮想店舗を使用して、物理ショッピングセッションを仮想的にエミュレートすることを概して対象とする。本開示は、実店舗の仮想エミュレーションについて記載するが、本開示は、如何なるタイプの物理空間(例えば、倉庫、保管センター、アミューズメントパーク、空港、オフィス建物、など)も、本開示で記載されるツールを用いて、仮想的にエミュレートされ得ると考えている。例えば、実店舗は、コンビニエンスストア又はグローサリーストアであってよい。本開示はまた、実店舗が物理的な建物ではなく、買い物客が買い物をし得る物理空間又は環境であってよいと考えている。例えば、実店舗は、空港のグラブ・アンド・ゴー(grab and go)パントリ、オフィス建物のキオスク、又は公園の屋外マーケット、などであってもよい。
図1Aに表されるように、実店舗(physical store)100は、ブリック・アンド・モルタル(brick and mortar)店舗、つまり、物理建物にある店舗である。客105(モバイル機器を持ち運んでいる可能性がある)は、アイテムを購入するために実店舗100に入る。他方で、仮想店舗110は、図1Bに表されているように、ユーザ120に属するコンピュータ又は他のデバイス115に表示されている、実店舗のコンピュータ化された表現である。本開示は、ユーザ120が仮想店舗110を使用して、実店舗100での客105のショッピングセッションをエミュレートし得ることを企図する。仮想店舗110は、デバイス115においてローカルで生成されても、あるいは、遠隔で生成されて、ネットワークを介してデバイス115へ伝送されてもよい。
仮想店舗110は、いくつかの異なる方法で実店舗100をエミュレートするよう構成されてよい。例えば、特定の実施形態では、図2A及び2Bに表されているように、仮想店舗110の仮想レイアウト205は、実店舗100の物理レイアウト200をエミュレートするよう構成される。特に、仮想陳列ラック230a、230b、230c、及び230dの形状、位置、及び向きは、物理陳列ラック210a、210b、210c、及び210dの形状、位置、及び向きをエミュレートするよう構成される。例えば、図2Aに表されている例では、物理陳列ラック210a及び210bは、実店舗100の物理レイアウト200の後壁235aに沿って置かれている。それに応じて、仮想陳列ラック230a及び230bは、物理陳列ラック210a及び210bの位置及び向きをエミュレートするように、仮想店舗110の仮想レイアウト205の後壁240aに沿って置かれている。同様に、仮想陳列ラック230dは、側壁235bに沿った物理陳列ラック210dの位置及び向きをエミュレートするように、仮想レイアウト205の側壁240bに沿って置かれ、仮想陳列ラック230cは、物理陳列ラック210cの位置及び向きをエミュレートするように、仮想レイアウト205の中央に置かれている。
他の例として、いくつかの実施形態で、仮想陳列ラック230a、230b、230c、及び230dの中身は、物理陳列ラック210a、210b、210c、及び210dの中身をエミュレートするよう構成される。例えば、特定の実施形態では、仮想陳列ラック230a、230b、230c、及び230dは、夫々、アイテムのリストを割り当てられ、アイテムのリストは、物理ラック210a、210b、210c、及び210dに夫々保管されているアイテムを含む。他の実施形態では、各仮想陳列ラックは、仮想シェルフの組を割り当てられ、仮想陳列ラックでの仮想シェルフの数及び配置は、対応する物理陳列ラックでの物理シェルフの数及び配置をエミュレートするよう構成される。次いで、仮想シェルフの組の中の各仮想シェルフは、対応する物理シェルフに保管されている物理アイテムの組をエミュレートするよう構成される仮想アイテムの組を保持する。ここで、仮想アイテムは、仮想シェルフでの外観及び/又は位置付けに関して物理アイテムをエミュレートするよう構成されてもよい。
具体例として、図3A及び3Bは、一実施形態における、物理陳列ラック210aと仮想陳列ラック230aとの間の比較を示す。図3Aから分かるように、物理陳列ラック210aは2つの物理シェルフ、第1物理シェルフ305a及び第2物理シェルフ305bを含む。それに応じて、物理陳列ラック210aをエミュレートするように、仮想陳列ラック230aも2つの棚、第1仮想シェルフ301a及び第2仮想シェルフ301bを含む。それに応じて、仮想シェルフ310a及び310bの夫々は、物理シェルフ305a及び305bのうちの対応する物理シェルフに保管されている物理アイテムをエミュレートするよう構成される仮想アイテムの組を含む。例えば、仮想シェルフ310aは、物理シェルフ305aの第1物理ゾーン325aにおける第1物理アイテム315a、物理シェルフ305aの第2物理ゾーン325bにおける第2物理アイテム315b、及び物理シェルフ305aの第3物理ゾーン325cにおける第3物理アイテム315cの位置付けをエミュレートするように位置付けられている、仮想シェルフ310aの第1仮想ゾーン330aにある第1仮想アイテム320aと、仮想シェルフ310aの第2仮想ゾーン330bにある第2仮想アイテム320bと、仮想シェルフ310aの第3仮想ゾーン330cにある第3仮想アイテム320cとを含む。同様に、仮想シェルフ310bは、物理シェルフ305aの第4物理ゾーン325d、第5物理ゾーン325e、及び第6物理ゾーン325fにおける第4物理アイテム315d、第5物理アイテム315e、及び第6物理アイテム315fの位置付けをエミュレートするように、仮想シェルフ310aの第4仮想ゾーン330d、第5仮想ゾーン330e、及び第6仮想ゾーン330fにおいて夫々位置付けられている第4仮想アイテム320d、第5仮想アイテム320e、及び第6仮想アイテム320fを含む。更に、仮想アイテム320aないし320fの夫々は、対応する物理アイテム315a、315b、315c、315d、315e、又は315fの外観をエミュレートするよう構成される。例えば、各仮想アイテムは、対応する物理アイテムの2次元のグラフィカル表現に対応してよい。このようにして、仮想アイテムは、その現実世界の物理的対照物の外観に基づいて容易に特定され得る。
[II.システム概要]
図4は、仮想店舗ツール405、デバイス115、ディスプレイ410、ネットワーク430a、ネットワーク430b、レイアウトカメラ490、及びラックカメラ495を含む例示的なシステム400を表す。特定の実施形態では、システム400は、更に、外部システム485及びセンサ498を含む。一般に、仮想店舗ツール405は、実店舗100をエミュレートする仮想店舗110を生成するよう構成される。特定の実施形態では、仮想店舗ツール405は、実店舗100に置かれているレイアウトカメラ490及び/又はラックカメラ495から受け取られた、ショッピングセッションを追跡する映像に部分的に基づいて、実店舗100において人105によって行われるショッピングセッションの領収書を生成するために、仮想店舗110を使用する。いくつかの実施形態で、仮想店舗ツール405は、仮想店舗110と、レイアウトカメラ490及びラックカメラ495から受け取られた映像とを使用して、実店舗100においてショッピングセッション中に人105によって選択されたアイテムについてアルゴリズム488によってなされた決定を妥当性確認する。
デバイス115は、ネットワーク430aを介してシステム400のコンポーネントと通信する任意の適切なデバイスを含む。例えば、デバイス115は、数ある中でもとりわけ、電話機、モバイル電話機、コンピュータ、ラップトップ、ワイヤレス若しくはセルラー電話機、タブレット、サーバ、IoTデバイス、及び/又は自動アシスタントであってよい。本開示は、ネットワーク430aを介して通信を送信及び受信する任意の適切なデバイスであるデバイス115を考えている。デバイス115はまた、ユーザ120が使用可能なマイク、キーパッド、又は他の適切な端末装置のようなユーザインターフェースを含んでもよい。いくつかの実施形態で、デバイス115のプロセッサによって実行されるアプリケーションが、本明細書で記載される機能を実行してもよい。
デバイス115は、ディスプレイ410を含むか、又はそれへ結合されてよい。ディスプレイ410は、仮想店舗ツール405から受け取られた情報を表示するためにデバイス115によって使用されるスクリーンである。特定の実施形態では、ディスプレイ410は、ラップトップコンピュータで使用される標準のディスプレイである。特定の他の実施形態では、ディスプレイ410は、ラップトップ又はデスクトップコンピュータへ接続される外付けのディスプレイデバイスである。更なる実施形態では、ディスプレイ410は、典型的なスマートフォン又はタブレットで見受けられる標準のタッチスクリーン液晶ディスプレイである。
図4に表されるように、特定の実施形態では、ディスプレイ410は、カメラフィードセグメント415aないし415f、仮想レイアウト205、仮想ラック230、仮想ショッピングカート420、及び/又はラックカメラフィードセグメント425を提示し得る。カメラフィードセグメント415aないし415fは、実店舗100に置かれているレイアウトカメラ490から仮想店舗ツール405によって受け取られたカメラフィードの映像記録であり、実店舗100においてショッピングセッションを行う人105に割り当てられている。仮想店舗ツール405がカメラフィードセグメント415aないし415fを生成し、カメラフィードセグメント415aないし415fをディスプレイ410で表示する方法は、図5~8の説明において、以下で更に詳細に記載される。
仮想レイアウト205は、仮想店舗ツール405がカメラフィードセグメント415aないし415fに関連したカメラフィードを受け取った特定の実店舗100に割り当てられ、実店舗の物理レイアウト200をエミュレートするよう構成される。仮想店舗ツール405が仮想レイアウト205を生成する方法は、図11及び12の説明において、以下で更に詳細に記載される。
仮想ラック230は、仮想レイアウト205に含まれる仮想ラックのうちの1つに対応し、実店舗100の物理ラック210をエミュレートするよう構成される。それに応じて、仮想ラック230は、仮想アイテム320の組を表示し、各仮想アイテム320は、対応する物理ラック210に保管されている物理アイテム315を表す。仮想ショッピングカート420は、仮想アイテム320を保持するために使用され、それらの仮想アイテム320の夫々は、実店舗100においてショッピングセッション中に人105によって選択された物理アイテム315を表す。ラックカメラフィードセグメント425は、ラックカメラ495から仮想店舗ツール405によって受け取られたカメラフィードの記録である。ラックカメラ495は、仮想ラック230が割り当てられている実店舗100の物理ラック210に向けられている。仮想ショッピングカート420は、ラックカメラフィードセグメント425に部分的に基づいて、仮想ラック230で保管されている仮想アイテム320によってポピュレートされ得る。仮想店舗ツール405がディスプレイ410で表示する仮想ラック230を決定し、次いで、その仮想ラック230を使用して仮想ショッピングカート420をポピュレートする方法は、図9及び10の説明において、以下で更に詳細に記載される。
いくつかの実施形態で、図11A及び11Bに関して、以下で更に詳細に記載されるように、ディスプレイ410は、グラフィカルユーザインターフェースを表示し、グラフィカルユーザインターフェースを通じて、ユーザ120は、実店舗100の物理レイアウト200をエミュレートするよう構成される仮想レイアウト205を生成し得る。
ネットワーク430aは、レイアウトカメラ490、ラックカメラ495、及び外部システム485を仮想店舗ツール405へ接続するネットワーク430bの外にあるシステム400の様々なコンポーネントの間の通信を助ける。本開示は、システム400のそのようなコンポーネント間の通信を助ける任意の適切なネットワークであるネットワーク430aを考えている。ネットワーク430aは、音声、映像、信号、データ、メッセージ、又はそれらの任意の組み合わせを伝送することができる任意の相互接続システムを含んでよい。ネットワーク430aは、公衆交換電話網(public switched telephone network,PSTN)、公衆若しくはプライベートデータ網、ローカルエリアネットワーク(local area network,LAN)、メトロポリタンエリアネットワーク(metropolitan area network,MAN)、ワイドエリアネットワーク(wide area network,WAN)、局所、地域若しくは全世界通信若しくはコンピュータ網(例えば、インターネット)、有線若しくは無線ネットワーク、企業イントラネット、又はコンポーネント間の通信を助けるよう動作する、それらの組み合わせを含む任意の他の適切な通信リンクの全部又は一部を含んでもよい。
ネットワーク430bは、仮想店舗ツール405並びにレイアウトカメラ490、ラックカメラ495、及び外部システム485の様々なコンポーネントの間の通信を助ける。本開示は、仮想店舗ツール405のコンポーネントと、レイアウトカメラ490、ラックカメラ495、及び外部システム485との間の通信を助ける任意の適切なネットワークであるネットワーク430bを考えている。ネットワーク430bは、音声、映像、信号、データ、メッセージ、又はそれらの任意の組み合わせを伝送することができる任意の相互接続システムを含んでよい。ネットワーク430bは、公衆交換電話網(PSTN)、公衆若しくはプライベートデータ網、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、局所、地域若しくは全世界通信若しくはコンピュータ網(例えば、インターネット)、有線若しくは無線ネットワーク、企業イントラネット、又はコンポーネント間の通信を助けるよう動作する、それらの組み合わせを含む任意の他の適切な通信リンクの全部又は一部を含んでもよい。本開示は、ネットワーク430aと同じネットワーク、又はネットワーク430aとは別のネットワークであってよい。
図4から分かるように、仮想店舗ツール405は、プロセッサ435、メモリ440、及びインターフェース445を含む。本開示は、本明細書で記載される仮想店舗ツール405の機能のいずれかを実行するよう構成されているプロセッサ435、メモリ440、及びインターフェース445を考えている。一般に、仮想店舗ツール405は、レイアウト生成部460、映像処理部465、表示制御部470、解消コンポーネント475、及び機械学習モジュール480を実装する。仮想店舗ツール405は、レイアウト生成部460を使用して、実店舗100の物理レイアウト200をエミュレートするよう構成される仮想レイアウト205を生成し得る。仮想店舗ツール405のこの機能は、図11及び12の説明において、以下で更に詳細に記載される。仮想店舗ツール405は、映像処理部465を使用して、レイアウトカメラ490及びラックカメラ495から受け取られたカメラフィードに夫々基づいて、実店舗100においてショッピングセッションを行う人105に割り当てられているカメラフィードセグメント415及びラックカメラフィードセグメント425を生成し得る。仮想店舗ツール405のこの機能は、図5~8の説明において、以下で更に詳細に記載される。仮想店舗ツール405は、表示制御部470を使用して、デバイス115から受け取られた入力に基づいて、ディスプレイ410で表示される情報を調整し得る。仮想店舗ツール405のこの機能は、図7ないし12の説明において、以下で更に詳細に記載される。仮想店舗ツール405は、解消コンポーネント475を使用して、仮想ショッピングカート420の中身を、実店舗100においてショッピングセッション中に客105によって選択されたアイテムを含むとアルゴリズム488によって決定されたアルゴリズム的ショッピングカートの中身と比較し得る。解消コンポーネント475は、仮想ショッピングカート420とアルゴリズム的ショッピングカートとの間の如何なる不一致も特定し、そのような不一致を解消し、客105へ送るための領収書を生成し得る。解消コンポーネント475は、図14の説明において、以下で更に詳細に記載される。最後に、仮想店舗ツール405は、機械学習モジュール480を使用して、仮想ショッピングカート420とアルゴリズム的ショッピングカートとの間の不一致を特定し、不一致に関連したメタデータをアルゴリズム入力に割り当て得る。このメタデータは、次いで、アルゴリズムを再訓練するために使用され得る。機械学習モジュール480は、図15及び16の説明において、以下で更に詳細に記載される。
プロセッサ435は、マイクロプロセッサ、特定用途向け集積回路(application specific integrated circuits,ASIC)、特定用途向け命令セットプロセッサ(application specific instruction set processor,ASIP)、及び/又は状態機械を含むがこれらに限られない任意の電子回路であり、メモリ440へ通信可能に結合し、仮想店舗ツール405の動作を制御する。プロセッサ435は、8ビット、16ビット、32ビット、64ビット、又は任意の他の適切なアーキテクチャであってよい。プロセッサ435は、算術論理演算を実行する算術論理ユニット(arithmetic logic unit,ALU)と、ALUへオペランドを供給し、ALU演算の結果を記憶するプロセッサレジスタと、メモリから命令をフェッチし、ALU、レジスタ、及び他のコンポーネントの協調した動作を指示することによって命令を実行する制御ユニットとを含んでもよい。プロセッサ435は、情報を制御及び処理するよう動作する他のハードウェア及びソフトウェアを含んでもよい。プロセッサ435は、本明細書で記載される機能のいずれかを実行するよう、メモリに記憶されているソフトウェアを実行する。プロセッサ435は、ネットワーク430a、ネットワーク430b、メモリ440、デバイス115、レイアウトカメラ490、ラックカメラ495、及び外部システム485から受け取られた情報を処理することによって、仮想店舗ツール405の動作及び管理を制御する。プロセッサ435は、プログラム可能ロジックデバイス、マイクロコントローラ、マイクロプロセッサ、任意の適切な処理デバイス、又はそれらの任意の適切な組み合わせであってよい。プロセッサ435は、単一の処理デバイスに限られず、複数の処理デバイスを含んでもよい。
メモリ440は、データ、オペレーショナルソフトウェア、又はプロセッサ435のための他の情報を恒久的に又は一時的に記憶し得る。メモリ440は、情報を記憶するのに適した揮発性又は不揮発性のローカル又はリモートデバイスのうちのいずれか1つ又は組み合わせを含んでよい。例えば、メモリ440は、ランダムアクセスメモリ(random access memory,RAM)、リードオンリーメモリ(read only memory,ROM)、磁気記憶デバイス、光学記憶デバイス、若しくは任意の他の適切な情報記憶デバイス、又はそれらのデバイスの組み合わせを含んでよい。ソフトウェアは、コンピュータ可読記憶媒体で具現化される命令、ロジック、又はコードの任意の適切な組を表す。例えば、ソフトウェアは、メモリ440、ディスク、CD、又はフラッシュドライブにおいて具現化されてもよい。具体的な実施形態では、ソフトウェアは、本明細書で記載される機能のうちの1つ以上を実行するようプロセッサ435によって実行可能なアプリケーションを含んでもよい。
更に、特定の実施形態では、メモリ440は、仮想レイアウト205及び映像450の組を記憶してよい。仮想レイアウト205aないし205nの夫々は、異なる実店舗100に対応し、実店舗100の物理レイアウト200をエミュレートするよう構成される。仮想レイアウト205は、店舗識別番号に従ってメモリ440に記憶されてよい。このようにして、所与の仮想レイアウト205aは、店舗識別番号を用いてメモリ440から読み出され得る。本開示は、映像450の組が、例えば、識別番号455を通じて、所与の人105に割り当てられているカメラフィードセグメント425及びラックカメラフィードセグメント425を含むと考えている。そのようなセグメントは、レイアウトカメラ490及びラックカメラ495から夫々仮想店舗ツール405によって受け取られたカメラフィードの映像記録である。例えば、映像450の組は、人105に割り当てられているカメラフィードセグメント415aないし415f及びラックカメラフィードセグメント425を含んでよい。仮想店舗ツール405が映像450の組を生成する様態は、図6の説明において、以下で更に詳細に記載される。
インターフェース445は、ネットワーク430a及び430bから情報を受信すること、ネットワーク430a及び430bを通じて情報を送信すること、情報の適切な処理を実行すること、他のデバイスと通信すること、又はそれらの任意の組み合わせのために動作する任意の適切なデバイスを表す。例えば、インターフェース445は、レイアウトカメラ490及びラックカメラ495からカメラフィードを受け取る。他の例として、インターフェース445は、デバイス115から入力を受け取る。インターフェース445は、仮想店舗ツール405がネットワーク430a及び430bを介してデバイス115、レイアウトカメラ490、ラックカメラ495、及び/又はシステム400の他のコンポーネントと情報を交換することを可能にするLAN、WAN、又は他の通信システムを通じて通信するために、プロトコル変換機能及びデータ処理機能を含む任意の適切なハードウェア及び/又はソフトウェアを含む現実又は仮想の任意のポート又は接続を表す。
外部システム485は、実店舗100に設置されているセンサ498から入力を受け取り、この入力にアルゴリズム488を適用して、実店舗100において客105を追跡するよう、かつ/あるいは、実店舗100においてショッピングセッション中にそのような客によって選択された物理アイテム315を決定するよう動作可能な任意のシステムを表す。外部システム485の実施形態は、発明の名称が「Topview Object Tracking Using a Sensor Array」である米国特許出願(代理人整理番号090278.0180)で記載されている。なお、この米国特許出願の内容は、参照により本願に援用される。本開示は、センサ498が、実店舗100に設置されており、実店舗100において客105を検出するよう動作可能である任意のタイプの適切なセンサを含んでよい。例えば、実店舗100は、実店舗100において客105を追跡し、実店舗100から1つ以上のアイテム315を選択する客105に関連した情報を検出するよう動作するカメラ、光検出及び測距センサ、ミリメートル波センサ、重量センサ、及び/又は任意の他の適切なセンサを含んでよい。本開示はまた、アルゴリズム488が、実店舗100において客105を追跡し、客105によって選択されたアイテム315を決定する任意の適切なアルゴリズムであってよい。例えば、特定の実施形態では、アルゴリズム488は、機械学習アルゴリズムであってよい。
レイアウトカメラ490及びラックカメラ495は、実店舗100に設置されている。レイアウトカメラ490aないし490fの夫々は、実店舗100内のある位置に受けられており、その位置の周りの空間内の領域の映像及び/又は画像を捕捉する。ラックカメラ495の夫々は、実店舗100に置かれている物理陳列ラック210に向けられており、物理陳列ラック210及び物理陳列ラック210の周りの空間内の領域の映像及び/又は画像を捕捉する。本開示は、任意の数のレイアウトカメラ490が実店舗100に設置され、仮想店舗ツール405へネットワーク430bを通じて接続され得ると考えている。同様に、任意の数のラックカメラ495が、実店舗100に設置され、仮想店舗ツール405へネットワーク430bを通じて接続されてよい。例えば、いくつかの実施形態で、実店舗100は、物理ラック210と同数のラックカメラ495を含む。他の実施形態では、実店舗100は、物理ラック210よりも多いラックカメラ495を含む。特定の実施形態では、ラックカメラ495は、レイアウトカメラ490と同じである。他の実施形態では、ラックカメラ495は、レイアウトカメラ490とは別個である。レイアウトカメラ490及びラックカメラ495の動作は、図5及び6の説明において、以下で更に詳細に記載される。
本発明の範囲から外れずに、本明細書で記載されるシステムに対して、変更、追加、又は削除が行われてもよい。例えば、システム400は、任意の数のユーザ120,デバイス115、ディスプレイ410、ネットワーク430a及び430b、レイアウトカメラ490、ラックカメラ495、並びに外部システム485を含んでよい。コンポーネントは、一体化されても、又は別々であってもよい。更に、動作は、より多い、より少ない、又は他のコンポーネントによって実行されてもよい。更に、動作は、ソフトウェア、ハードウェア、及び/又は他のロジックを含む任意の適切なロジックを用いて実行されてよい。
[III.客に基づいた映像追跡]
上述されたように、仮想店舗ツール405は、仮想レイアウト205を使用して、カメラフィードセグメント415及び/又は425によって捕捉された実店舗100での客105のショッピングセッションをエミュレートし得る。図5~8は、仮想店舗ツール405がカメラフィードセグメント415及び/又は425を生成及び表示する方法について記載するために使用される。
[a.客に基づいた映像追跡のために使用されるカメラ]
図5Aは、実店舗100におけるレイアウトカメラ490及びラックカメラ495の位置の例を表す。実店舗100のために選択されたレイアウトカメラ490及びラックカメラ495の数は、実店舗100のサイズ及び/又はレイアウトに依存し得る。図5Aの例で分かるように、実店舗100は、5台のレイアウトカメラ490aないし490eを含み得る。実店舗100の天井に設置されるものとして表されているが、本開示は、レイアウトカメラ490が実店舗100内のどこにでも取り付けられてよいと考えている。更に、図5Aの例では、実店舗100は、4台のラックカメラ495aないし495dを含み得る。実店舗100の天井及び側壁の両方に設置されるものとして表されているが、本開示は、ラックカメラ495が実店舗100内のどこにでも取り付けられてよいと考えている。ラックカメラ495は、レイアウトカメラ490とは別であっても、又はレイアウトカメラ490と同じであってもよい。
ラックカメラ495の夫々は、実店舗100に置かれているラック210に向けられている。例えば、図5Aに表されているように、ラックカメラ495aは、物理陳列ラック210aに向けられており、ラックカメラ495bは、物理陳列ラック210bに向けられており、ラックカメラ495cは、物理陳列ラック210cに向けられており、ラックカメラ495dは、物理陳列ラック210dに向けられている。図5Aは、実店舗100における5台のレイアウトカメラ490の組及び4台のラックカメラ495の組を表すが、本開示は、実店舗100のサイズ及び/又はレイアウトに応じて、任意の適切な数のレイアウトカメラ490及びラックカメラ495が実店舗100で使用されて得ると考えている。図5Aは、更に、実店舗100に置かれている回転ドア510の組を表す。回転ドア510の組は、図5の説明において、以下で更に詳細に記載されるように、実店舗100への客105の出入りを制御するために使用され得る。
図5Bに表されているように、レイアウトカメラ490の夫々は、実店舗100の特定の位置に向けられており、その位置を囲む、実店舗100のレイアウト200の領域505を捕捉する。例えば、第1レイアウトカメラ490aは、第1位置に向けられており、実店舗100の第1領域505aの映像及び/又は画像を捕捉し、第2レイアウトカメラ490bは、第2位置に向けられており、実店舗100の第2領域505bの映像及び/又は画像を捕捉し、第3レイアウトカメラ490cは、第3位置に向けられており、実店舗100の第3領域505cの映像及び/又は画像を捕捉し、第4レイアウトカメラ490dは、第4位置に向けられており、実店舗100の第4領域505dの映像及び/又は画像を捕捉し、第5レイアウトカメラ490eは、第5位置に向けられており、実店舗100の第5領域505eの映像及び/又は画像を捕捉する。特定の実施形態では、レイアウトカメラ490は、実店舗100の重なり合った領域を捕捉してもよい。例えば、図5Bに表されているように、第3領域505cの全部は、第1領域505a、第2領域505b、第4領域505d、及び第5領域505eの部分と重なっている。実店舗100の重なり合った領域は、レイアウトカメラ490の互いの近さの結果であり得る。一般に、実店舗100の重なり合った領域を捕捉することによって、物理レイアウト200の特定の部分は、複数台のレイアウトカメラ490によって捕捉可能である。これは、レイアウトカメラ490のどれかが正常に機能しないか又はオフラインになる場合に物理レイアウト200の十分なカメラカバレッジを提供するために、好ましい場合がある。
図5Bでは長方形形状で表されているが、本開示は、領域505が如何なる形状又はサイズであってもよいと考えている。例えば、特定の実施形態では、領域505は楕円形状である。いくつかの実施形態で、領域505は、一様なサイズ及び形状である。例えば、図5Bに表されているように、領域505aないし505eは、全てが同じ形状及びサイズである。他の実施形態では、領域505は、異なるサイズ及び形状の領域505を含んでもよい。
[b.カメラフィード処理]
レイアウトカメラ490及び/又はラックカメラ495によって捕捉された実店舗100の映像及び/又は画像は、カメラフィードの形で仮想店舗ツール405へ送信される。仮想店舗ツール405は、次いで、映像処理部465を使用して、それらのカメラフィードに基づいて、実店舗100においてショッピングセッションを行う人105に割り当てられるカメラフィードセグメント415及びラックカメラフィードセグメント425を生成する。図6は、仮想店舗ツール405の映像処理部465の動作を表す。
図6は、第1レイアウトカメラ490a、第2レイアウトカメラ490b、及びラックカメラ495aを含む実施形態において、仮想店舗ツール405の映像処理部465の動作の例を示す。図6に表されているように、映像処理部465は、第1レイアウトカメラ490aから第1カメラフィード605aを、第2レイアウトカメラ490bから第2カメラフィード605bを、及びラックカメラ495aからラックカメラフィード620aを受け取る。特定の実施形態では、映像処理部465は、第1カメラフィード605a、第2カメラフィード605b、及びラックカメラフィード620aをレイアウトカメラ490a、490b及びラックカメラ495aから直接に受け取る。いくつかの実施形態で、映像処理部465は、第1カメラフィード605a、第2カメラフィード605b、及びラックカメラフィード620aをインターフェース445から受け取る。
カメラフィード605a、605b、及び620aを処理する前に、映像処理部465は、最初に、識別番号455と関連付けられている人105が実店舗100に入ったことを決定する。本開示は、人105が実店舗100に入ったことを映像処理部465が任意の適切な方法で決定し得ると考えている。例えば、特定の実施形態では、実店舗100は、人105の入店を制御する回転ドア510を含む。回転ドア510は、回転ドア510に取り付けられているスキャナ515を用いて、人105に属している物理カード又はモバイル機器125にあるQRコード(登録商標)を人105がスキャンすると、開くことができる。それに応じて、QRコードのスキャンは、人105が実店舗100に入ったことを示す、仮想店舗ツール405へ送られる通知を生成し得る。他の例として、いくつかの実施形態で、アルゴリズム488は、実店舗100に設置されているセンサ498から受け取られた情報に基づいて、人105が実店舗100に入ったことを決定するために使用されてもよい。そのようなアルゴリズム488の例は、図13~16の説明において、以下で更に詳細に記載される。
本開示は、カメラフィード605及び620がタイムスタンプに関して同期すると考えており、それにより、カメラフィード605a、605b、及び620aの夫々からの所与のタイムスタンプに関連した映像は、実店舗100内の同じ実時間に対応する。そのような同期化は、如何なる適切な方法でも達成されてよい。例えば、特定の実施形態では、レイアウトカメラ490及びラックカメラ495は、同じイーサネット(登録商標)スイッチにプラグ接続される。人105が実店舗100に入ったことを決定することは、次いで、人105が実店舗100に入ったタイムスタンプに対応する開始タイムスタンプ610を受け取ることを含んでもよい。
もし第1カメラフィード605a、第2カメラフィード605b、及びラックカメラフィード620aに関連したデータパケットが異なる時間にネットワーク430bを介して仮想店舗ツール405に届き得るならば、本開示は、仮想店舗ツール405が第1カメラフィード605a、第2カメラフィード605b、及びラックカメラフィード620aを開始タイムスタンプ610以降にストリーミングするのではなく、仮想レイアウトツール405の映像処理部465が、予め定義された時間続く第1カメラフィード605a、第2カメラフィード605b、及びラックカメラフィード620aの記録をメモリ440に記憶することを企図している。そのような記録は、次いで、タイムスタンプに従って他と夫々同期して再生され得る。それに応じて、映像処理部465が、人105が実店舗100に入ったタイムスタンプに対応する開始タイムスタンプ610を決定すると、映像処理部465は、次に、開始タイムスタンプ610で開始し、終了タイムスタンプ615で終了する各カメラフィードのセグメントを準備する。映像処理部465は、次いで、これらのセグメントをメモリ440に記憶する。例えば、映像処理部465は、開始タイムスタンプ610から終了タイムスタンプ615までの第1カメラフィード605aの記録に対応する第1カメラフィードセグメント415aと、開始タイムスタンプ610から終了タイムスタンプ615までの第2カメラフィード605bの記録に対応する第2カメラフィードセグメント415bと、開始タイムスタンプ610から終了タイムスタンプ615までのラックカメラフィード620aの記録に対応するラックカメラフィードセグメント425aとを準備する。映像処理部465は、次いで、セグメント415a、415b、及び425aの夫々をメモリ440に記憶する。
本開示は、開始タイムスタンプ610と終了タイムスタンプ615との間の時間インターバルが如何なる所定量の時間であってもよいと考えている。例えば、特定の実施形態では、時間インターバルは5分である。この所定量の時間よりも長く続くショッピングセッションの映像を捕捉するために、カメラフィード605a、605b、及び620aが終了タイムスタンプ615に到達すると、映像処理部465は、終了タイムスタンプ615から開始し、新しい終了タイムスタンプで終わるカメラフィード605a、605b、及び620aの更なる記録を記憶してよく、新しい終了タイムスタンプは、終了タイムスタンプ615の所定量の時間後に起こる。映像処理部465は、追加の所定時間インターバルに夫々対応している任意の数の更なるカメラフィードセグメントをメモリ440に記憶してよい。特定の実施形態では、映像処理部465は、人105が実店舗100から去ったとの指示を受け取るまで、そのような更なるカメラフィードセグメントを記録し続ける。
映像処理部465は、何人の人105についてもカメラフィードセグメント415及び425を記憶してよい。それに応じて、映像処理部465は、人105に割り当てられているカメラフィードセグメント415及び425の集合を映像450の組として記憶してよく、映像450の組は、人105と関連付けられている識別番号455を割り当てられる。例として、第1人物105aは、第1開始タイムスタンプ610aで実店舗100に入ってよく、第2人物105bは、第1開始タイムスタンプ610aの後の第2開始タイムスタンプ610bで実店舗100に入ってよく、第2開始タイムスタンプ610bは、第1開始タイムスタンプ610aの後の予め定義された時間インターバル内にあり、それにより、第1人物105aについて記録されたカメラフィードセグメントは、第2人物105bについて記録されたカメラフィードセグメントと重なり合う映像を含むことになる。それに応じて、映像処理部465は、第1人物105aについて記録されたカメラフィードセグメントを、第1人物105aに割り当てられている識別番号455aとともに、映像405aの組としてメモリ440に記憶し得る。同様に、映像処理部465は、第2人物105bについて記録されたカメラフィードセグメントを、第2人物105bに割り当てられている識別番号455bとともに、映像405bの組としてメモリ440に記憶し得る。仮想店舗ツール405は、次いで、所与の人物105に関連したカメラフィードセグメントを、その人物に割り当てられている識別番号455を用いて、メモリ440から読み出し得る。
映像処理部465は、メモリ440に記憶されてプロセッサ435によって実行されるソフトウェアモジュールであってよい。映像処理部465の動作の例は、次の通りである:(1)カメラ490及び495から夫々カメラフィード605及び620を受け取る;(2)人105が実店舗100に入ったことを決定する;(3)人105が実店舗100に入った時間に対応するタイムスタンプ610を決定する;(4)カメラフィード605及び620から夫々カメラフィードセグメント415及び425を記録し、カメラフィードセグメントは、人105が実店舗100に入った時間に対応するタイムスタンプ610から終了タイムスタンプ615まで所定量の時間続くカメラフィード605及び620の記録に対応する;(5)人105の識別番号455に従ってメモリ440に映像450の組としてカメラフィードセグメント415及び425を記憶する。
[c.カメラフィードセグメントの表示]
映像処理部465がカメラフィード605及び620から映像450の組を記録すると、仮想店舗ツール405は、次いで、デバイス115のディスプレイ410で映像450の組を表示するために表示制御部470を使用し得る。特定の実施形態では、仮想店舗ツール405は、グラフィカルユーザインターフェース700の形でデバイス115のディスプレイ410で映像450の組を表示し得る。図7A~7Cは、仮想店舗ツール405がディスプレイ410で映像450の組を表示する様態を表す例を示す。
図7Aは、4つのカメラフィードセグメント415aないし415dを表示するように仮想店舗ツール405がディスプレイ410に指示する実施形態を表す。仮想店舗ツール405は、ディスプレイ410の第1領域750で第1カメラフィードセグメント415aを、ディスプレイ410の第2領域755で第2カメラフィードセグメント415bを、ディスプレイ410の第3領域760で第3カメラフィードセグメント415cを、及びディスプレイ410の第4領域765で第4カメラフィードセグメント415dを表示する。仮想店舗ツール405は、任意の数のカメラフィードセグメント415を表示するようにディスプレイ410に指示し得る。例えば、特定の実施形態では、仮想表示ツール405は、映像450の組に保存されているのと同数のカメラフィードセグメント415を表示するようにディスプレイ410に指示してもよい。いくつかの実施形態で、仮想表示ツール405は、映像450の組に保存されているよりも少ないカメラフィードセグメント415を表示するようにディスプレイ410に指示してもよい。これは、実店舗100が多数のレイアウトカメラ490を含む大規模店舗である実施形態で好ましい場合がある。そのような実施形態では、ディスプレイ410で全てのカメラフィードセグメント415を表示することは、表示されているカメラフィードセグメント415のうちのいずれか1つにおける実店舗100の具体的な特徴をユーザが見ることを困難にする可能性がある。従って、仮想店舗ツール405は、ディスプレイ410でカメラフィードセグメント415のサブセットを表示してもよい。仮想店舗ツール405は、任意の適切な方法で、ディスプレイ410で表示するカメラフィードセグメント415のサブセットを選択し得る。例として、特定の実施形態では、仮想店舗ツール405は、映像450の組が割り当てられている人105の位置に最も近い実店舗100の領域を捕捉しているカメラフィードセグメント415をいずれかの所与の時点で含むカメラフィードセグメント415のサブセットを表示してもよい。そのような実施形態では、映像450の組が実店舗100において新たな位置へ移動する人105を表すとき、仮想店舗ツール405は、ディスプレイ410で現在表示されているカメラフィードセグメント415のサブセットを、人105の新たな位置に最も近い実店舗100の領域を捕捉するカメラフィードセグメント415を含む新しいカメラフィードセグメント415のサブセットで置換し得る。仮想店舗ツール405は、任意の適切な方法で、その位置又は人105に最も近い実店舗100の領域を捕捉するカメラフィードセグメント415のサブセットを決定し得る。例えば、特定の実施形態では、仮想店舗ツール405は、実店舗100に設置されているセンサ498の組から受け取られた入力に基づいて、実店舗100における人105の位置を追跡するよう構成される機械学習アルゴリズム488から人105の位置の指示を受け取ってもよい。
図7Aに表されているように、カメラフィードセグメント415を表示することに加えて、仮想店舗ツール405はまた、スライダバー705を映像450の組に割り当て、スライダバー705のコピーを、各カメラフィードのセグメント415とともに表示する。例えば、仮想店舗ツール405は、第1カメラフィードセグメント415aとともにスライダバー705の第1コピー705aを、第2カメラフィードセグメント415bとともにスライダバー705の第2コピー705bを、第3カメラフィードセグメント415cとともにスライダバー705の第3コピー705cを、及び第4カメラフィードセグメント415dとともにスライダバー705の第4コピー705dを表示する。スライダバー705の各コピーは、関連するカメラフィードセグメント415の再生進行を制御するよう構成されるスライダ710を含んでよい。例えば、スライダバー705上のスライダ710の位置は、関連するカメラフィードセグメント415の現在の再生進行を示す。スライダ710の位置は、新しい再生時間に対応する新しい位置へ(例えば、ユーザ120によって)手動で調整されてよい。そのような調整は、新しい再生時間にへの関連するカメラフィードセグメントの再生の調整を生じさせ得る。
特定の実施形態では、各カメラフィードセグメント415の再生は、他のカメラフィードセグメント415のそれと同期し、それにより、スライダバー705のコピーのいずれかでのスライダ710の調整は、表示されているカメラフィードセグメント415の全ての再生進行の対応する調整をもたらす。例えば、スライダ710がスライダバー705の第1コピー705aで第1再生時間から第2再生時間に調整される場合に、スライダバー705の第2コピー705b上のスライダ710、スライダバー705の第3コピー705c上のスライダ710、及びスライダバー705の第4コピー705d上のスライダ710は、全て同様に第1再生時間から第2再生時間に調整することになる。これは、カメラフィードセグメント415を使用して実店舗100における客105のショッピングセッションを観察するユーザ120にとって好ましい場合がある。ユーザ120は、カメラフィードセグメント415の全体の中断なし再生を見るのではなく、カメラフィードセグメント415がユーザ120にとって関心のある時点に到達したとユーザ120が決定するまで、カメラフィードセグメント415の再生進行を調整し得る。
特定の実施形態では、スライダバー705は、1つ以上のマーカ715を含んでよい。例えば、図7Aに表されているようにスライダバー705は、スライダバー705上の第1マーカ位置に位置し、第1マーカ再生時間に対応する第1マーカ715aと、スライダバー705上の第2マーカ位置に位置し、第2マーカ再生時間に対応する第2マーカ715bとを含んでよい。第1マーカ715aは、第1マーカ再生時間で起こる第1イベントに関連し、第2マーカ715bは、第2マーカ再生時間で起こる第2イベントに関連する。第1イベント及び第2イベントは、実店舗100内で起こる如何なるタイプのイベントも含んでよい。例えば、第1イベントは、人105aが実店舗100において物理ラック210aにある物理シェルフ305aから物理アイテム315aを選択することに関連してよい。同様に、第2イベントは、人105aが実店舗100において物理ラック210bにある第2物理シェルフ305bから第2物理アイテム315bを選択することに関連してよい。
スライダバー705での第1マーカ715a及び第2マーカ715bの位置は、任意の適切な方法で決定されてよい。例として、特定の実施形態では、第1マーカ715aに関連した第1イベント、及び第2マーカ715bに関連した第2イベントは、実店舗100内に設置されているセンサ498から受け取られた入力の組に基づいて、アルゴリズム488によって決定されてよい。例えば、アルゴリズム488は、第1タイムスタンプに対応する第1時点で第1イベントが起こり、第2タイムスタンプに対する第2時点で第2イベントが起きると決定し得る。仮想店舗ツール405は、次いで、第1及び第2タイムスタンプを使用して、スライダバー705上の第1マーカ715a及び第2マーカ715bを、それらのタイムスタンプに対応する位置に置いてよい。第1及び第2イベントのタイミングを決定するために使用される、例となるアルゴリズム488は、図13~16の説明において、以下で更に詳細に記載される。マーカ715の使用は、カメラフィードセグメント415を使用して実店舗100における客105のショッピングセッションを観察するユーザ120にとって好ましい場合がある。カメラフィードセグメント415の全体の中断なし再生を見るのではなく、ユーザ120は、例えば、実店舗100において物理ラック210から物理アイテム315を選択する客105を観察するために、スライダ710が第1マーカ715a又は第2マーカ715bに関連したイベントの1つに到達するまで、カメラフィードセグメント415の全体の再生進行を調整し得る。
上述されたように、図6の説明において、カメラフィードセグメント415の夫々は、開始タイムスタンプ610から終了タイムスタンプ615まで続く所定の時間インターバルのセグメントである。従って、客105が所定の時間インターバルよりも長く実店舗100内にとどまる特定の実施形態では、複数のカメラフィードセグメントがレイアウトカメラ490の夫々から存在してもよい。例えば、仮想店舗ツール405は、第1時間インターバル、第2時間インターバル、第3時間インターバル、及び第4時間インターバルのカメラフィードセグメント415をメモリ440に記憶してよい。メモリ440は、任意の数の時間インターバルについての任意の数のカメラフィードセグメント415を記憶する。そのような実施形態では、スライダ710がスライダバー705の終わりに到達するとき、仮想店舗ツール405は、ディスプレイ410で現在表示されているカメラフィードセグメント415を、現在表示されているカメラフィードセグメント415の組によって捕捉された時間インターバルの直後の時間インターバルに対応する新しいカメラフィードセグメント415の組で置換し得る。現在表示されているカメラフィードセグメント415を、現在表示されているカメラフィードセグメント415の組によって捕捉された時間インターバルの直後の時間インターバルに対応する新しいカメラフィードセグメント415の組で置換するこのプロセスは、客105が実店舗100から去ったと仮想店舗ツール405が決定するまで続き得る。
仮想店舗ツール405は、任意の適切な方法で、客105が実店舗100から去ったことを決定してよい。例として、特定の実施形態では、仮想店舗ツール405は、ユーザ120から受け取られた入力に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、グラフィカルユーザインターフェース700の形で映像450の組がディスプレイ410で表示される実施形態では、図7Bに表されているように、グラフィカルユーザインターフェース700はインタラクティブボタン730(例えば、退店ボタン)を含んでよく、それを通じて、ユーザ120は、カメラフィードセグメント415において、客105が実店舗100から出たことを彼/彼女が観察したことを示し得る。他の例として、仮想店舗ツール405は、実店舗100内で客105を追跡するよう構成されるアルゴリズム488から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。そのようなアルゴリズム488は、図13~16の説明において、以下で更に詳細に記載される。更なる例として、仮想店舗ツール405は、実店舗100から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、実店舗100は、実店舗100の出口の近くに回転ドア510の組を含んでよい。回転ドア510を開き、実店舗100から去るために、客105は、彼/彼女が実店舗100に入るために使用した同じQRコードをスキャンするよう求められ得る。QRコードのスキャンは、次いで、客105が実店舗100を出たことを示す信号を仮想店舗ツール405へ送信し得る。
特定の実施形態では、どのカメラフィードセグメント415が関心のある情報を含み得るかをユーザ120が決定するのを支援するために、仮想店舗ツール405は、特定の時点で特定のカメラフィードセグメント415を、それらの特定の時点でそれらのカメラフィードセグメント415において表されているイベントに基づいて強調表示するよう構成される。例えば、図7Bに表されているように、仮想店舗ツール405は、所与のカメラフィードセグメント415aが第1時点で客105を表すことを決定するよう構成されてよい。それに応じて、仮想店舗ツール405は、スライダバー705上のスライダ710がその第1時点に到達したとの決定に応答して、カメラフィードセグメント415aを強調表示し得る。ここで、カメラフィードセグメント415aの強調表示は、仮想店舗ツール405がカメラフィードセグメント415aに注意を引くことができる如何なる方法も含んでよい。例えば、図7Bに表されているように、カメラフィードセグメント415aの強調表示は、カメラフィードセグメント415aの周りにフレーム720を置くことを含んでよい。他の例として、カメラフィードセグメント415aの強調表示は、ディスプレイ410で表されているカメラフィードセグメント415aのサイズを他のカメラフィードセグメント415と比べて大きくすることを含んでもよい。
特定の実施形態では、ディスプレイ410で表示されるグラフィカルユーザインターフェース700は、実店舗100における客105aのショッピングセッションを監視するためにユーザ120によって使用されてよい。そのようなユーザ120が数人の他の客105を含む実店舗において特定の客105aを監視するのを支援するために、仮想店舗ツール405は、更に、客105aが実店舗100に入ったときに捕捉された客105aの画像725を表示してもよい。例えば、実店舗100が店舗への人105の入店を制御する回転ドア510を含む特定の実施形態では、実店舗100は、客105aが回転ドア510を通過するときに客105aの画像725を撮影するよう構成されるカメラを含んでもよい。
スライダバー705が1つ以上のマーカ715を含む特定の実施形態では、各マーカ715は、マーカ715に関連したイベントを記述するメタデータ740を含んでよい。1つのそのような実施形態の例は、図7Cに表されている。上述されたように、図7Aの説明において、各マーカ715a及び715bは、客105aが実店舗100にある物理ラック210の物理シェルフ305から物理アイテム315を選択することから成るイベントに関連してよい。従って、各マーカは、客105aによって選択された物理アイテム315に割り当てられている識別番号745、客105aが物理アイテム315を選択した物理シェルフ305に割り当てられている識別番号750、及び/又は客105aが物理アイテム315を選択した物理シェルフ305を含む物理ラック210に割り当てられている識別番号755を示すメタデータ740を含んでよい。特定の実施形態では、アイテム識別番号745は、客105aが物理アイテム315を選択した物理シェルフ305のゾーンを識別するゾーン識別番号745に対応してよい。シェルフゾーンの使用は、図13C及び13Dの説明において、以下で更に詳細に記載される。
仮想店舗ツール405は、任意の適切な方法でメタデータ740を使用してもよい。例えば、特定の実施形態では、スライダバー705上のスライダ710が第1マーカ715aに到達するとき、仮想店舗ツール405は、メタデータ740を使用して、客105が物理ラック210から物理アイテム315を選択したことを決定し得る。それに応じて、仮想店舗ツール405は,ディスプレイ410でラックカメラフィードセグメント425aを表示してよく、ラックカメラフィードセグメント425aは物理ラック210の映像を表す。ラックカメラフィードセグメント425aは、カメラフィードセグメント415aないし415dと同期してもよく、それにより、スライダバー705のコピーのいずれかでのスライダ710の調整は、ラックカメラフィードセグメント425aの再生進行の対応する調整をもたらす。スライダ710がスライダバー705でマーカ715に到達することに応答して自動的にラックカメラフィードセグメント425aを表示することは、物理ラック210から物理アイテム315を選択する客105をユーザ120が観察することができる物理ラック210のビューをユーザ120に提供するために、好ましい場合がある。特定の実施形態では、ユーザ120は、第2グラフィカルユーザインターフェースを使用して、物理ラック210に割り当てるラックカメラ495を複数台の可能性があるラックカメラ495から選択し、ユーザ120によって決定される物理ラック210の最良のビューを表示するラックカメラフィードセグメント425aをユーザ120に提供することが可能であってもよい。仮想店舗ツール405のこの態様は、図11及び12の説明において、以下で更に詳細に記載される。
図8は、仮想店舗ツール405がカメラフィードセグメント415及び425を生成し、そのようなセグメントをディスプレイ410で表示するプロセスを表すフローチャートを示す。ステップ805で、仮想店舗ツール405は、実店舗100に置かれているレイアウトカメラ490の組及びラックカメラ495の組から夫々レイアウトカメラフィード605の組及びラックカメラフィード620の組を受け取る。ステップ810で、仮想店舗ツール405は、人105が実店舗100に入ったかどうかを決定する。本開示は、仮想店舗ツール405が、如何なる適切な方法でも、人105が実店舗100に入ったことを決定してよいと考えている。例えば、特定の実施形態では、実店舗100は、店舗への人105の入店を制御する回転ドア510を含む。回転ドア510は、人105に属する物理カード又はモバイル機器125にあるQRコードを人105がスキャンすると、開くことができる。それに応じて、QRコードのスキャンは、人105が実店舗100に入ったことを示す、仮想店舗ツール405へ送信される通知を生成し得る。他の例として、いくつかの実施形態で、アルゴリズム488が、実店舗100に設置されているセンサ498から受け取られた情報に基づいて、人105が実店舗100に入ったことを決定するために使用されてもよい。
人105が実店舗100に入ったことをステップ810で仮想店舗ツール405が決定する場合に、ステップ815で、仮想店舗ツール405は、カメラフィードセグメント415及び425の組をメモリ440に記憶する。カメラフィードセグメント415の各カメラフィードセグメントは、開始タイムスタンプ610から終了タイムスタンプ615までのカメラフィード605の1つの記録に対応する。同様に、ラックカメラフィードセグメント425の各ラックカメラフィードセグメントは、開始タイムスタンプ610から終了タイムスタンプ615までのラックカメラフィード620の1つの記録に対応する。開始タイムスタンプ610は、人105が実店舗100に入った時間に対応する。終了タイムスタンプ615は、開始タイムスタンプ610の後の所定の時間インターバルに対応する。
ステップ820で、仮想店舗ツール405は、スライダバー705のコピーを各カメラフィードセグメント415及び425に割り当てる。スライダバー705のコピー上のスライダ710は、対応するカメラフィードセグメント415及び/又は425が進行すると前進する。特定の実施形態では、スライダバー705のコピーは互いに同期し、それにより、全てのカメラフィードセグメント415及び425は同じペースで一緒に進む。更に、そのような実施形態では、スライダバー705のコピーのいずれかでのスライダ710の調整は、全てのカメラフィードセグメント415及び425の再生進行の対応する調整をもたらす。これは、カメラフィードセグメント415を使用して実店舗100における客105のショッピングセッションを観察するユーザ120にとって好ましい場合がある。ユーザ120は、カメラフィードセグメント415の全体の中断なし再生を見るのではなく、ユーザ120にとって関心のある時点にカメラフィードセグメント415が到達したことをユーザ120が決定するまで、カメラフィードセグメント415の再生進行を調整し得る。
ステップ825で、仮想店舗ツール405は、ディスプレイ410で1つ以上のカメラフィードセグメント415及び425を、スライダバー705の対応するコピーとともに提示する。例えば、仮想店舗ツール405は、ディスプレイ410の第1領域でスライダバー705の第1コピー750aとともに第1カメラフィードセグメント415aを、ディスプレイ410の第2領域でスライダバー705の第2コピー705bとともに第2カメラフィードセグメント415bを、ディスプレイ410の第3領域でスライダバー705の第3コピー705cとともに第3カメラフィードセグメント415cを、及びディスプレイ410の第4領域でスライダバー705の第4コピー705dとともに第4カメラフィードセグメント415dを表示してよい。仮想店舗ツール405は、更に、スライダバー705の各コピー上のスライダ710が進むように、カメラフィードセグメント415及び/又は425を再生する。
ステップ830で、仮想店舗ツール405は、次に、スライダバー705の第1位置からスライダバー705の第2位置まで、スライダバー705のコピーにおけるいずれかのスライダ710に対して調整が行われたかどうかを決定し、第1位置は第1再生時間に対応し、第2位置は第2再生時間に対応する。調整が行われたことをステップ830で仮想店舗ツール405が決定する場合に、仮想店舗ツール405は、次に、カメラフィードセグメント415及び425の夫々の再生進行を第1再生時間から第2再生時間まで調整する。
ステップ840で、仮想店舗ツール405は、人105が実店舗100から去ったかどうかを決定する。仮想店舗ツール405は、如何なる適切な方法でも、客105が実店舗100から去ったことを決定してもよい。例として、特定の実施形態では、仮想店舗ツール405は、ユーザ120から受け取られた入力に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、グラフィカルユーザインターフェース700の形でカメラフィードセグメント415及び425がディスプレイ410で表示される実施形態では、グラフィカルユーザインターフェース700はインタラクティブボタン730(例えば、退店ボタン)を含んでよく、それを通じて、ユーザ120は、1つ以上のカメラフィードセグメント415において、客105が実店舗100から出たことを彼/彼女が観察したことを示し得る。他の例として、仮想店舗ツール405は、実店舗100内で客105を追跡するよう構成されるアルゴリズム488から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。そのようなアルゴリズム488は、図13~16の説明において、以下で更に詳細に記載される。更なる例として、仮想店舗ツール405は、実店舗100から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、実店舗100は、実店舗100の出口の近くに回転ドア510の組を含んでよい。回転ドア510を開き、実店舗100から去るために、客105は、彼/彼女が実店舗100に入るために使用した同じQRコードをスキャンするよう求められ得る。QRコードのスキャンは、次いで、客105が実店舗100を出たことを示す信号を仮想店舗ツール405へ送信し得る。
人105が実店舗100から去っていないとステップ840で仮想店舗ツール405が決定する場合に、ステップ845で、仮想店舗ツール405は、カメラフィードセグメント415及び425が終了タイムスタンプ615に到達しているかどうかを決定する。カメラフィードセグメント415及び425が終了タイムスタンプ615に到達していないとステップ845で仮想店舗ツール405が決定する場合に、仮想店舗ツール405はステップ830に戻り、スライダバー705の第1位置からスライダバー705の第2位置まで、スライダバー705のコピーにおけるいずれかのスライダ710に対して調整が行われたかどうかを決定する。他方で、カメラフィードセグメント415及び425が終了タイムスタンプ615に到達しているとステップ845で仮想店舗ツール405が決定する場合には、仮想店舗ツール405はステップ825に戻り、新しいカメラフィードセグメント415及び/又は425の組をディスプレイ410で表示し、新しいカメラフィードセグメントの組は、前のカメラフィードセグメント415及び/又は425の組に関連した前の時間インターバルの直後の時間インターバルにわたるカメラフィード605及び/又は620の記録に対応する。
図8に表されている方法800に対しては、変更、追加、又は削除が行われてもよい。方法800は、より多い、より少ない、又は他のステップを含んでもよい。例えば、ステップは、並行して又は任意の適切な方法で実行されてよい。仮想店舗ツール405(又はそのコンポーネント)がステップを実行するものとして説明されているが、例えば、デバイス115のような、システム400のいずれかの適切なコンポーネントが、方法の1つ以上のステップを実行してもよい。
[IV.ショッピングセッションの仮想エミュレーション]
上述されたように、カメラフィードセグメント415及び425は、実店舗100で行われて、カメラフィードセグメント415及び/又は425によって捕捉されるショッピングセッションを仮想的にエミュレートするために、仮想レイアウト205とともに使用されてよい。例えば、特定の実施形態では、カメラフィードセグメント415及び425は、仮想レイアウト205とともに、グラフィカルユーザインターフェース700の形で、ユーザ120に提示されてよい。ここで、カメラフィードセグメント415及び425は、客105に割り当てられ、実店舗100における客105のショッピングセッションを捕捉し得る。ユーザ120は、カメラフィードセグメント415及び425を監視して、物理ラック210から物理アイテム315を選択する客105を見ることができる。それに応じて、ユーザ120は、客105によって選択された物理アイテム315を表す仮想アイテムで仮想ショッピングカート420をポピュレートし得る。それにより、客105のショッピングセッションの終わりに、仮想ショッピングカート420は、客105によって選択された物理アイテム315ごとに仮想アイテム320を含み得る。
図9A~9Dは、実店舗100で行われて、カメラフィードセグメント415及び425によって捕捉されるショッピングを仮想的にエミュレートするために使用され得る、ディスプレイ410で表示されるグラフィカルユーザインターフェース700の更なる例を示す。図9Aに表されているように、仮想店舗ツール405は、図7A~7Cの説明において上述されたように、ディスプレイ410の第1領域955においてカメラフィードセグメント415を表示し得る。仮想店舗ツール405は、更に、ディスプレイ410の第2領域960において仮想レイアウト205を表示し得る。仮想レイアウト205は、実店舗100の物理レイアウト200をエミュレートするよう構成される。図9Aに表されているように、仮想レイアウト205は、仮想ラック230の組を含む。本開示は、仮想レイアウト205が任意の数の仮想ラック230を含んでよいと考えており、仮想レイアウト205で表示される仮想ラック230の数は、実店舗100における物理ラック210の数に対応する。仮想レイアウト205における仮想ラック230のレイアウトは、実店舗100における対応する物理ラック210の配置をエミュレートするよう構成される。
[a.イベントの指示の受信]
図9Bに表されているように仮想店舗ツール405は、実店舗100に置かれている物理ラック210aに関連したイベントの指示を受け取ってよい。特定の実施形態では、物理ラック210aに関連したイベントは、客105が物理ラック210aと関係を持つことを含む。例えば、物理ラック210aに関連したイベントは、客105aが物理ラック210aに近づくこと、及び/又は物理ラック210aから物理アイテム315fを選択することを含んでよい。イベントの指示は、仮想店舗ツール405によって受け取られる如何なる適切な指示も含んでよい。例えば、特定の実施形態では、イベントの指示は、客105が物理ラック210aに近づくこと及び/又は物理ラック210aと関係を持つことを見ることに応答して、ユーザ120が仮想レイアウト205において仮想ラック230aを選択することを含んでよい。他の例として、イベントの指示は、スライダバー705上のスライダ710がマーカ715に到達することを含んでよく、マーカ715は、メタデータ740により、イベントに関連した物理ラック210を示す。更なる例として、特定の実施形態では、イベントの指示は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、客105が物理ラック210aに近づいたこと及び/又は物理ラック210aからアイテム315を選択したことを決定するよう構成されるアルゴリズム488から情報を受け取ることを含んでよい。
ディスプレイ410で表示されるグラフィカルユーザインターフェース700が実店舗100における客105のショッピングセッションを監視するためにユーザ120によって使用され得る特定の実施形態では、仮想店舗ツール405は、カメラフィードセグメント415及び/又は425の現在の再生進行に基づいて、客105の予測位置950を仮想レイアウト205で表示してもよい。予測位置950は、カメラフィードセグメント415及び/又は425の現在の再生進行に対応する物理的時間で、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、実店舗100において客105を追跡するよう構成されるアルゴリズム488によって決定される物理レイアウト200における客105の可能性のある位置に対応してよい。これは、ユーザ120が、複数人の他の客105を含む実店舗100において特定の客105aを監視するのを助け得る。図9Bでは仮想レイアウト205で点950として表されているが、客105の予測位置950は、如何なる適切な方法でも仮想レイアウト205に提示されてもよい。例えば、予測位置は、客105の予測経路を含む線であってもよい。そのような実施形態では、イベントの指示は、客105が物理ラック210aに近づくこと及び/又はそれと関係を持つことを見ること、及び/又は仮想レイアウト205での客105の予測位置950が物理ラック210aの客105の接近を示すことを見ることに応答して、ユーザ120が仮想レイアウト205において仮想ラック230aを選択することを含んでよい。
イベントの指示を受け取ることに応答して、仮想店舗ツール405は、ディスプレイ410の第3領域905において、イベントに関連した物理ラック210aに対応する仮想ラック230aを表示してよく、仮想ラック230aは、物理ラック210aをエミュレートするよう構成される。特定の実施形態では、ディスプレイ410の第3領域905は、仮想レイアウト205の右に配置されてよい。特定の実施形態では、仮想店舗ツール405は、更に、物理ラック210aに関連したイベントの指示を受け取ることに応答して、仮想レイアウト205において、仮想ラック230aを強調表示してもよい。仮想ラック230aの強調表示は、仮想ラック230aを他の仮想ラック230bないし230kと区別する如何なる方法も含んでよい。例えば、図9Bに表されているように、仮想ラック230aの強調表示は、仮想ラック230aの周りにフレームを置くことを含んでよい。仮想ラック230aの強調表示は、更に、仮想ラック230aに色を適用すること、及び/又は仮想ラック230aを残りの仮想ラック230bないし230kから区別する任意の他の適切な方法を含んでもよい。
図9Bに表されているように、ディスプレイ410の第3領域905に表示される仮想ラック230aは、仮想アイテム320aないし320hの組を含む。仮想アイテム320aないし320hは、物理ラック210aに保管されている物理アイテムをエミュレートするよう構成される。特定の実施形態では、仮想アイテム320aないし320hは、アイテムのリストとして第3領域905に表示され、リスト内のアイテムの名称は、物理ラック210aに保管されている物理アイテム315aないし315hの名称に対応する。他の実施形態では、第3領域905に表示される仮想ラック230aの外観は、物理ラック210aの外観をエミュレートするよう構成される。例えば、第1仮想シェルフ310aは、第1物理シェルフ305aをエミュレートするよう構成され、第2仮想シェルフ310bは、第2物理シェルフ305bをエミュレートするよう構成され、第3仮想シェルフ310cは、第3物理シェルフ305cをエミュレートするよう構成される。特に、第1仮想アイテム320aは、第1物理シェルフ305aの第1ゾーン325aにおける第1物理アイテム315aの位置をエミュレートするよう、第1仮想シェルフ310aの第1ゾーン330aに置かれる。同様に、第2仮想アイテム320bは、第1物理シェルフ305aの第2ゾーン325bにおける第2物理アイテム315bの位置をエミュレートするよう、第1仮想アイテム320aの右側に、第1仮想シェルフ310aの第2ゾーン330bに置かれ、第3仮想アイテム320cは、第1物理シェルフ305aの第3ゾーン325cにおける第3物理アイテム315cの位置をエミュレートするよう、第2仮想アイテム320bの右側に、第1仮想シェルフ310aの第3ゾーン330cに置かれる。仮想アイテム320dないし320fは、同様に、第2物理シェルフ305bに置かれている物理アイテム315dないし315fの位置をエミュレートするよう第2仮想シェルフ310bに置かれ、仮想アイテム320gないし320hは、第3物理シェルフ305cに置かれている物理アイテム315gないし315hの位置をエミュレートするよう第3仮想シェルフ310cに置かれる。物理アイテム315を更にエミュレートするために、仮想アイテム320の夫々は、対応する物理アイテム315のグラフィカル表現を含んでよい。
ディスプレイ410の第3領域905で仮想ラック230aを表示することに加えて、物理ラック210aに関連したイベントの指示を受け取ることに応答して、仮想店舗ツール405はまた、図9Cに表されているように、ディスプレイ410の第4領域970においてラックカメラフィードセグメント425aを表示してもよい。特定の実施形態では、ディスプレイ410の第4領域970は、第3領域905の右側にある。ラックカメラフィードセグメント425aは、イベントが起こる時間インターバル中に、物理ラック210aを表す。例えば、イベントが、客105が物理ラック210aに近づくことを含む実施形態では、ラックカメラフィードセグメント425aは、物理ラック210aに近づく客105を表す。他の例として、イベントが、客105が物理ラック210aからアイテム315fを選択することを含む実施形態では、ラックカメラフィードセグメント425aは、物理ラック210aからアイテム315fを選択する客105を表す。
ラックカメラフィードセグメント425aは、カメラフィードセグメント415aないし415fと同期してよく、それにより、スライダバー705のコピーのいずれかでのスライダ710の調整は、ラックカメラフィードセグメント425aの再生進行の対応する調整をもたらす。イベントの指示を受け取ることに応答してラックカメラフィードセグメント425aを表示することは、客105が物理ラック210aに近づくこと及び/又はそれと関係を持つことをユーザ120が観察することができる物理ラック210aのビューをユーザ120に提供するために、好ましい場合がある。例えば、ラックカメラフィードセグメント425aは、客105が物理ラック210aからアイテム315を選択したかどうかをユーザ120が確認するのを助け得る。ユーザ120は、次いで、この情報を使用して、図9Dの説明において、以下で更に詳細に記載されるように、仮想ショッピングカート420をポピュレートし得る。特定の実施形態では、ユーザ120は、ユーザ120によって決定される物理ラック210aの最良のビューを表示するラックカメラフィードセグメント425aをユーザ120に提供するために、物理ラック210を割り当てるラックカメラ495を選択してもよい。仮想店舗ツール405のこの態様は、図11及び12の説明において、以下で更に詳細に記載される。
[b.選択されたアイテムを特定する情報の受信]
イベントが、人105が物理ラック210aからアイテム315を選択することを含む特定の実施形態では、イベントの指示は、人105によって選択されたアイテムを特定する情報を含んでよい。例えば、イベントが、人105が物理ラック210aからアイテム315fを選択することを含む場合に、仮想店舗ツール405によって受け取られるイベントの指示は、物理アイテム315f及び/又は仮想アイテム320fを特定する情報を含んでよい。例として、特定の実施形態では、物理ラック210aの各物理シェルフ305は、図13B~13Dの説明において、以下で記載されるように、物理シェルフ305のゾーン325へ結合されている重量センサ1300の組を含む。人105が物理シェルフ305からアイテム315を持ち去るとき、アイテム315が置かれていた物理シェルフ305のゾーンに結合されている重量センサ1300は、アイテム315が物理ラック210aの物理シェルフ305から選択されたことを示す情報を(直接に、又は外部システム485のような、システム400の他のコンポーネントを通じて)仮想店舗ツール405へ送信し得る。仮想店舗ツール405は、この情報を使用して、ディスプレイ410の第3領域905に表示される仮想ラック230a上の対応する仮想アイテム320を強調表示し得る。例えば、物理ラック210aの第2物理シェルフ305bの第3ゾーンへ結合されている重量センサは、物理ラック210aの第2物理シェルフ305bの第3ゾーンからアイテム315fが持ち去られたことを示す情報を仮想店舗ツール405へ送信し得る。
他の例として、特定の実施形態では、イベントの指示は、スライダバー705上のスライダ710がマーカ715に到達することを含んでよい。マーカ715は、図7Cの説明において、上述されたように、メタデータ740を含んでよい。メタデータ740は、客105によって選択された物理アイテム315に割り当てられている識別番号745、客105が物理アイテム315を選択した物理シェルフ305に割り当てられている識別番号750、及び/又は客105が物理アイテム315を選択した物理シェルフ305を含む物理ラック210に割り当てられている識別番号755を示す情報を含んでよい。例えば、スライダバー705上のスライダ710がマーカ715aに到達するとき、仮想店舗ツール405は、マーカ715aに割り当てられている識別番号740を読み出して、人105が物理ラック210aの第2物理シェルフ305bから物理アイテム315fを選択したことを特定し得る。マーカ715は、如何なる適切な方法でもスライダバー705に加えられてよい。例えば、特定の実施形態では、仮想表示ツール405は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、実店舗100において客105を追跡するよう、かつ、夫々の客105によって選択された物理アイテムを決定するよう、構成されるアルゴリズム488から受け取られた情報に基づいて、マーカ715をスライダバー705に加える。
物理ラック210aから人105によって選択された物理アイテムであるとして物理アイテム315fを特定する情報を受け取ることに応答して、仮想店舗ツール405は、仮想ラック230aの第2仮想シェルフ310bに置かれている第6仮想アイテム320fを強調表示してよい。第6仮想アイテム320fを強調表示することは、第6仮想アイテム320fを残りの仮想アイテム320から区別する如何なる方法も含んでよい。例えば、第6仮想アイテム320fを強調表示することは、図9Cに表されているように、第6仮想アイテム320fの周りにフレームを置くこと、他の仮想アイテム320と比較して第6仮想アイテム320fを拡大すること、及び/又は第6仮想アイテム320fを残りの仮想アイテム320から区別する任意の他の適切な方法を含んでもよい。
[c.仮想ショッピングカートのポピュレート]
特定の実施形態では、ディスプレイ410で仮想店舗ツール405によって表示されるグラフィカルユーザインターフェース700は、更に、図9Dに表されているように、仮想ショッピングカート420を含んでよい。仮想ショッピングカート420は、人105によって彼/彼女のショッピングセッション中に選択された物理アイテム315に対応する仮想アイテム320を格納することによって、実店舗100における客105のショッピングセッションを更にエミュレートするために使用されてよい。仮想店舗ツール405は、ディスプレイ410の第5領域965において仮想ショッピングカート420を表示してよい。特定の実施形態では、ディスプレイ410の第5領域965は、ディスプレイ410の第3領域905に表示される仮想ラック230aと、ラックカメラフィードセグメント425aとの間に位置している。
そのような特定の実施形態では、物理ラック210aから人105によって選択された物理アイテムであるとして物理アイテム315fを特定する情報を受け取ることは、物理アイテム315fに対応する仮想アイテム320fを、領域905に表示されている仮想ラック230aから仮想ショッピングカート420へドラッグ・アンド・ドロップすることに関連した情報を受け取ることを含んでよい。例えば、ユーザ120は、カメラフィードセグメント415aないし415f及び/又はラックカメラフィードセグメント425aにおいて、客105が物理アイテム315fを選択することを観察し得る。それに応じて、ユーザ120は、仮想ラック230aから仮想アイテム320fを選択してよく、仮想アイテム320fは、物理アイテム315fに対応し、物理アイテム315fをエミュレートするよう構成される。ユーザ120は、次いで、仮想アイテム320fを仮想ショッピングカート420へドラッグし、そして、仮想アイテム320fを仮想ショッピングカート420にドロップし得る。ユーザ120が、カメラフィードセグメント415aないし415f及び/又はラックカメラフィードセグメント425aにおいて、客105が物理アイテム315fを選択することを観察するのを助けるために、特定の実施形態では、ユーザ120は、カメラフィードセグメント415aないし415f及び/又はラックカメラフィードセグメント425aを選択することによって、表示されているカメラフィードセグメント415aないし415f及び/又はラックカメラフィードセグメント425aのいずれかを他よりも大きくすることができる。例えば、ユーザ120は、ディスプレイ410で提示されているセグメントのサイズを大きくするように仮想店舗ツール405に指示するために、所与のカメラフィードセグメント415又は425をクリックすることができる。
メタデータ740、物理シェルフ305fへ結合されている重量センサ1300、仮想ショッピングカート420への仮想アイテム320fのドラッグ・アンド・ドロップ、及び/又は物理アイテム315fを特定する情報を受け取る任意の他の適切な方法のどれかから、物理アイテム315fを、物理ラック210aから人105によって選択された物理アイテムとして特定する情報を受け取ることに応答して、仮想店舗ツール405は、物理アイテム315fに対応する仮想アイテム320fを仮想ショッピングカート420に格納してよい。仮想ショッピングカート420は、仮想アイテム320をいくつでも格納してよい。例えば、カメラフィードセグメント415及び425の再生が進むにつれて、仮想店舗ツール405は、追加の、異なった物理アイテム315を、物理ラック210から人105によって選択されたものとして特定する更なる情報を受け取ってよい。物理ラック210は、物理ラック210aと同じであっても、又は物理ラック210aとは異なってもよい。追加の物理アイテム315を特定する情報を受け取ることに応答して、仮想店舗ツール405は、追加の物理アイテム315に対応する追加の仮想アイテム320を仮想ショッピングカート420に格納してよい。このプロセスは、人105が物理ラック210から物理アイテム315を選択したことをカメラフィードセグメント415及び425が示す回数に対応する回数のように、何回でも繰り返してよい。
図9Dに表されているように、特定の実施形態では、仮想ショッピングカート420は、各仮想アイテム320を、対応する物理アイテム315のグラフィカル表現及び/又は対応する物理アイテム315のテキスト記述910として表示してよい。仮想ショッピングカート420はまた、仮想ショッピングカート420に含まれる各仮想アイテム320fの個数915を示してもよい。例えば、仮想ショッピングカート420は、客105が物理ラック210aから2つの物理アイテム315fを選択したという事実をエミュレートするために、2つの仮想アイテム320fの個数915を示してよい。各仮想アイテム320の個数915は、如何なる適切な方法でも増やされてよい。例えば、特定の実施形態では、仮想アイテム320fの個数915は、物理アイテム315fに対応する仮想アイテム320fを、領域905に表示されている仮想ラック230aから仮想ショッピングカート420へ複数回ドラッグ・アンド・ドロップすることによって、増える可能性がある。他の例として、いくつかの実施形態で、仮想アイテム320fの個数915は、ユーザ120が追加ボタン925を通じてグラフィカルユーザインターフェース700と関係を持つことによって、増える可能性がある。同様に、仮想アイテム320fの個数915は、ユーザ120が減少ボタン925を通じてグラフィカルユーザインターフェース700と関係を持つことによって、減る可能性がある。ユーザ120はまた、ゴミ箱ボタン930を通じてグラフィカルユーザインターフェース700と関係を持つことによって、仮想アイテム320fを仮想ショッピングカート420から削除してもよい。
実店舗100での客105のショッピングセッションの終わりに(つまり、客105が実店舗100から出たことを仮想店舗ツール405が決定する場合に)、仮想ショッピングカート420は、客105によって彼/彼女のショッピングセッション中に選択された物理アイテム315の料金を客105に請求し、領収書を客105へ送るために、使用されてよい。更に、仮想ショッピングカート420は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、アルゴリズム488によって行われた決定を妥当性確認するために、使用されてもよい。仮想店舗ツール405のこれらの態様は、図13~16の説明において、以下で更に詳細に記載される。
[d.物理ショッピングセッションを仮想的にエミュレートする方法]
図10は、仮想店舗ツール405が、仮想レイアウトと、実店舗100から受け取られ、ショッピングセッションを捕捉するカメラフィードセグメント415及び/又は425とを用いて、実店舗100における客105のショッピングセッションをエミュレートする様態を説明するフローチャートを表す。ステップ1005で、仮想店舗ツール405は、仮想店舗110の仮想レイアウト205を表示する。仮想レイアウト205は、実店舗100の物理レイアウト200をエミュレートするよう構成される。特に、仮想レイアウト205での仮想ラック230の配置は、実店舗100における物理ラック210の物理レイアウト200をエミュレートするよう構成される。
ステップ1010で、仮想店舗ツール405は、人105が、実店舗100でのショッピングセッション中に、実店舗100の物理ラック210と関係を持つことに関連したイベントの指示を、ツールが受け取っているかどうかを決定する。このイベントは、客105が物理ラック210に近づくこと及び/又は物理ラック210から物理アイテム315を選択することを含んでよい。イベントの指示は、客105が物理ラック210と関係を持ったことを示す如何なる適切な情報も含んでよい。例えば、特定の実施形態では、イベントの指示は、実店舗100に置かれており、客105のショッピングセッションを捕捉するレイアウトカメラ490から受け取られたカメラフィード605から生成されるカメラフィードセグメント415の組において、客105が物理ラック210に近づくこと及び/又は物理ラック210から物理アイテム315を選択することを見ることに応答して、ユーザ120が仮想レイアウト205において仮想ラック230を選択することを含んでよい。他の例として、特定の実施形態では、イベントの指示は、カメラフィードセグメント415に割り当てられているスライダバー705上のスライダ710がマーカ715に到達することを含んでよい。マーカ715は、イベントに関連した物理ラック210を示すメタデータ740を含んでよい。更なる例として、イベントの指示は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、客105が物理ラック210に近づいたこと及び/又は物理ラック210から物理アイテム315を選択したことを決定するよう構成されるアルゴリズム488から、情報を受け取ることを含んでよい。
人105が物理ラック210と関係を持つことに関連したイベントの指示をステップ1010で仮想店舗ツール405が受け取る場合に、ステップ1015で、仮想店舗ツール405は、ディスプレイ410の領域905において、物理ラック210に対応する(つまり、物理ラック210をエミュレートするよう構成される)仮想ラック230を表示する。更に、ステップ1015で、仮想店舗ツール405は、物理ラック210に割り当てられているラックカメラ495から受け取られたラックカメラフィード620から生成されたラックカメラフィードセグメント425を表示する。ラックカメラフィードセグメント425は、イベントが起こる時間インターバル中の物理ラック210を表す。
ステップ1020で、仮想店舗ツール405は、第1仮想アイテム320を特定する情報をツールが受け取っているかどうかを決定する。例として、特定の実施形態では、物理ラック210の各物理シェルフ305は、図13B~13Dの説明において、以下で記載されるように、物理シェルフ305のゾーンに結合されている重量センサ1300の組を含む。人105が物理シェルフ305からアイテム315を持ち去るとき、アイテム315が置かれていた物理シェルフ305のゾーンに結合されている重量センサ1300は、アイテム315が物理ラック210aの物理シェルフ305から選択されたことを示す情報を(直接に、又は外部システム485のような、システム400の他のコンポーネントを通じて)仮想店舗ツール405へ送信し得る。他の例として、特定の実施形態では、イベントの指示は、スライダバー705上のスライダ710がマーカ715a又は715bに到達することを含んでよい。マーカ715a及び715bは、図7Cの説明において、上述されたように、メタデータ740を含んでよい。メタデータ740は、客105によって選択された物理アイテム315に割り当てられている識別番号745、客105が物理アイテム315を選択した物理シェルフ305に割り当てられている識別番号750、及び/又は客105が物理アイテム315を選択した物理シェルフ305を含む物理ラック210に割り当てられている識別番号755を示す情報を含んでよい。それに応じて、スライダバー705上のスライダ710がマーカ715に到達するとき、仮想店舗ツール405は、マーカ715に割り当てられている識別番号740を読み出して、人105が物理ラック210の物理シェルフ305から物理アイテム315を選択したことを特定することによって、物理アイテム315を特定する情報を受け取り得る。マーカ715は、如何なる適切な方法でもスライダバー705に加えられてよい。例えば、特定の実施形態では、仮想表示ツール405は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、実店舗100において客105を追跡するよう、かつ、夫々の客105によって選択された物理アイテム315を決定するよう、構成されるアルゴリズム488から受け取られた情報に基づいて、マーカ715をスライダバー705に加える。更なる例として、物理アイテム315/仮想アイテム320を特定する情報を受け取ることは、物理アイテム315をエミュレートするよう構成される仮想アイテム320を、ディスプレイ410の領域905に表示されている仮想ラック230から仮想ショッピングカート420へドラッグ・アンド・ドロップすることに関連した情報を受け取ることを含んでよい。
第1仮想アイテム320/物理アイテム315を特定する情報をツールが受け取っているとステップ1025で仮想店舗ツール405が決定する場合に、ステップ1030で仮想店舗ツール405は、第1仮想アイテム320を仮想ショッピングカート420に格納する。ステップ1035で、仮想店舗ツール405は、客105のショッピングセッションが終了したかどうか(つまり、客105が実店舗100から去ったかどうか)を決定する。仮想店舗ツール405は、如何なる適切な方法でも、客105が実店舗100から去ったことを決定してよい。例として、特定の実施形態では、仮想店舗ツール405は、ユーザ120から受け取られた入力に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、グラフィカルユーザインターフェース700の形でカメラフィードセグメント415及び/又は425がディスプレイ410上のグラフィカルユーザインターフェース700で表示される実施形態では、グラフィカルユーザインターフェース700は、更に、インタラクティブボタン730(例えば、退店ボタン)を含んでよく、それを通じて、ユーザ120は、1つ以上のカメラフィードセグメント415及び/又は425において、客105が実店舗100から出たことを彼/彼女が観察したことを示し得る。他の例として、仮想店舗ツール405は、実店舗100内で客105を追跡するよう構成されるアルゴリズム488から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。更なる例として、仮想店舗ツール405は、実店舗100から受け取られた情報に基づいて、客105が実店舗100から去ったことを決定してよい。例えば、実店舗100は、実店舗100の出口の近くに置かれた回転ドア510の組を含んでよい。回転ドア510を開き、実店舗100から去るために、客105は、彼/彼女が実店舗100に入るために使用した同じQRコードをスキャンするよう求められ得る。QRコードのスキャンは、次いで、客105が実店舗100を出たことを示す信号を仮想店舗ツール405へ送信し得る。特定の実施形態では、客105が実店舗100から去ったことを決定することに応答して、仮想店舗ツール405は、客105が、セットされた期間内に、実店舗100での彼/彼女のショッピングセッションの領収書を受け取ることを期待すべきである、ことを示す通知を客105のデバイスへ送る。
実店舗100での客105のショッピングセッションが終了していないとステップ1035で仮想店舗ツール405が決定する場合に、仮想店舗ツール405はステップ1010へ戻り、客105が物理ラック210から何らかの追加のアイテム315を選択しているかどうかを決定する。具体的に、仮想店舗ツール405は、客105が他の物理ラック210と関係を持つことに関連したイベントの指示をツールが受け取っているかどうかを決定する。物理ラック210は、客105が関係を持っていると仮想店舗ツール405が以前に決定した物理ラックと同じものであっても、又は異なる物理ラックであってもよい。このようにして、仮想店舗ツール405は、任意の数の仮想アイテム320で仮想ショッピングカート420をポピュレートし得る。
他方で、実店舗100での客105のショッピングセッションが終了したとステップ1035で仮想店舗ツール405が決定する場合に、仮想店舗ツール405は、仮想ショッピングカート420に格納されている仮想アイテム320に基づいて、ショッピングセッション中に客105によって選択されたアイテム315の料金を客105に請求し、領収書を生成する。仮想店舗ツール405が領収書を生成する様態は、図14の説明において、以下で更に詳細に記載される。客105に料金を請求するために、本開示は、仮想店舗ツール405が、客105に割り当てられている識別番号455に従って、客105の支払い情報をメモリ440に記憶してもよいことを企図している。次に、ステップ1045で、仮想店舗ツール405は、領収書を客105へ送る。
図10に表されている方法1000に対しては、変更、追加、又は削除が行われてもよい。方法1000は、より多い、より少ない、又は他のステップを含んでもよい。例えば、ステップは、並行して又は任意の適切な方法で実行されてよい。仮想店舗ツール405(又はそのコンポーネント)がステップを実行するものとして説明されているが、例えば、デバイス115のような、システム400のいずれかの適切なコンポーネントが、方法の1つ以上のステップを実行してもよい。
[V.仮想レイアウトの生成]
特定の実施形態では、仮想店舗ツール405のレイアウト生成部460は、第2グラフィカルユーザインターフェース1100を表示するよう構成され、これを通じて、ユーザ120は、実店舗100の物理レイアウト200をエミュレートするよう構成される仮想レイアウト205を生成し得る。図11A及び11Bは、そのようなグラフィカルユーザインターフェース1100の例示的な実施形態を表す。
[a.物理ラックの物理レイアウトをエミュレートするための仮想レイアウトでの仮想ラックの配置]
仮想店舗ツール405のレイアウト生成部460は、実店舗100に置かれている物理ラック210に関連した位置及び向きの組を受け取ることに応答して、実店舗100の物理レイアウト200をエミュレートするよう構成される仮想レイアウト205を生成し得る。レイアウト生成部460は、如何なる適切な方法でも位置及び向きの組を受け取ってよい。例えば、仮想店舗ツール405は、ユーザがグラフィカルユーザインターフェース1100で仮想ラック230を作成し、それから、仮想ラック230を仮想レイアウト205上の所与の位置にドラッグ・アンド・ドロップすること及び/又は仮想ラック230を仮想レイアウト205上の所与の向きに回転させることによって、グラフィカルユーザインターフェース1100を通じて、ユーザ120から位置及び向きを受け取り得る。他の例として、レイアウト生成部460は、仮想店舗ツール405にアップロードされたファイルから位置及び向きを受け取ってもよい。例えば、ユーザ120は、グラフィカルユーザインターフェース1100上の「ファイルをここにドロップしてください」(“drop your file here”)ボタン1150を用いて、位置及び向きを含むファイルをアップロードし得る。ファイルは、位置及び角度の対を含むリストを含み得る。特定の実施形態では、各位置は、実店舗100での物理ラック210の質量位置を指定し得る。いくつかの実施形態で、各位置は、実店舗100での物理ラック210の所与の角の位置を指定し得る。位置は、物理レイアウト200に重ね合わされている任意の座標系に関して指定されてもよい。例えば、各位置は、原点が実店舗100の真ん中に位置している直交座標系の(x,y)座標として指定されてよい。特定の実施形態では、各向きは、所与の方向に対する物理ラック210の角度を指定し得る。例えば、各向きは、上記の例の直交座標系のx軸に対する物理ラック210の角度を指定し得る。特定の実施形態では、各物理ラック210について、ファイルは、物理ラック210の長さ及び幅を更に含んでもよい。
位置及び向きを受け取ることに応答して、レイアウト生成部460は、各仮想ラック230を仮想レイアウト205上で仮想的な位置において仮想的な向きで置く。ここで、仮想レイアウト205上の所与の仮想ラック230の仮想的な位置及び仮想的な向きは、物理レイアウト200における対応する物理ラック210の物理的な位置及び物理的な向きを表す。図11Aは11個の仮想ラック230を含む例を表すが、本開示は、仮想レイアウト205が仮想ラック230をいくつでも含んでよいと考えている。特定の実施形態では、仮想店舗ツール405は、識別番号1105に従って、結果として得られた仮想レイアウト205をメモリ440に記憶する。更に、レイアウト生成部460は、仮想レイアウト205の各仮想ラック230を、ラック識別番号755に従って、メモリ440に記憶してもよい。
仮想レイアウトツール405はまた、仮想レイアウト205上の仮想ラック230のいずれかについて新しい位置及び/又は向きを受け取ることに応答して、所与の仮想レイアウト205を変更してもよい。仮想レイアウト205の変更は、仮想レイアウト205によってエミュレートされている物理レイアウト200が変化した状況で好ましい場合がある。レイアウト生成部460は、如何なる適切な方法でも、仮想ラック230の新しい位置及び/又は新しい向きを受け取ってよい。例えば、レイアウト生成部460は、ファイルから新しい位置及び/又は向きを読み出してよい。ファイルは、仮想ラック230aに割り当てられている識別番号755aを用いて、仮想ラック230aの新しい位置及び/又は向きを指定し得る。例えば、各仮想ラック230について、ファイルは、その仮想ラック203に割り当てられている識別番号755と、ラックの新しい位置の直交座標(x,y)と、ラックの新しい向きを指定する、x軸に対して測定された角度とを含み得る。他の例として、レイアウト生成部460は、グラフィカルユーザインターフェース1100から受け取られた入力に基づいて、仮想ラック230の新しい位置及び/又は向きを受け取ってもよい。例えば、図11Aに表されているように、レイアウト生成部460は、仮想レイアウト205上の第1位置から仮想レイアウト205上の新しい位置1130への仮想ラック230kのドラッグを表す入力を受け取り得る。そのような入力を受け取ることに応答して、レイアウト生成部460は、図11Bに表されているように、新しい仮想位置1130に仮想ラック230kを置き得る。他の例として、仮想店舗ツール405は、第1向きから新しい向きへの仮想ラック230の回転を表す入力を受け取ってもよい。そのような入力を受け取ることに応答して、レイアウト生成部460は、この新しい向きにより仮想レイアウト205上で仮想ラック230を置き得る。
[b.物理ラックに置かれている物理アイテムをエミュレートする仮想ラックでの仮想ラックアイテムの配置]
仮想レイアウト205に仮想ラック230を置くことに加えて、レイアウト生成部460は、仮想アイテム320で仮想ラック230をポピュレートするよう動作する。例えば、レイアウト生成部460は、実店舗100で各ラック210に置かれる物理アイテム315を指定するプラノグラム(planogram)を受け取ってよい。例えば、各物理ラック210について、プラノグラムは、物理ラック210に置かれる物理アイテム315のリストを含み得る。各物理アイテム315について、リストは、その物理アイテム315が置かれるべきである物理ラック210のシェルフ305と、その物理アイテム315が置かれるべきである各シェルフ305のゾーン325とを指定し得る。プラノグラムを受け取ることに応答して、レイアウト生成部460は、対応する仮想アイテム320を仮想ラック230に置き得る。他の例として、レイアウト生成部460は、仮想ラック230ごとの仮想アイテム320のリストを受け取ってもよく、リスト内の各仮想アイテム320は物理アイテム315と関連付けられている。そのようなリストは、物理アイテム315をエミュレートする仮想アイテム320ごとに、店舗識別番号1105、ラック識別番号755、シェルフ識別番号750、及び/又はゾーン識別番号745を指定し得る。ここで、店舗識別番号1105は、物理アイテム315を保管する実店舗100を識別し、ラック識別番号755は、物理アイテム315を保持している実店舗100内の物理ラック210を識別し、シェルフ識別番号750は、物理アイテム315が置かれている物理ラック210の物理シェルフ305を識別し、ゾーン識別番号745は、物理アイテム315を収容している物理シェルフ305のゾーンを識別する。特定の実施形態では、ゾーン識別番号745は、物理アイテム315を収容している物理シェルフ305のゾーンに結合されているセンサ498のセンサ識別番号に対応し得る。レイアウト生成部460は、それから、店舗識別番号1105、ラック識別番号755、シェルフ識別番号750、及びゾーン識別番号745に従って、仮想アイテム320をメモリ440に記憶し得る。このとき、レイアウト生成部460は、店舗識別番号1105を仮想レイアウト205に、ラック識別番号755を仮想ラック230に、シェルフ識別番号750を仮想シェルフ310に、及びゾーン識別番号745を、物理アイテム315を収容している物理シェルフ305の物理ゾーンをエミュレートするよう構成される仮想シェルフ310の仮想ゾーンに割り当てている。ゾーンへの物理シェルフ305及び仮想シェルフ310の分割は、図13C及び13Dの説明において、以下で更に詳細に記載される。
他の例として、レイアウト生成部460は、アイテムのスクロール可能なリストを含むドロップ・ダウン・メニューから、所与の仮想ラック230に保管する仮想アイテム320を受け取ってよい。そのようなドロップ・ダウン・メニュー1135の例は、図11Bに表されている。図11A及び11Bに表されているように、ユーザ120は、所与の仮想シェルフ310のドロップ・ダウン・メニュー1135から物理アイテム名1130a、bを選択し得る。これに応えて、レイアウト生成部460は、物理アイテム名1130a、bを有している物理アイテム315に関連した仮想アイテム320を仮想シェルフ310に格納する。
第2グラフィカルユーザインターフェース1100はまた、ラックカメラ495を仮想レイアウト205内の仮想ラック230の夫々に割り当てるために使用されてもよい。図11A及び11Bに表されているように、レイアウト生成部460は、第2グラフィカルユーザインターフェース1100を通じて、ラックカメラフィードセグメント425aないし425fの組をユーザ120に提示し得る。各ラックカメラフィードセグメント425は、実店舗100に置かれているラックカメラ495から受け取られたラックカメラフィード620から生成される。特定の実施形態では、ユーザ120は、仮想ラック230に割り当てるラックカメラ495を選択し得る。ユーザ120は、ラックカメラフィードセグメント425aないし425fのうちのどれが、ユーザ120によって決定される物理ラック210(仮想ラック230によってエミュレートされる)の最良のビューを、ユーザ120に提供するかに基づいて、所与のラックカメラ495を選択してよい。ユーザ120は、如何なる適切な方法でもラックカメラ495を選択してよい。例として、特定の実施形態では、ユーザ120は、ラックカメラ495によって生成されて第2グラフィカルユーザインターフェース1100に表示されたラックカメラフィードセグメント425をクリックすることによって、所与のラックカメラ495を仮想ラック230に割り当ててよい。例えば、ユーザ120は、ラックカメラフィードセグメント425aを生成したラックカメラ495aを仮想ラック230aに割り当てるために、ラックカメラフィードセグメント425aをクリックしてよい。ユーザ120がラックカメラフィードセグメント425aをクリックすることに応答して、レイアウト生成部460は、ラックカメラ495aに割り当てられているラックカメラ識別番号1125aを仮想ラック230aと関連付け得る。
第2グラフィカルユーザインターフェース1100は、レイアウト生成部460が店舗識別番号1105に従ってメモリ440に記憶し得る任意の数の仮想レイアウト205を生成するために使用されてよい。仮想店舗ツール405は、関連する店舗識別番号1105を用いて所与の仮想レイアウト205を後に読み出し、仮想レイアウト205をディスプレイ410に表示し得る。
レイアウト生成部460は、メモリ440に記憶されており、プロセッサ435によって実行されるソフトウェアモジュールであってよい。レイアウト生成部460の動作の例は次の通りである:(1)実店舗100に置かれている物理ラック210に関連した位置及び向きの組を受け取る;(2)夫々の受け取られた位置及び向きについて、物理レイアウト200内の対応する物理ラック210の物理的な位置及び物理的な向きを表す仮想的な位置及び仮想的な向きにより仮想レイアウト205に仮想ラック230を置く;(3)仮想ラック230の新しい位置に関連した入力が受け取られる場合に、仮想ラック230を仮想レイアウト205上で新しい位置に置く;(4)仮想ラック230の新しい向きに関連した入力が受け取られる場合に、仮想ラック230を新しい向きにより仮想レイアウト205上に置く;(5)各仮想ラック230について、仮想アイテム320の組を受け取り、仮想アイテム320の組を仮想ラック230に置く;(6)各仮想ラック230について、ラックカメラ495をその仮想ラックに割り当てる。
[c.仮想レイアウトの生成方法]
図12は、仮想店舗ツール405が、実店舗100の物理レイアウト200をエミュレートするよう構成される仮想レイアウト205を生成し得る様態を説明するフローチャートを表す。ステップ1205で、仮想店舗ツール405は、仮想レイアウト205上で仮想的な位置に仮想的な向きで仮想ラック230の組を置く。仮想ラック230の仮想的な位置及び仮想的な向きは、実店舗100内の物理ラック210の物理的な位置及び物理的な向きをエミュレートするよう選択される。仮想店舗ツール405は、如何なる適切な方法でも仮想的な位置及び仮想的な向きを受け取ってよい。例えば、仮想店舗ツール405は、グラフィカルユーザインターフェース1100を通じてユーザ120から位置及び向きを受け取ってよい。他の例として、仮想店舗ツール405は、仮想店舗ツール405にアップロードされたファイルから位置及び向きを受け取ってもよい。
ステップ1210で、仮想店舗ツール405は、新しい仮想的な位置への仮想ラック230のドラッグを表す入力が受け取られたかどうかを決定する。新しい仮想的な位置への仮想ラック230のドラッグを表す入力が受け取られたとステップ1210で仮想店舗ツール405が決定する場合には、ステップ1215で、仮想店舗ツール405は、仮想ラック230を新しい仮想的な位置に置き、ステップ1220へ進む。他方で、新しい仮想的な位置への仮想ラック230のドラッグを表す入力が受け取られたとステップ1210で仮想店舗ツール405が決定しない場合には、仮想店舗ツール405は、単に、ステップ1220へ進む。
ステップ1220で、仮想店舗ツール405は、初期の向きから新しい向きへの仮想ラック230の回転を表す入力が受け取られたかどうかを決定する。初期の向きから新しい向きへの仮想ラック230の回転を表す入力が受け取られたとステップ1220で仮想店舗ツール405が決定する場合には、ステップ1225で、仮想店舗ツール405は、仮想ラック230の向きを初期の向きから新しい向きへ調整し、ステップ1230へ進む。他方で、初期の向きから新しい向きへの仮想ラック230の回転を表す入力が受け取られなかったとステップ1220で仮想店舗ツール405が決定する場合には、仮想店舗ツール405はステップ1230へ進む。
ステップ1230で、仮想店舗ツール405は、各仮想ラック230について、その仮想ラック203に割り当てられている仮想アイテム320の組を受け取る。仮想店舗ツール405は、如何なる適切な方法でも仮想アイテム320の組を受け取ってよい。例えば、仮想店舗ツール405は、実店舗100内の各物理ラック210に置かれる物理アイテム315を指定するプラノグラムを受け取ってよい。例えば、各物理ラック210について、プラノグラムは、物理ラック210に置かれる物理アイテム315のリストを含んでよい。各物理アイテム315について、リストは、その物理アイテム315が置かれるべきである物理ラック210のシェルフ305と、その物理アイテム315が置かれるべきである各シェルフ305のゾーン325とを指定し得る。他の例として、仮想店舗ツール405は、ディスプレイ410に表示されているドロップ・ダウン・メニュー1135から仮想アイテム320を受け取ってもよい。ドロップ・ダウン・メニュー1135は、ユーザ120が各仮想ラック230に置かれる1つ以上のアイテムを選択し得る物理アイテム315のリストを含んでよい。ドロップ・ダウン・メニュー1135は、任意の数の物理アイテム314のスクロール可能なリストを含んでよい。ドロップ・ダウン・メニュー1135からの物理アイテム315の選択を受け取ることに応答して、仮想店舗ツール405は、対応する仮想アイテム320を識別し得る。仮想店舗ツール405が仮想アイテム320の組を受け取った後、ステップ1235で、仮想店舗ツール405は、対応する仮想ラック230に仮想アイテム320の各組を置く。
ステップ1240で、仮想店舗ツール405は、ラックカメラ495を各仮想ラック230に割り当てる。仮想店舗ツール405は、如何なる適切な方法でもラックカメラ495を各仮想ラック230に割り当ててよい。例えば、特定の実施形態では、ユーザ120が、仮想ラック230に割り当てるラックカメラ495を選択してもよい。ユーザ120は、ラックカメラフィードセグメント425aないし425fのうちのどれが、ユーザ120によって決定される対応する物理ラック210の最良のビューを、ユーザ120に提供するかに基づいて、仮想ラック230のための所与のラックカメラ495を選択し得る。ステップ1245で、仮想店舗ツール405は、仮想レイアウト205をメモリ440に記憶する。特定の実施形態では、仮想店舗ツール405は、店舗識別番号1105に従って仮想レイアウト205をメモリ440に記憶し得る。
図12に表されている方法1200に対しては、変更、追加、又は削除が行われてもよい。方法1200は、より多い、より少ない、又は他のステップを含んでもよい。例えば、ステップは、並行して又は任意の適切な方法で実行されてよい。仮想店舗ツール405(又はそのコンポーネント)がステップを実行するものとして説明されているが、例えば、デバイス115のような、システム400のいずれかの適切なコンポーネントが、方法の1つ以上のステップを実行してもよい。
[VI.実店舗において客を追跡するよう構成される外部アルゴリズムと組み合わせた使用]
仮想店舗ツール405は、外部システム485によって生成されるアルゴリズム488と組み合わされて使用されてよい。アルゴリズム488は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、客105を追跡し、実店舗100での客105aのショッピングセッション中に所与の客105aによって選択されたアイテム315を決定するよう構成される。例えば、仮想店舗ツール405は、アルゴリズム488によってなされた決定を妥当性確認するために、及び/又はアルゴリズム488の精度を改善するのを助けるために、使用されてよい。図13~16は、仮想店舗ツール405のこの態様について記載するために使用される。
[a.アルゴリズム入力センサ]
上述されたように、外部アルゴリズム488は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、客105を追跡し、実店舗100でのショッピングセッション中に所与の客105によって選択されたアイテムを決定するよう構成される。本開示は、実店舗100が如何なるタイプの適切なセンサ498も含んでもよいと考えている。例えば、実店舗100は、カメラ、光検出及び測距センサ、ミリメートル波センサ、重量センサ、及び/又は実店舗100において客105を追跡しかつ実店舗100から1つ以上のアイテムを選択する客105に関連した情報を検出するよう動作可能な任意の他の適切なセンサを含んでよい。
図13A~13Dは、実店舗100がセンサ498のためにカメラ1305及び重量センサ1300の両方を含む実施形態の例を示す。本開示は、外部システム485が、どの客105が実店舗100にある物理陳列ラック210からどのアイテムを持ち去ったかを決定するために、アルゴリズム488を用いて、カメラ1305から受け取られた位置情報と、重量センサ1300から受け取られた重さ情報とを処理し得ることを企図している。このようにして、外部システム485は、実店舗100でのショッピングセッション中に、客105によって選択されたとアルゴリズム488によって決定されたアイテムのアルゴリズム的ショッピングカートを生成し得る。
図13Aから分かるように、実店舗100の内部は、実店舗100の天井に位置付けられているカメラ1305のアレイを含み得る。特定の実施形態では、このカメラ1305のアレイは、レイアウトカメラ490及び/又はラックカメラ495を含んでよい。他の実施形態では、カメラ1305のアレイは、レイアウトカメラ及びラックカメラ495とは別である。一般に、カメラ1305のアレイは、実店舗100の内部の部分の映像を生成する。これらの映像は、空間内の客105のフレーム又は画像を含み得る。外部システム485は、フレーム内の客105を検出するために、カメラ1305のアレイからのこれらのフレームを処理する。
図13Aに表されているように、カメラ1305のアレイは、実店舗100の天井にわたって格子パターンで配置されているカメラ1305を含み得る。本開示は、50台のカメラ1305を含むカメラ1305のアレイを示すが、カメラ1305のアレイは、任意の適切な数のカメラ1305を含んでよい。一般に、カメラ1305のアレイ内のカメラ1305は、長方形アレイを形成するよう配置される。図13Aの例では、カメラ1305のアレイは、5×10のカメラ1305のアレイ(5行10列のカメラ1305)である。カメラ1305のアレイは、如何なる適切な寸歩のアレイでも配置されてよい。
各カメラ1305は、外部システム485へ通信可能に結合され、捕捉された映像を外部システム485へ送る。カメラ1305は、如何なる適切な方法でも外部システム485へ通信可能に結合される。例えば、カメラ1305は、外部システム485のコンポーネントへハードワイヤードされてよい。他の例として、カメラ1305は、如何なる適切な無線プロトコル(例えば、WiFi)を用いても外部システム485へ無線により結合してよい。
カメラ1305は、実店舗100の内部空間の映像を捕捉するための如何なる適切なデバイスであってもよい。例えば、カメラ1305は、空間の2次元映像(例えば、x-y平面)を捕捉し、また、映像内の人々及び/又は対照物の高さを検出することができる3次元カメラであってよい。他の例として、カメラ1305は、空間の2次元映像を捕捉する2次元カメラであってもよい。カメラ1305のアレイは、異なるタイプのカメラ1305の混合を含んでもよい。
図13Bは、実店舗100の物理ラック210のシェルフ305に置かれているアイテム315の重さを検出するようシェルフ305へ結合され得る例示的な重量センサ1300を表す。重量センサ1300は、次いで、この情報を外部システム485へ送ってよい。外部システム485は、アイテム315が物理ラック210から持ち去られるかどうか及びそのような場合を決定するために、重量センサ1300によって検出された重さを追跡する。
図13Bから分かるように、重量センサ1300は、プレート1315a及び1315bと、ロードセル1310a、1310b、1310c、及び1310dと、ワイヤ1320a、1320b、1320c、1320d、及び1325とを含む。一般に、重量センサ1300のコンポーネントは、重量センサ1300が重量センサ1300の上又はその近くに置かれているアイテム315の重さを検出することができるように組み立てられる。
プレート1315は、表面にわたってアイテム315の重さを分散させる表面を形成する。プレート1315は、例えば、金属及び/又はプラスチックなどの如何なる適切な材料から作られてもよい。アイテム315は、プレート1315の上又はその近くに位置付けられてよく、これらのアイテム315の重さは、プレート1315にわたって分散され得る。
ロードセル1310は、プレート1315a及び1315bの間に位置する。ロードセル1310は、ロードセル1310が受けた重さに基づいて電気信号を生成する。例えば、ロードセル1310は、入力された機械的な力(例えば、重さ、張力、圧縮、圧力、又はトルク)を、出力される電気信号(例えば、電流又は電圧)に変換するトランスデューサであってよい。入力される力が増大するにつれて、出力される電気信号は比例して増大する。ロードセル1310は、如何なる適切なタイプのロードセルであってもよい(例えば、油圧(hydraulic)、空気圧(pneumatic)、及びひずみゲージ)。ロードセル1310は形状が円筒形であるものとして表されているが、それらは、考えられている特定の実施にとって適切である任意の適切なサイズ及び形状であってよい。
ロードセル1310からの信号は、重量センサ1300の上又はその近くに位置付けられたアイテム315の全重量を決定するよう解析され得る。ロードセル1310は、重量センサ1300の上又はその近くに位置付けられたアイテム315の重さが欠くロードセル1310に等しく分散するように位置付けられ得る。図13Bの例では、ロードセル1310は、プレート1315a及び1315bの角から実質的に等距離で位置付けられている。例えば、ロードセル1310aは、プレート1315a及び1315bの角から距離d1に位置付けられている。ロードセル1310bは、プレート1315a及び1315bの角から距離d2に位置付けられている。ロードセル1310cは、プレート1315a及び1315bの角から距離d3に位置付けられている。ロードセル1310dは、プレート1315a及び1315bの角から距離d4に位置付けられている。距離d1、d2、d3及びd4は、互いに実質的に等しくてよい。本開示は、5ないし10ミリメートルだけ異なるが、依然として互いに実質的に等しいと見なされる距離を考えている。プレート1315a及び1315bの角から実質的に等しい距離にロードセル1310を位置付けることによって、重量センサ1300の上又はその近くに位置付けられたアイテムの重さは、ロードセル1310にわたって等しく分散する。結果として、重量センサ1300の上又は近くに位置付けられたアイテムの全重量は、個々のロードセル1310にかかる重さを合計することによって、決定され得る。
ロードセル1310は、ロードセル1310にかかる重さを示す電気信号を送る。例えば、ロードセル1310は、ロードセル1310にかかっている重さ又は力に応じて変化する電流を生成し得る。各ロードセル1310は、電気信号を運ぶワイヤ1320へ結合されている。図13Bの例では、ロードセル1310aはワイヤ1320aへ結合されており、ロードセル1310bはワイヤ1320bへ結合されており、ロードセル1310cはワイヤ1320cへ結合されており、ロードセル1310dはワイヤ1320dへ結合されている。ワイヤ1320は、重量センサ1300から離れて延在するワイヤ1325を形成するようまとめられる。ワイヤ1325は、信号を外部システム485へ送る回路基板へ、ロードセル1310によって生成された電気信号を運ぶ。
特定の実施形態では、図13Cに表されているように、複数の重量センサ1300が、物理ラック210の所与の物理シェルフ305へ結合され得る。例えば、図13Cに表されている例では、物理シェルフ305は4つの重量センサ1300を含む。物理シェルフ305での重量センサ1300の位置は、物理シェルフ305のゾーンの組を画定し得る。例えば、第1重量センサ1300aは第1ゾーン325aを画定してよく、第2重量センサ1300bは第2ゾーン325bを画定してよく、第3重量センサ1300cは第3ゾーン325cを画定してよく、第4重量センサ1300dは第4ゾーン325cを画定してよい。特定の実施形態では、各ゾーン325は、異なる物理アイテム315と関連付けられてよく、それにより、各重量センサ1300は、物理シェルフ305から特定のアイテム315を持ち去ることに関連した重さ変化を検出するよう構成される。物理シェルフ305のゾーン325aないし325dをエミュレートするように、仮想シェルフ310は、同様に、ゾーン330aないし330dに分けられてよく、各仮想ゾーン330は、所与の仮想アイテム320と関連付けられる。このようにして、物理シェルフ305の第1物理ゾーン325aに保管されている物理アイテム315aの持ち去りを示す信号が重量センサ1300aから受け取られる場合に、信号は、第1物理ゾーン325aと第1仮想ゾーン330aとの間の対応に基づいて、第1仮想ゾーン330aに保管されている仮想アイテム320aを識別するために使用されてよい。
[b.仮想ショッピングカートとアルゴリズム的ショッピングカートとの間の比較]
特定の実施形態では、仮想店舗ツール405は、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、実店舗100内の客105を追跡し、実店舗100でのショッピングセッション中に客105によって選択された物理アイテム315を決定するよう訓練されたアルゴリズムとともに、使用されてよい。上述されたように、図13A~13Dの説明において、センサ498は、カメラ1305及び重量センサ1300を含み得る。
アルゴリズム488は、如何なる適切な方法でも、実店舗100において客105によって選択されたアイテム315を決定するようプログラムされてよい。例えば、アルゴリズム488は、カメラ1305のアレイから外部システム485によって受け取られた映像フレームを処理して、フレーム内で検出された客105の座標を決定し得る。アルゴリズム488は、次いで、いつフレームが受け取られたかに基づいて、これらの座標にタイムスタンプを付してよい。座標及びタイムスタンプに基づいて、アルゴリズム488は、実店舗100での客105の位置を決定し得る。アルゴリズム488はまた、いつアイテム315が物理シェルフ305から持ち去られたかを決定するために、重量センサ1300から外部システム485によって受け取られた信号を処理してもよい。実店舗100での客105の位置と、いつアイテム315が物理シェルフ305から持ち去られたかの決定とを用いて、アルゴリズム488は、どの客105がどのアイテム315を取ったかを決定し得る。
アルゴリズム488と組み合わせた仮想店舗ツール405の使用の例として、仮想店舗ツール405は、実店舗100でのショッピングセッション中に客105によって選択されたとアルゴリズム488によって決定された物理アイテム315と、ショッピングセッション中に客105によって選択されたと仮想店舗ツール405によって決定された仮想アイテム320との間の不一致を解消するために使用されてよい。客105によって選択されたとアルゴリズム488によって決定された物理アイテム315と、客105によって選択されたと仮想店舗ツール405によって決定された仮想アイテム320との間に、不一致が存在する場合に、仮想店舗ツール405によってなされた決定はまた、アルゴリズム488の将来の精度を改善するために使用されてもよい。図14~16は、仮想店舗ツール405のこれらの態様について記載するために使用される。
図14は、仮想店舗ツール405の解消コンポーネント475を表す。解消コンポーネント475は、仮想ショッピングカート420をアルゴリズム的ショッピングカート1420と比較するよう構成される。本開示は、仮想店舗ツール405が外部システム485からアルゴリズム的ショッピングカート1420を受け取ってよいと考えている。アルゴリズム的ショッピングカート1420は、実店舗100に設置されているセンサ498(カメラ1305及び重量センサ1300を含む)から受け取られた入力に基づいて、客105によって選択されたとアルゴリズム488によって決定された物理アイテム315を含み得る。例えば、アルゴリズム的ショッピングカートは、第1物理アイテム315l、第2物理アイテム315m、及び第3物理アイテム315nを含んでよい。物理アイテム315lないし315nの夫々は、所与の購入価格と関連付けられる。例えば、第1物理アイテム315lは第1物理価格1440と関連付けられ、第2物理アイテム315mは第2物理価格1450と関連付けられ、第3物理アイテム315nは第3物理価格1460と関連付けられる。図14では、3つの物理アイテム315を含むものとして表されているが、本開示は、アルゴリズム的ショッピングカート1420が物理アイテム315をいくつでも含んでよいと考えている。仮想ショッピングカート420は、実店舗100でのショッピングセッション中に客105によって選択されたと仮想店舗ツール405によって夫々決定された第1仮想アイテム320i、第2仮想アイテム320j、及び第3仮想アイテム320kを含む。仮想アイテム320iないし320kの夫々は、所与の購入価格と関連付けられる。図14では、3つの仮想アイテム320を含むものとして表されているが、本開示は、仮想ショッピングカート420が仮想アイテム320をいくつでも含んでよいと考えている。更に、仮想ショッピングカート420は、アルゴリズム的ショッピングカート1420と同数のアイテムを含む必要はない。
解消コンポーネント475は、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に何らかの不一致1435が存在するかどうかを決定するために、仮想ショッピングカート420の中身とアルゴリズム的ショッピングカート1420の中身との間の比較1430を実行するよう構成される。解消コンポーネント475は、(1)2つのカートが互いに一致すること、又は(2)2つのカートが互いに一致しないこと、のどちらかを決定し得る。特定の実施形態では、2つのカートが互いに一致しないことを決定することに応答して、解消コンポーネント475は、(1)仮想ショッピングカート420がエラーを含むために、2つのカートが互いに一致しないこと、又は(2)アルゴリズム的ショッピングカート1420がエラーを含むために、2つのカートが互いに一致しないこと、を決定し得る。
2つのカートが互いに一致することを決定することは、仮想ショッピングカート420に存在する第1仮想アイテム320iが、アルゴリズム的ショッピングカート1420に存在する第1物理アイテム315lをエミュレートするよう構成され、仮想ショッピングカート420に存在する第2仮想アイテム320jが、アルゴリズム的ショッピングカート1420に存在する第2物理アイテム315mをエミュレートするよう構成され、仮想ショッピングカート420に存在する第3仮想アイテム320kが、アルゴリズム的ショッピングカート1420に存在する第3物理アイテム315nをエミュレートするよう構成されることを決定することを含み得る。他方で、2つのカートが互いに一致しないことを決定することは、(1)仮想ショッピングカート420が、アルゴリズム的ショッピングカート1420が物理アイテム315よりも多い仮想アイテム320を含むことを決定すること、(2)仮想ショッピングカート420が、アルゴリズム的ショッピングカート1420が物理アイテム315を含むよりも少ない仮想アイテム320を含むことを決定すること、(3)仮想ショッピングカート420に存在する仮想アイテムが、アルゴリズム的ショッピングカート1420に存在しない物理アイテム315をエミュレートするよう構成されることを決定すること、又は(4)仮想ショッピングカート420に存在する仮想アイテム320が、アルゴリズム的ショッピングカート1420に存在する物理アイテム315をエミュレートするよう構成されないことを決定すること、を含み得る。
本開示は、2つのカートのうちの一方がエラーを含むために2つのカートが互いに一致しないことを解消コンポーネント475が決定し得る実施形態において、2つのカートのうちの一方がエラーを含むことを解消コンポーネント475が如何なる適切な方法でも決定し得ると考えている。例として、特定の実施形態では、解消コンポーネント475は、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に不一致が存在するときはいつでも、アルゴリズム的ショッピングカート1420がエラーを含むと常に決定してよい。他の例として、解消コンポーネント475は、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に存在する不一致のタイプに基づいて、2つのカートのうちの一方がエラーを含むことを決定してもよい。例えば、解消コンポーネント475は、2つのカートの間の不一致1435が2つのカートの間の特定のアイテムの数量の違いの結果である場合に、仮想ショッピングカート420がエラーを含むと決定するよう構成されてよい。例えば、仮想ショッピングカート420は、第1物理アイテム315lをエミュレートするよう構成される第1仮想アイテム320iの1つのインスタンスを含んでよく、一方、アルゴリズム的ショッピングカート1420は、第1物理アイテム315lの2つのインスタンスを含んでよい。そのような状況で、客105が所与の物理シェルフ305から1よりも多い物理アイテム315lを選択したことをカメラフィードセグメント415及び/又は425から判断することは困難であり得るから、アルゴリズム的ショッピングカート1420が第1物理アイテム315lの誤った数量を含むよりも、仮想ショッピングカート420が第1仮想アイテム320iの誤った数量を含む方が、可能性が高い。他方で、実店舗100内の重量センサ1300から受け取られた情報は、1よりも多い物理アイテム315lが物理シェルフ305から選択されたことをより正確に示し得る。2つのカートの間の特定のアイテムの異なる数量を含まない不一致1435については、解消コンポーネント475は、デフォルトとして、アルゴリズム的ショッピングカート1420がエラーを含むと決定するよう構成されてよい。
他の例として、解消コンポーネント475は、ユーザ120から受け取られた入力に基づいて、仮想ショッピングカート420又はアルゴリズム的ショッピングカート1420のどちらか一方がエラーを含むことを決定するよう構成されてよい。例えば、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に不一致1435が存在することを決定することに応答して、解消コンポーネント475は、不一致1435をユーザ120に忠告するメッセージをデバイス115へ送ってもよい。ユーザ120は、次いで、仮想ショッピングカート420がエラーを含むこと、又はアルゴリズム的ショッピングカート1420がエラーを含むことのどちらか一方を示す応答を、仮想店舗ツール405へ送り得る。ユーザ120は、如何なる適切な方法でも、仮想ショッピングカート420及びアルゴリズム的ショッピングカート1420のうちの一方がエラーを含むことを決定してよい。例として、ユーザ120は、仮想ショッピングカート420の中身を確認すること、又は仮想ショッピングカート420がエラーを含むことを決定すること、のどちらか一方のために、カメラフィードセグメント415及び/又425をレビューし得る。例えば、対応する仮想アイテム320が仮想ショッピングカート420に存在する場合に、不一致がアルゴリズム的ショッピングカート1420における物理アイテム315の不存在を含むならば、ユーザ120は、物理ラック210から物理アイテム315を選択する客105をカメラフィードセグメントが捕捉することを確かめるために、カメラフィードセグメント415及び/又は425をレビューし得る。他の例として、対応する仮想アイテム320が仮想ショッピングカート420に不在である場合に、不一致がアルゴリズム的ショッピングカート1420における物理アイテム315の存在を含むならば、ユーザ120は、(1)ユーザ120が、物理ラック210から物理アイテム315を選択する客105を決して観察しないことを確かめるか、あるいは、(2)ユーザ120が、カメラフィードセグメント415及び/又は425において、物理ラック210から物理アイテム315を選択する客105を見る一方で、ユーザ120が、その後に、物理アイテム315を置いて、実店舗100にアイテム315に残す客105を見ることを確かめるかのどちらかのために、カメラフィードセグメント415及び/又は425をレビューし得る。
解消コンポーネント475はまた、客105のための領収書1465を生成するよう構成される。特定の実施形態では、解消コンポーネント475は、仮想ショッピングカート420の中身に基づいて領収書1465を生成する。例えば、解消コンポーネント475は、比較1430を実行する前に、仮想ショッピングカート420の中身に基づいて領収書1465を生成してよい。他の実施形態では、解消コンポーネント475は、比較1430に基づいて領収書1465を生成してもよい。例えば、仮想ショッピングカート420がアルゴリズム的ショッピングカート1420と一致することを解消コンポーネント475が決定する場合に、解消コンポーネント475は、客105のための領収書1465aを生成し得る。領収書1465aは、第1仮想価格1410、第2仮想価格1420、及び第3仮想価格1425から決定された、第1仮想アイテム320i、第2仮想アイテム320j、及び第3仮想アイテム320kの総費用を含み得る。ここで、仮想ショッピングカート420はアルゴリズム的ショッピングカート1420と一致するから、第1仮想アイテム320i、第2仮想アイテム320j、及び第3仮想アイテム320kの総費用1475を決定することは、第1物理アイテム315l、第2物理アイテム315m、及び第3物理アイテム315nの総費用を決定することと等価である。他の例として、仮想ショッピングカート420がエラーを含むと解消コンポーネント475が決定する場合に解消コンポーネント475は、客105のための領収書1465bを生成し得る。領収書1465bは、第1物理価格1440、第2物理価格1450、及び第3物理価格1460から決定された、第1物理アイテム315l、第2物理アイテム315m、及び第3物理アイテム315nの総費用1480を含み得る。更なる例として、アルゴリズム的ショッピングカート1420がエラーを含むと解消コンポーネント475が決定する場合に、解消コンポーネント475は、客105のための領収書1465cを生成し得る。領収書1465cは、第1仮想価格1410、第2仮想価格1420、及び第3仮想価格1425から決定された、第1仮想アイテム320i、第2仮想アイテム320j、及び第3仮想アイテム320kの総費用1475を含み得る。解消コンポーネント475が客105のための領収書1465を生成すると、解消コンポーネント475は、領収書1465に基づいて客105に料金を請求し、かつ/あるいは、客105に属するデバイス125へ領収書1465を送信してよい。
解消コンポーネント475は、メモリ440に記憶されて、プロセッサ435によって実行されるソフトウェアモジュールであってよい。解消コンポーネント475の動作の例は次の通りである:(1)仮想ショッピングカート420及びアルゴリズム的ショッピングカート1420を受け取る;(2)仮想ショッピングカート420内の仮想アイテム320の数がアルゴリズム的ショッピングカート1420内の物理アイテム315の数と同じであるかどうかを決定する;(3)仮想ショッピングカート420内の仮想アイテム320の数がアルゴリズム的ショッピングカート1420内の物理アイテム315の数とは異なる場合に、2つのカートを不一致とラベル付けする;(4)仮想ショッピングカート420内の仮想アイテム320の数がアルゴリズム物理アイテム315の数と同じである場合に、アルゴリズム的ショッピングカート1420が対応する物理アイテム315を含んでいない何らかの仮想アイテム320を仮想ショッピングカート420が含んでいるかどうかを決定する;(5)アルゴリズム的ショッピングカート1420が対応する物理アイテム315を含んでいない何らかの仮想アイテム320を仮想ショッピングカート420が含んでいる場合に、2つのカートを不一致とラベル付けする;(6)アルゴリズム的ショッピングカート1420が対応する物理アイテム315を含んでいない如何なる仮想アイテム320も仮想ショッピングカート420が含んでいない場合に、2つのカートを一致とラベル付けする;(7)2つのカートを一致とラベル付けされる場合に、領収書1465aを生成する;(8)2つのカートが不一致とラベル付けされる場合に、仮想ショッピングカート420がエラーを含むかどうかを決定する;(9)仮想ショッピングカート420がエラーを含む場合に、領収書1465bを生成する;(10)仮想ショッピングカート420がエラーを含まない場合に、領収書1465cを生成する。
[c.アルゴリズムフィードバック]
特定の実施形態では、仮想店舗ツール405は、アルゴリズム488によってなされた決定の正確さを改善するために、アルゴリズム488とともに使用されてよい。具体的に、機械学習モジュール480は、仮想ショッピングカート420の中身とアルゴリズム的ショッピングカート1420の中身との比較に基づいて、フィードバックをアルゴリズム488へ供給してよい。図15は、機械学習モジュール480の動作を表す。
図15に表されているように、特定の実施形態では、機械学習モジュール480は、アルゴリズム的ショッピングカート1420及び仮想ショッピングカート420を受け取る。機械学習モジュール480は、次いで、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に不一致が存在するかどうかを決定するために、仮想ショッピングカート420の中身とアルゴリズム的ショッピングカート1420の中身との比較1430を実行し得る。特定の他の実施形態では、機械学習モジュール480は、解消コンポーネント475から直接に、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に不一致1435が存在するとの指示を受け取ってもよい。
不一致1435は、仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間の如何なる不一致も含んでよい。例えば、不一致1435は、対応する仮想アイテム320aが仮想ショッピングカート420に存在する場合に、アルゴリズム的ショッピングカート1420における物理アイテム315aの不存在を含んでよい。そのような不一致は、物理アイテム315aが置かれている物理シェルフ305へ結合されている重量センサ1300が、物理シェルフ305からの物理アイテム315aの選択を検出することができなかった場合に、起こる可能性がある。他の例として、不一致1435は、対応する仮想アイテム320bが仮想ショッピングカート420に不在である場合に、アルゴリズム的ショッピングカート1420における物理アイテム315bの存在を含んでよい。そのような不一致は、当初は物理ラック210から物理アイテム315bを選択していた客105が、アイテム315bを置き、アイテム315bとともに実店舗100から去らなかったことをアルゴリズム488が検出しないことで生じる可能性がある。更なる例として、不一致1435は、第1客105aによって選択された第1アイテム315aが、第1客105aに割り当てられているアルゴリズム的ショッピングカート1420に存在せず、第2客105bに割り当てられているアルゴリズム的ショッピングカート1420に存在するように、第1客105aと第2客105bとの間の識別入れ替えを含んでよい。そのような識別入れ替えは、アルゴリズム488の客追跡コンポーネントで起こる可能性がある。
アルゴリズム的ショッピングカート1420と仮想ショッピングカート420との間に不一致が存在することを決定することに応答して、機械学習モジュール480は、センサ498(カメラ1305及び重量センサ1300を含む)によって受け取られた入力の中から不一致に関連したサブセット1500を決定してよい。例として、機械学習モジュール480は、不一致1435が起こったカメラフィードセグメント415及び/又は425のタイムスタンプ範囲を決定してよい。例えば、機械学習モジュール480は、カメラフィードセグメント415及び/又は425の第1タイムスタンプから第2タイムスタンプの間に捕捉された客105のショッピングセッションの部分に基づいて、仮想アイテム320aが仮想ショッピングカート420に加えられたが、対応する物理アイテム315aはアルゴリズム的ショッピングカート1420に加えられなかったことを決定し得る。結果して、機械学習モジュール480は、同じ時間インターバル(つまり、第1タイムスタンプから第2タイムスタンプの間に起こる時間インターバル)中にセンサ498から受け取られた入力のサブセット1500を決定し得る。サブセット1500は、カメラ1305から受け取られた入力のサブセット1505、及び/又は重量センサ1300から受け取られた入力のサブセット1510を含んでよい。
不一致1435に関連したサブセット1500を識別することに応答して、機械学習モジュール480は、メタデータ1540をサブセット1500に付加してよい。本開示は、メタデータ1540が、不一致1435を説明する及び/又は不一致1435に対処する如何なる情報も含んでよいと考えている。例えば、メタデータ1540をサブセット1500に付加することは、フレームが、アルゴリズム488によってそもそも決定された、客105bがアイテム315を選択することではなく、客105aがアイテム315を選択することを表すことを示すラベルを、カメラ1305から受け取られた1つ以上のフレームに付加することを含んでよい。メタデータ1540をサブセット1500に付加することに応答して、外部システム485は、アルゴリズム488を再訓練するためにサブセット1500を使用してよい。特定の実施形態では、アルゴリズム488を再訓練することは、アルゴリズム488の改善された精度をもたらし得る。
機械学習モジュール480は、メモリ440に記憶されており、プロセッサ435によって実行されるソフトウェアモジュールであってよい。機械学習モジュール480の動作の例は次の通りである:(1)アルゴリズム的ショッピングカート1420を受け取る;(2)仮想ショッピングカート420を受け取る;(3)仮想ショッピングカート420の中身をアルゴリズム的ショッピングカート1420の中身と比較する;(4)仮想ショッピングカート420とアルゴリズム的ショッピングカート1420との間に不一致1435が存在することを決定する;(5)センサ498(カメラ1305及び重量センサ1300を含む)から受け取られた入力からサブセット1500を決定する;(6)外部システム485がサブセット1500を用いてアルゴリズム488を再訓練し得るように、メタデータ1540をサブセット1500に付加する。
図16は、仮想店舗ツール405が仮想ショッピングカート420を使用してフィードバックをアルゴリズム488に供給し得る様態について説明するフローチャートを示す。ステップ1605で、解消コンポーネント475は、アルゴリズム的ショッピングカート1420を受け取る。アルゴリズム的ショッピングカート1420は、アルゴリズム488によって、実店舗100に設置されているセンサ498から受け取られた入力に基づいて、実店舗100でのショッピングセッション中に客105によって選択されたと決定された物理アイテム315の組を含む。ステップ1610で、解消コンポーネント475は、仮想ショッピングカート420を受け取る。仮想ショッピングカート420は、仮想アイテム320の組を含む。特定の実施形態では、仮想アイテム320は、ユーザ120によって、実店舗100における客105のショッピングセッションを捕捉するカメラフィードセグメント415及び/又は425に基づいて、実店舗100でのショッピングセッション中に客105によって選択されたと決定された。
ステップ1615で、解消コンポーネント475は、アルゴリズム的ショッピングカート1420の中身を仮想ショッピングカート420の中身と比較する。ステップ1620で、解消コンポーネント475は、アルゴリズム的ショッピングカート1420と仮想ショッピングカート420との間に不一致1435が存在するかどうかを決定する。アルゴリズム的ショッピングカート1420と仮想ショッピングカート420との間に不一致1435が存在しないとステップ1620で解消コンポーネント475が決定する場合に、次いで、ステップ1640で、解消コンポーネント475は、仮想ショッピングカート420の中身に基づいて、ショッピングセッションの領収書1465を生成し、領収書1465を客105のデバイス125へ送信する。アルゴリズム的ショッピングカート1420と仮想ショッピングカート420との間に不一致1435が存在するとステップ1620で解消コンポーネント475が決定する場合に、次いで、ステップ1625で、機械学習モジュール480は、センサ498から受け取られた入力の組の中から不一致に関連したサブセット1500を決定する。ステップ1630で、機械学習モジュール480は、メタデータ1540をサブセット1500に付加する。メタデータ1540は、不一致1435について説明し得る。ステップ1635で、外部システム485は、サブセット1500を使用して、アルゴリズム488を再訓練し得る。更に、ステップ1640で、解消コンポーネント475は、仮想ショッピングカート420の中身に基づいて、ショッピングセッションの領収書1465を生成し、領収書1465を客105のデバイス125へ送信する。
図16に表されている方法1600に対しては、変更、追加、又は削除が行われてもよい。方法1600は、より多い、より少ない、又は他のステップを含んでもよい。例えば、ステップは、並行して又は任意の適切な方法で実行されてよい。仮想店舗ツール405(又はそのコンポーネント)がステップを実行するものとして説明されているが、例えば、デバイス115のような、システム400のいずれかの適切なコンポーネントが、方法の1つ以上のステップを実行してもよい。
本開示にはいくつかの実施形態が開示されているが、無数の変更、変異、代替、変形、及び修正を当業者に提案することができ、本開示は、そのような変更、変異、代替、変形、及び修正を、添付の特許請求の範囲の範囲内にあるものとして包含することが意図される。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
第1のアイテムの組を含むアルゴリズム的ショッピングカートを受け取り、前記第1のアイテムの組は、アルゴリズムによって、実店舗内の設置されているセンサから受け取られた入力の組に基づいて、第1人物によって前記実店舗でのショッピングセッション中に選択されたと決定され、
前記ショッピングセッションに関連した第2のアイテムの組を含む仮想ショッピングカートを受け取り、前記ショッピングセッションの映像は、前記実店舗に置かれているカメラの組によって捕捉されたものであり、前記映像は、前記第2のアイテムの組を選択する前記人物を表し、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較し、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較することに応答して、
前記アルゴリズム的ショッピングカートと前記仮想ショッピングカートとの間に不一致が存在することを決定し、
前記入力の組の中から前記不一致に関連したサブセットを決定し、
前記不一致を説明するメタデータを前記サブセットに付加し、
前記サブセットを使用して前記アルゴリズムを訓練する
よう構成されるハードウェアプロセッサを有する装置。
(付記2)
前記プロセッサは、
第3のアイテムの組を含む第2アルゴリズム的ショッピングカートを受け取り、前記第3のアイテムの組は、前記アルゴリズムによって、前記実店舗内に設置されている前記センサから受け取られた第2の入力の組に基づいて、第2人物によって前記実店舗での第2ショッピングセッション中に選択されたと決定され、
第4のアイテムの組を含む第2仮想ショッピングカートを受け取り、前記第4のアイテムの組は、前記第2ショッピングセッションの映像に基づいて、前記実店舗での前記第2ショッピングセッション中に前記人物によって選択されたと決定され、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較し、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較することに応答して、前記第2アルゴリズム的ショッピングカートが前記第2仮想ショッピングカートと一致することを決定する
よう更に構成される、
付記1に記載の装置。
(付記3)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの不存在を含み、前記第1のアイテムは、前記仮想ショッピングカートには存在する、
付記1に記載の装置。
(付記4)
前記センサは、前記第1アイテムの選択を検出することができなかった、
付記3に記載の装置。
(付記5)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの存在を含み、前記第1アイテムは、前記仮想ショッピングカートには存在しない、
付記1に記載の装置。
(付記6)
前記不一致は、前記第1人物によって選択された第1アイテムが前記アルゴリズム的ショッピングカートに存在せず、第2人物に関連した第2アルゴリズム的ショッピングカートに存在するような、前記第1人物と前記第2人物との間の識別入れ替えを含む、
付記1に記載の装置。
(付記7)
前記センサは、
前記カメラの組とは異なるアルゴリズムカメラのアレイと、
重量センサの組と
を有し、
前記第1のアイテムの組の中の各アイテムは、前記重量センサの組の中の重量センサへ結合される、
付記1に記載の装置。
(付記8)
第1のアイテムの組を含むアルゴリズム的ショッピングカートを受け取ることであり、前記第1のアイテムの組は、アルゴリズムによって、実店舗内の設置されているセンサから受け取られた入力の組に基づいて、第1人物によって前記実店舗でのショッピングセッション中に選択されたと決定される、ことと、
前記ショッピングセッションに関連した第2のアイテムの組を含む仮想ショッピングカートを受け取ることであり、前記ショッピングセッションの映像は、前記実店舗に置かれているカメラの組によって捕捉されたものであり、前記映像は、前記第2のアイテムの組を選択する前記人物を表す、ことと、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較することと、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較することに応答して、
前記アルゴリズム的ショッピングカートと前記仮想ショッピングカートとの間に不一致が存在することを決定することと、
前記入力の組の中から前記不一致に関連したサブセットを決定することと、
前記不一致を説明するメタデータを前記サブセットに付加することと、
前記サブセットを使用して前記アルゴリズムを訓練することと
を有する方法。
(付記9)
第3のアイテムの組を含む第2アルゴリズム的ショッピングカートを受け取ることであり、前記第3のアイテムの組は、前記アルゴリズムによって、前記実店舗内に設置されている前記センサから受け取られた第2の入力の組に基づいて、第2人物によって前記実店舗での第2ショッピングセッション中に選択されたと決定される、ことと、
第4のアイテムの組を含む第2仮想ショッピングカートを受け取ることであり、前記第4のアイテムの組は、前記第2ショッピングセッションの映像に基づいて、前記実店舗での前記第2ショッピングセッション中に前記人物によって選択されたと決定される、ことと、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較することと、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較することに応答して、前記第2アルゴリズム的ショッピングカートが前記第2仮想ショッピングカートと一致することを決定することと
を更に有する、付記8に記載の方法。
(付記10)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの不存在を含み、前記第1のアイテムは、前記仮想ショッピングカートには存在する、
付記8に記載の方法。
(付記11)
前記センサは、前記第1アイテムの選択を検出することができなかった、
付記10に記載の方法。
(付記12)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの存在を含み、前記第1アイテムは、前記仮想ショッピングカートには存在しない、
付記8に記載の方法。
(付記13)
前記不一致は、前記第1人物によって選択された第1アイテムが前記アルゴリズム的ショッピングカートに存在せず、第2人物に関連した第2アルゴリズム的ショッピングカートに存在するような、前記第1人物と前記第2人物との間の識別入れ替えを含む、
付記8に記載の方法。
(付記14)
前記センサは、
前記カメラの組とは異なるアルゴリズムカメラのアレイと、
重量センサの組と
を有し、
前記第1のアイテムの組の中の各アイテムは、前記重量センサの組の中の重量センサへ結合される、
付記8に記載の装置。
(付記15)
実店舗内に設置され、アルゴリズムカメラのアレイ及び重量センサの組を含むセンサの組と、
プロセッサ
とを有し、前記プロセッサは、
第1のアイテムの組を含むアルゴリズム的ショッピングカートを受け取り、前記第1のアイテムの組は、アルゴリズムによって、前記センサの組から受け取られた入力の組に基づいて、第1人物によって前記実店舗でのショッピングセッション中に選択されたと決定され、
前記ショッピングセッションに関連した第2のアイテムの組を含む仮想ショッピングカートを受け取り、前記ショッピングセッションの映像は、前記実店舗に置かれているカメラの組によって捕捉されたものであり、前記映像は、前記第2のアイテムの組を選択する前記人物を表し、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較し、
前記アルゴリズム的ショッピングカートを前記仮想ショッピングカートと比較することに応答して、
前記アルゴリズム的ショッピングカートと前記仮想ショッピングカートとの間に不一致が存在することを決定し、
前記入力の組の中から前記不一致に関連したサブセットを決定し、
前記不一致を説明するメタデータを前記サブセットに付加し、
前記サブセットを使用して前記アルゴリズムを訓練する
よう構成される、
システム。
(付記16)
前記プロセッサは、
第3のアイテムの組を含む第2アルゴリズム的ショッピングカートを受け取り、前記第3のアイテムの組は、前記アルゴリズムによって、前記センサの組から受け取られた第2の入力の組に基づいて、第2人物によって前記実店舗での第2ショッピングセッション中に選択されたと決定され、
第4のアイテムの組を含む第2仮想ショッピングカートを受け取り、前記第4のアイテムの組は、前記第2ショッピングセッションの映像に基づいて、前記実店舗での前記第2ショッピングセッション中に前記人物によって選択されたと決定され、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較し、
前記第2アルゴリズム的ショッピングカートを前記第2仮想ショッピングカートと比較することに応答して、前記第2アルゴリズム的ショッピングカートが前記第2仮想ショッピングカートと一致することを決定する
よう更に構成される、
付記15に記載のシステム。
(付記17)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの不存在を含み、前記第1のアイテムは、前記仮想ショッピングカートには存在する、
付記15に記載のシステム。
(付記18)
前記センサは、前記第1アイテムの選択を検出することができなかった、
付記17に記載のシステム。
(付記19)
前記不一致は、前記アルゴリズム的ショッピングカートにおける第1アイテムの存在を含み、前記第1アイテムは、前記仮想ショッピングカートには存在しない、
付記15に記載のシステム。
(付記20)
前記不一致は、前記第1人物によって選択された第1アイテムが前記アルゴリズム的ショッピングカートに存在せず、第2人物に関連した第2アルゴリズム的ショッピングカートに存在するような、前記第1人物と前記第2人物との間の識別入れ替えを含む、
付記15に記載のシステム。
(付記21)
実店舗の物理レイアウトをエミュレートするように仮想店舗の仮想レイアウトを生成するよう構成される装置であって、
メモリと、
前記メモリへ通信可能に結合されるハードウェアプロセッサと
を有し、前記ハードウェアプロセッサは、
前記実店舗に置かれている第1物理ラックに関連した第1物理位置及び第1物理方向を受け取り、
前記第1物理位置及び前記第1物理方向を受け取ることに応答して、第1仮想位置において第1仮想方向により第1仮想ラックを前記仮想レイアウトに置き、前記仮想レイアウトでの前記第1仮想ラックの前記第1仮想位置は、前記物理レイアウトでの前記第1物理ラックの前記第1物理位置に相当し、前記仮想レイアウトでの前記第1仮想ラックの前記第1仮想方向は、前記物理レイアウトでの前記第1物理ラックの前記第1物理方向に相当し、
前記第1物理ラックの第1物理シェルフにある第1物理アイテムに関連した第1仮想アイテムを受け取り、
前記第1仮想アイテムを受け取ることに応答して、前記第1仮想アイテムを前記第1仮想ラックの第1仮想シェルフに置き、前記第1仮想ラックの前記第1仮想シェルフは、前記第1物理ラックの前記第1物理シェルフに相当し、
前記第1物理ラックの第2物理シェルフにある第2物理アイテムに関連した第2仮想アイテムを受け取り、
前記第2仮想アイテムを受け取ることに応答して、前記第2仮想アイテムを前記第1仮想ラックの第2仮想シェルフに置き、前記第1仮想ラックの前記第2仮想シェルフは、前記第1物理ラックの前記第2物理シェルフに相当し、
前記実店舗に置かれている第1ラックカメラを前記第1仮想ラックに割り当て、前記第1ラックカメラは、前記第1物理ラックを含む映像を捕捉するよう構成され、
前記仮想レイアウトを前記メモリに保存する
よう構成される、
装置。
(付記22)
前記プロセッサは、
前記実店舗に置かれている第2物理ラックに関連した第2物理位置及び第2物理方向を受け取り、
前記第2物理位置及び前記第2物理方向を受け取ることに応答して、第2仮想位置において第2仮想方向により第2仮想ラックを前記仮想レイアウトに置き、前記仮想レイアウトでの前記第2仮想ラックの前記第2仮想位置は、前記物理レイアウトでの前記第2物理ラックの前記第2物理位置に相当し、前記仮想レイアウトでの前記第2仮想ラックの前記第2仮想方向は、前記物理レイアウトでの前記第2物理ラックの前記第2物理方向に相当し、
前記第2物理ラックの第3物理シェルフにある第3物理アイテムに関連した第3仮想アイテムを受け取り、
前記第3仮想アイテムを受け取ることに応答して、前記第3仮想アイテムを前記第2仮想ラックの第3仮想シェルフに置き、前記第2仮想ラックの前記第3仮想シェルフは、前記第2物理ラックの前記第3物理シェルフに相当し、
前記第2物理ラックの第4物理シェルフにある第4物理アイテムに関連した第4仮想アイテムを受け取り、
前記第4仮想アイテムを受け取ることに応答して、前記第4仮想アイテムを前記第2仮想ラックの第4仮想シェルフに置き、前記第2仮想ラックの前記第4仮想シェルフは、前記第2物理ラックの前記第4物理シェルフに相当し、
前記実店舗に置かれている第2ラックカメラを前記第2仮想ラックに割り当て、前記第2ラックカメラは、前記第2物理ラックを含む映像を捕捉するよう構成される、
よう更に構成される、
付記21に記載の装置。
(付記23)
店舗識別番号が、前記実店舗に割り当てられ、
前記仮想レイアウトは、前記店舗識別番号に従って前記メモリに記憶される、
付記21に記載の装置。
(付記24)
ディスプレイを更に有し、
前記プロセッサは、
前記店舗識別番号を受け取り、
前記店舗識別番号を受け取ることに応答して、前記ディスプレイの第1領域で前記仮想レイアウトを表示し、
前記第1物理ラックに関連したイベントの指示を受け取ることに応答して、
前記ディスプレイの第2領域で前記第1仮想ラックを表示し、
前記ディスプレイの第3領域で前記第1ラックカメラからの映像を表示する
よう更に構成される、
付記23に記載の装置。
(付記25)
前記第1仮想アイテムは、前記第1物理ラックの前記第1物理シェルフの第1物理ゾーンと更に関連付けられ、
前記第2仮想アイテムは、前記第1物理ラックの前記第2物理シェルフの第2物理ゾーンと更に関連付けられ、
前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフに置くことは、前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフの第1仮想ゾーンに置くことを更に含み、前記第1仮想シェルフの前記第1仮想ゾーンは、前記第1物理シェルフの前記第1物理ゾーンを表し、
前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフに置くことは、前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフの第2仮想ゾーンに置くことを更に含み、前記第2仮想シェルフの前記第2仮想ゾーンは、前記第2物理シェルフの前記第2物理ゾーンを表す、
付記21に記載の装置。
(付記26)
第1センサ識別番号に関連した第1センサは、前記第1物理シェルフの前記第1物理ゾーンに割り当てられ、
第2センサ識別番号に関連した第2センサは、前記第2物理シェルフの前記第2物理ゾーンに割り当てられ、
前記プロセッサは、
前記第1センサ識別番号を前記第1仮想シェルフの前記第1仮想ゾーンに割り当て、
前記第2センサ識別番号を前記第2仮想シェルフの前記第2仮想ゾーンに割り当てる
よう更に構成される、
付記25に記載の装置。
(付記27)
前記第1仮想アイテム及び前記第2仮想アイテムを受け取ることは、プラノグラムを含むファイルを受け取ることを有する、
付記21に記載の装置。
(付記28)
前記第1仮想アイテム及び前記第2仮想アイテムを受け取ることは、
前記第1仮想アイテム及び前記第2仮想アイテムを含むアイテムのスクロール可能なリストを表示することと、
前記スクロール可能なリストからの前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフに加える第1命令を受け取ることと、
前記スクロール可能なリストからの前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフに加える第2命令を受け取ることと
を有する、
付記21に記載の装置。
(付記29)
前記プロセッサは、
第1入力を受け取り、
前記第1入力が前記第1仮想位置から新しい仮想位置への前記第1仮想ラックのドラッグを表すことを決定し、
前記第1入力が前記第1仮想位置から前記新しい仮想位置への前記第1仮想ラックのドラッグを表すとの決定に応答して、前記第1仮想ラックを前記新しい仮想位置に置き、
第2入力を受け取り、
前記第2入力が前記第1仮想方向から新しい仮想方向への前記第1仮想ラックの回転を表すことを決定し、
前記第2入力が前記第1仮想方向から前記新しい仮想方向への前記第1仮想ラックの回転を表すとの決定に応答して、前記第1仮想ラックを前記新しい仮想方向で置く
よう更に構成される、
付記21に記載の装置。
(付記30)
ディスプレイを更に有し、
前記プロセッサは、
前記仮想レイアウトを含む第1グラフィカルユーザインターフェースを前記ディスプレイに表示し、前記第1入力及び前記第2入力は、前記第1グラフィカルユーザインターフェースから受け取られ、
前記第1グラフィカルユーザインターフェースとは別に表示され、前記仮想レイアウト及び前記第1ラックカメラから受け取られた映像を含む第2グラフィカルユーザインターフェースを前記ディスプレイに表示し、
前記第2グラフィカルユーザインターフェースから第3入力を受け取り、
前記第3入力が前記仮想レイアウトからの前記第1仮想ラックの選択を表すことを決定し、
前記第3入力が前記仮想レイアウトからの前記第1仮想ラックの選択を表すとの決定に応答して、前記ディスプレイで前記第2グラフィカルユーザインターフェースに前記第1仮想ラックを表示する
よう更に構成される、
付記29に記載の装置。
(付記31)
実店舗の物理レイアウトをエミュレートするように仮想店舗の仮想レイアウトを生成する方法であって、
前記実店舗に置かれている第1物理ラックに関連した第1物理位置及び第1物理方向を受け取ることと、
前記第1物理位置及び前記第1物理方向を受け取ることに応答して、第1仮想位置において第1仮想方向により第1仮想ラックを前記仮想レイアウトに置くことであり、前記仮想レイアウトでの前記第1仮想ラックの前記第1仮想位置は、前記物理レイアウトでの前記第1物理ラックの前記第1物理位置に相当し、前記仮想レイアウトでの前記第1仮想ラックの前記第1仮想方向は、前記物理レイアウトでの前記第1物理ラックの前記第1物理方向に相当する、ことと、
前記第1物理ラックの第1物理シェルフにある第1物理アイテムに関連した第1仮想アイテムを受け取ることと、
前記第1仮想アイテムを受け取ることに応答して、前記第1仮想アイテムを前記第1仮想ラックの第1仮想シェルフに置くことであり、前記第1仮想ラックの前記第1仮想シェルフは、前記第1物理ラックの前記第1物理シェルフに相当する、ことと、
前記第1物理ラックの第2物理シェルフにある第2物理アイテムに関連した第2仮想アイテムを受け取ることと、
前記第2仮想アイテムを受け取ることに応答して、前記第2仮想アイテムを前記第1仮想ラックの第2仮想シェルフに置くことであり、前記第1仮想ラックの前記第2仮想シェルフは、前記第1物理ラックの前記第2物理シェルフに相当する、ことと、
前記実店舗に置かれている第1ラックカメラを前記第1仮想ラックに割り当てることであり、前記第1ラックカメラは、前記第1物理ラックを含む映像を捕捉するよう構成される、ことと、
前記仮想レイアウトをメモリに保存することと
を有する方法。
(付記32)
前記実店舗に置かれている第2物理ラックに関連した第2物理位置及び第2物理方向を受け取ることと、
前記第2物理位置及び前記第2物理方向を受け取ることに応答して、第2仮想位置において第2仮想方向により第2仮想ラックを前記仮想レイアウトに置くことであり、前記仮想レイアウトでの前記第2仮想ラックの前記第2仮想位置は、前記物理レイアウトでの前記第2物理ラックの前記第2物理位置に相当し、前記仮想レイアウトでの前記第2仮想ラックの前記第2仮想方向は、前記物理レイアウトでの前記第2物理ラックの前記第2物理方向に相当する、ことと、
前記第2物理ラックの第3物理シェルフにある第3物理アイテムに関連した第3仮想アイテムを受け取ることと、
前記第3仮想アイテムを受け取ることに応答して、前記第3仮想アイテムを前記第2仮想ラックの第3仮想シェルフに置くことであり、前記第2仮想ラックの前記第3仮想シェルフは、前記第2物理ラックの前記第3物理シェルフに相当する、ことと、
前記第2物理ラックの第4物理シェルフにある第4物理アイテムに関連した第4仮想アイテムを受け取ることと、
前記第4仮想アイテムを受け取ることに応答して、前記第4仮想アイテムを前記第2仮想ラックの第4仮想シェルフに置くことであり、前記第2仮想ラックの前記第4仮想シェルフは、前記第2物理ラックの前記第4物理シェルフに相当する、ことと、
前記実店舗に置かれている第2ラックカメラを前記第2仮想ラックに割り当てることであり、前記第2ラックカメラは、前記第2物理ラックを含む映像を捕捉するよう構成される、ことと
を更に有する、付記31に記載の方法。
(付記33)
店舗識別番号が、前記実店舗に割り当てられ、
前記仮想レイアウトは、前記店舗識別番号に従って前記メモリに記憶される、
付記31に記載の方法。
(付記34)
前記店舗識別番号を受け取ることと、
前記店舗識別番号を受け取ることに応答して、ディスプレイの第1領域で前記仮想レイアウトを表示することと、
前記第1物理ラックに関連したイベントの指示を受け取ることに応答して、
前記ディスプレイの第2領域で前記第1仮想ラックを表示することと、
前記ディスプレイの第3領域で前記第1ラックカメラからの映像を表示することと
を更に有する、付記33に記載の方法。
(付記35)
前記第1仮想アイテムは、前記第1物理ラックの前記第1物理シェルフの第1物理ゾーンと更に関連付けられ、
前記第2仮想アイテムは、前記第1物理ラックの前記第2物理シェルフの第2物理ゾーンと更に関連付けられ、
前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフに置くことは、前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフの第1仮想ゾーンに置くことを更に含み、前記第1仮想シェルフの前記第1仮想ゾーンは、前記第1物理シェルフの前記第1物理ゾーンを表し、
前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフに置くことは、前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフの第2仮想ゾーンに置くことを更に含み、前記第2仮想シェルフの前記第2仮想ゾーンは、前記第2物理シェルフの前記第2物理ゾーンを表す、
付記31に記載の方法。
(付記36)
第1センサ識別番号を前記第1仮想シェルフの前記第1仮想ゾーンに割り当てることであり、前記第1センサ識別番号に関連した第1センサが、前記第1物理シェルフの前記第1物理ゾーンに割り当てられる、ことと、
第2センサ識別番号を前記第2仮想シェルフの前記第2仮想ゾーンに割り当てることであり、前記第2センサ識別番号に関連した第2センサが、前記第2物理シェルフの前記第2物理ゾーンに割り当てられる、ことと
を更に有する、付記35に記載の方法。
(付記37)
前記第1仮想アイテム及び前記第2仮想アイテムを受け取ることは、プラノグラムを含むファイルを受け取ることを有する、
付記31に記載の方法。
(付記38)
前記第1仮想アイテム及び前記第2仮想アイテムを受け取ることは、
前記第1仮想アイテム及び前記第2仮想アイテムを含むアイテムのスクロール可能なリストを表示することと、
前記スクロール可能なリストからの前記第1仮想アイテムを前記第1仮想ラックの前記第1仮想シェルフに加える第1命令を受け取ることと、
前記スクロール可能なリストからの前記第2仮想アイテムを前記第1仮想ラックの前記第2仮想シェルフに加える第2命令を受け取ることと
を有する、
付記31に記載の方法。
(付記39)
第1入力を受け取ることと、
前記第1入力が前記第1仮想位置から新しい仮想位置への前記第1仮想ラックのドラッグを表すことを決定することと、
前記第1入力が前記第1仮想位置から前記新しい仮想位置への前記第1仮想ラックのドラッグを表すとの決定に応答して、前記第1仮想ラックを前記新しい仮想位置に置くことと、
第2入力を受け取ることと、
前記第2入力が前記第1仮想方向から新しい仮想方向への前記第1仮想ラックの回転を表すことを決定することと、
前記第2入力が前記第1仮想方向から前記新しい仮想方向への前記第1仮想ラックの回転を表すとの決定に応答して、前記第1仮想ラックを前記新しい仮想方向で置くことと
を更に有する、付記31に記載の方法。
(付記40)
前記仮想レイアウトを含む第1グラフィカルユーザインターフェースをディスプレイに表示することであり、前記第1入力及び前記第2入力は、前記第1グラフィカルユーザインターフェースから受け取られる、ことと、
前記第1グラフィカルユーザインターフェースとは別に表示され、前記仮想レイアウト及び前記第1ラックカメラから受け取られた映像を含む第2グラフィカルユーザインターフェースを前記ディスプレイに表示することと、
前記第2グラフィカルユーザインターフェースから第3入力を受け取ることと、
前記第3入力が前記仮想レイアウトからの前記第1仮想ラックの選択を表すことを決定することと、
前記第3入力が前記仮想レイアウトからの前記第1仮想ラックの選択を表すとの決定に応答して、前記ディスプレイで前記第2グラフィカルユーザインターフェースに前記第1仮想ラックを表示することと
を更に有する、付記39に記載の方法。
(付記41)
実店舗に置かれており、前記実店舗内の第1位置に向けられている第1カメラに対応する第1カメラフィードと、前記実店舗に置かれており、前記実店舗内の第2位置に向けられている第2カメラに対応する第2カメラフィードと含む第1ビデオフィードを受け取るよう構成されるインターフェースと、
ディスプレイと、
メモリと、
前記メモリ及び前記ディスプレイへ通信可能に結合されるハードウェアプロセッサと
を有し、
前記ハードウェアプロセッサは、
第1人物に割り当てられ、開始タイムスタンプと終了タイムスタンプとの間の時間インターバル中に起こる前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントを前記メモリに保存し、前記第1ビデオセグメントは、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第1カメラフィードセグメントと、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第2カメラフィードセグメントと
を含み、
第1スライダバーを前記第1ビデオセグメントに割り当て、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生は同期し、前記第1スライダバーは、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を制御し、
前記ディスプレイの第1領域において前記第1カメラフィードセグメント及び前記第1スライダの第1コピーを表示し、
前記ディスプレイの第2領域において前記第2カメラフィードセグメント及び前記第1スライダの第2コピーを表示し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整ために、前記第1スライダの前記第1コピー及び前記第1スライダの前記第2コピーのうちの少なくとも一方から命令を受け取り、
前記命令を受け取ることに応答して、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整する
よう構成される、
装置。
(付記42)
前記プロセッサは、
第2人物に割り当てられ、第2開始タイムスタンプと第2終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第2人物のショッピングセッションの部分を捕捉する第2ビデオセグメントを前記メモリに保存し、前記第2開始タイムスタンプは前記開始スタンプよりも遅く、前記終了タイムスタンプよりも早く、前記第2ビデオセグメントは、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第3カメラフィードセグメントと、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第4カメラフィードセグメントと
を含み、
前記第1スライダバーから独立している第2スライダバーを前記第2ビデオセグメントに割り当て、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を制御し、
前記ディスプレイの第3領域において前記第3カメラフィードセグメント及び前記第2スライダの第1コピーを表示し、
前記ディスプレイの第4領域において前記第4カメラフィードセグメント及び前記第2スライダの第2コピーを表示し、
前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整ために、前記第2スライダの前記第1コピー及び前記第2スライダの前記第2コピーのうちの少なくとも一方から第2命令を受け取り、
前記第2命令を受け取ることに応答して、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整する
よう更に構成される、
付記41に記載の装置。
(付記43)
前記プロセッサは、
前記第1カメラフィードセグメントが第1時点での前記第1人物を表すことを決定し、
前記第1カメラフィードセグメントが前記第1時点での前記第1人物を表すとの決定に応答して、
共通するスライダバーが前記第1時点に到達したことを決定し、
前記共通スライダバーが前記第1時点に到達したとの決定に応答して、前記第1カメラフィードセグメントを強調表示する
よう更に構成される、
付記41に記載の装置。
(付記44)
共通するスライダバーは、該共通するスライダバー上で第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こるイベントに関連し、該イベントは、前記第1人物が前記実店舗内のラックにあるシェルフからアイテムを選択することに関連する、
付記41に記載の装置。
(付記45)
前記アイテムは、アイテム識別番号を割り当てられ、
前記シェルフは、シェルフ識別番号を割り当てられ、
前記ラックは、ラック識別番号を割り当てられ、
前記マーカは、前記アイテム識別番号、前記シェルフ識別番号、及び前記ラック識別番号を含むメタデータを有する、
付記44に記載の装置。
(付記46)
前記第1ビデオフィードは、前記実店舗に置かれており、前記ラックに向けられている第3カメラに対応する第3カメラフィードを更に有し、
前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記第3カメラフィードの記録に対応する第3カメラフィードセグメントを更に有し、
前記プロセッサは、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したことを決定し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したとの決定に応答して、
前記マーカの前記メタデータに基づいて、前記第1人物が前記実店舗内の前記ラックにある前記シェルフから前記アイテムを選択することに関連した前記イベントが起きたことを決定し、
前記イベントが起きたとの決定に応答して、前記ディスプレイの第3領域において前記第3カメラフィードセグメントを表示する
よう更に構成される、
請求項45に記載の装置。
(付記47)
前記開始タイムスタンプと前記終了タイムスタンプとの間の前記時間インターバルは、所定の長さを有し、
前記プロセッサは、
前記第1人物に割り当てられ、前記終了タイムスタンプと新しい終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第1人物の前記ショッピングセッションの部分を捕捉する第2ビデオセグメントを前記メモリに保存し、前記第2ビデオセグメントは、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第1カメラフィードの記録に対応する新しい第1カメラフィードセグメントと、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第2カメラフィードの記録に対応する新しい第2カメラフィードセグメントと
を含み、
第2スライダバーを前記第2ビデオセグメントに割り当て、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生進行を制御し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したことを決定し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したとの決定に応答して、
前記ディスプレイの前記第1領域において前記新しい第1カメラフィードセグメント及び前記第2スライダの第1コピーを表示し、
前記ディスプレイの前記第2領域において前記新しい第2カメラフィードセグメント及び前記第2スライダの第2コピーを表示する
よう更に構成される、
付記41に記載の装置。
(付記48)
実店舗に置かれており、前記実店舗内の第1位置に向けられている第1カメラに対応する第1カメラフィードと、前記実店舗に置かれており、前記実店舗内の第2位置に向けられている第2カメラに対応する第2カメラフィードと含む第1ビデオフィードを受け取ることと、
第1人物に割り当てられ、開始タイムスタンプと終了タイムスタンプとの間の時間インターバル中に起こる前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントを前記メモリに保存することであり、前記第1ビデオセグメントは、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第1カメラフィードセグメントと、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第2カメラフィードセグメントと
を含む、ことと、
第1スライダバーを前記第1ビデオセグメントに割り当てることであり、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生は同期し、前記第1スライダバーは、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を制御する、ことと、
前記ディスプレイの第1領域において前記第1カメラフィードセグメント及び前記第1スライダの第1コピーを表示することと、
前記ディスプレイの第2領域において前記第2カメラフィードセグメント及び前記第1スライダの第2コピーを表示することと、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整ために、前記第1スライダの前記第1コピー及び前記第1スライダの前記第2コピーのうちの少なくとも一方から命令を受け取ることと、
前記命令を受け取ることに応答して、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整することと
を有する方法。
(付記49)
第2人物に割り当てられ、第2開始タイムスタンプと第2終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第2人物のショッピングセッションの部分を捕捉する第2ビデオセグメントを前記メモリに保存することであり、前記第2開始タイムスタンプは前記開始スタンプよりも遅く、前記終了タイムスタンプよりも早く、前記第2ビデオセグメントは、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第3カメラフィードセグメントと、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第4カメラフィードセグメントと
を含む、ことと、
前記第1スライダバーから独立している第2スライダバーを前記第2ビデオセグメントに割り当てることであり、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を制御する、ことと、
前記ディスプレイの第3領域において前記第3カメラフィードセグメント及び前記第2スライダの第1コピーを表示することと、
前記ディスプレイの第4領域において前記第4カメラフィードセグメント及び前記第2スライダの第2コピーを表示することと、
前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整ために、前記第2スライダの前記第1コピー及び前記第2スライダの前記第2コピーのうちの少なくとも一方から第2命令を受け取ることと、
前記第2命令を受け取ることに応答して、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整することと
を更に有する、付記48に記載の方法。
(付記50)
前記第1カメラフィードセグメントが第1時点での前記第1人物を表すことを決定することと、
前記第1カメラフィードセグメントが前記第1時点での前記第1人物を表すとの決定に応答して、
共通するスライダバーが前記第1時点に到達したことを決定することと、
前記共通スライダバーが前記第1時点に到達したとの決定に応答して、前記第1カメラフィードセグメントを強調表示することと
を更に有する、請求項48に記載の方法。
(付記51)
共通するスライダバーは、該共通するスライダバー上で第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こるイベントに関連し、該イベントは、前記第1人物が前記実店舗内のラックにあるシェルフからアイテムを選択することに関連する、
付記48に記載の方法。
(付記52)
前記アイテムは、アイテム識別番号を割り当てられ、
前記シェルフは、シェルフ識別番号を割り当てられ、
前記ラックは、ラック識別番号を割り当てられ、
前記マーカは、前記アイテム識別番号、前記シェルフ識別番号、及び前記ラック識別番号を含むメタデータを有する、
付記51に記載の方法。
(付記53)
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したことを決定することと、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したとの決定に応答して、
前記マーカの前記メタデータに基づいて、前記第1人物が前記実店舗内の前記ラックにある前記シェルフから前記アイテムを選択することに関連した前記イベントが起きたことを決定することと、
前記イベントが起きたとの決定に応答して、前記ディスプレイの第3領域において第3カメラフィードセグメントを表示することと
を更に有し、
前記第1ビデオフィードは、前記実店舗に置かれており、前記ラックに向けられている第3カメラに対応する第3カメラフィードを更に有し、
前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記第3カメラフィードの記録に対応する前記第3カメラフィードセグメントを更に有する、
請求項52に記載の方法。
(付記54)
前記第1人物に割り当てられ、前記終了タイムスタンプと新しい終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第1人物の前記ショッピングセッションの部分を捕捉する第2ビデオセグメントを前記メモリに保存することであり、前記第2ビデオセグメントは、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第1カメラフィードの記録に対応する新しい第1カメラフィードセグメントと、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第2カメラフィードの記録に対応する新しい第2カメラフィードセグメントと
を含む、ことと、
第2スライダバーを前記第2ビデオセグメントに割り当てることであり、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生進行を制御する、ことと、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したことを決定することと、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したとの決定に応答して、
前記ディスプレイの前記第1領域において前記新しい第1カメラフィードセグメント及び前記第2スライダの第1コピーを表示することと、
前記ディスプレイの前記第2領域において前記新しい第2カメラフィードセグメント及び前記第2スライダの第2コピーを表示することと
を更に有する、付記48に記載の方法。
(付記55)
実店舗に置かれており、前記実店舗内の第1位置に向けられている第1カメラに対応する第1カメラフィードと、前記実店舗に置かれており、前記実店舗内の第2位置に向けられている第2カメラに対応する第2カメラフィードと含む第1ビデオフィードを受け取るよう動作するインターフェースと、
表示要素と、
記憶要素と、
前記記憶要素及び前記表示要素へ通信可能に結合される処理要素と
を有し、
前記処理要素は、
第1人物に割り当てられ、開始タイムスタンプと終了タイムスタンプとの間の時間インターバル中に起こる前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントを前記記憶要素に保存し、前記第1ビデオセグメントは、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第1カメラフィードセグメントと、
前記開始タイムスタンプから前記終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第2カメラフィードセグメントと
を含み、
第1スライダバーを前記第1ビデオセグメントに割り当て、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生は同期し、前記第1スライダバーは、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を制御し、
前記表示要素の第1領域において前記第1カメラフィードセグメント及び前記第1スライダの第1コピーを表示し、
前記表示要素の第2領域において前記第2カメラフィードセグメント及び前記第1スライダの第2コピーを表示し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整ために、前記第1スライダの前記第1コピー及び前記第1スライダの前記第2コピーのうちの少なくとも一方から命令を受け取り、
前記命令を受け取ることに応答して、前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行を調整し、
前記第1人物に割り当てられ、前記終了タイムスタンプと新しい終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第1人物の前記ショッピングセッションの部分を捕捉する第2ビデオセグメントを前記記憶要素に保存し、前記第2ビデオセグメントは、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第1カメラフィードの記録に対応する新しい第1カメラフィードセグメントと、
前記終了タイムスタンプから前記新しい終了タイムスタンプまでの前記第2カメラフィードの記録に対応する新しい第2カメラフィードセグメントと
を含み、
第2スライダバーを前記第2ビデオセグメントに割り当て、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記新しい第1カメラフィードセグメント及び前記新しい第2カメラフィードセグメントの再生進行を制御し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したことを決定し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記終了タイムスタンプに到達したとの決定に応答して、
前記表示要素の前記第1領域において前記新しい第1カメラフィードセグメント及び前記第2スライダの第1コピーを表示し、
前記表示要素の前記第2領域において前記新しい第2カメラフィードセグメント及び前記第2スライダの第2コピーを表示する
よう動作する、
システム。
(付記56)
前記処理要素は、
第2人物に割り当てられ、第2開始タイムスタンプと第2終了タイムスタンプとの間の第2時間インターバル中に起こる前記実店舗における前記第2人物のショッピングセッションの部分を捕捉する第2ビデオセグメントを前記記憶要素に保存し、前記第2開始タイムスタンプは前記開始スタンプよりも遅く、前記終了タイムスタンプよりも早く、前記第2ビデオセグメントは、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第1カメラフィードの記録に対応する第3カメラフィードセグメントと、
前記第2開始タイムスタンプから前記第2終了タイムスタンプまでの前記第2カメラフィードの記録に対応する第4カメラフィードセグメントと
を含み、
前記第1スライダバーから独立している第2スライダバーを前記第2ビデオセグメントに割り当て、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生は同期し、前記第2スライダバーは、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を制御し、
前記表示要素の第3領域において前記第3カメラフィードセグメント及び前記第2スライダの第1コピーを表示し、
前記表示要素の第4領域において前記第4カメラフィードセグメント及び前記第2スライダの第2コピーを表示し、
前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整ために、前記第2スライダの前記第1コピー及び前記第2スライダの前記第2コピーのうちの少なくとも一方から第2命令を受け取り、
前記第2命令を受け取ることに応答して、前記第3カメラフィードセグメント及び前記第4カメラフィードセグメントの再生進行を調整する
よう更に動作する、
付記55に記載のシステム。
(付記57)
前記処理要素は、
前記第1カメラフィードセグメントが第1時点での前記第1人物を表すことを決定し、
前記第1カメラフィードセグメントが前記第1時点での前記第1人物を表すとの決定に応答して、
共通するスライダバーが前記第1時点に到達したことを決定し、
前記共通スライダバーが前記第1時点に到達したとの決定に応答して、前記第1カメラフィードセグメントを強調表示する
よう更に動作する、
付記55に記載のシステム。
(付記58)
共通するスライダバーは、該共通するスライダバー上で第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こるイベントに関連し、該イベントは、前記第1人物が前記実店舗内のラックにあるシェルフからアイテムを選択することに関連する、
付記55に記載のシステム。
(付記59)
前記アイテムは、アイテム識別番号を割り当てられ、
前記シェルフは、シェルフ識別番号を割り当てられ、
前記ラックは、ラック識別番号を割り当てられ、
前記マーカは、前記アイテム識別番号、前記シェルフ識別番号、及び前記ラック識別番号を含むメタデータを有する、
付記58に記載のシステム。
(付記60)
前記第1ビデオフィードは、前記実店舗に置かれており、前記ラックに向けられている第3カメラに対応する第3カメラフィードを更に有し、
前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記第3カメラフィードの記録に対応する第3カメラフィードセグメントを更に有し、
前記処理要素は、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したことを決定し、
前記第1カメラフィードセグメント及び前記第2カメラフィードセグメントの再生進行が前記マーカに到達したとの決定に応答して、
前記マーカの前記メタデータに基づいて、前記第1人物が前記実店舗内の前記ラックにある前記シェルフから前記アイテムを選択することに関連した前記イベントが起きたことを決定し、
前記イベントが起きたとの決定に応答して、前記表示要素の第3領域において前記第3カメラフィードセグメントを表示する
よう更に動作する、
請求項59に記載のシステム。
(付記61)
ディスプレイと、
実店舗に置かれており、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられているラックカメラからラックカメラフィードを受け取るよう構成されるインターフェースと、
前記ディスプレイへ通信可能に結合されるハードウェアプロセッサと
を有し、前記ハードウェアプロセッサは、
前記ディスプレイの第1領域において、仮想店舗の仮想レイアウトを表示し、前記仮想レイアウトは、前記実店舗の物理レイアウトをエミュレートするよう構成され、前記仮想レイアウトは、前記第1物理ラックに割り当てられている第1仮想ラックと、第2物理ラックに割り当てられている第2仮想ラックとを含み、前記仮想レイアウトにおける前記第1仮想ラック及び前記第2仮想ラックの配置は、前記実店舗における前記第1物理ラック及び前記第2物理ラックの配置をエミュレートするよう構成され、
前記第1物理ラックに関連したイベントの指示を受け取り、前記イベントは、前記実店舗にいる人が前記第1物理ラックと関係を持っていることを含み、
前記第1物理ラックに関連した前記イベントの前記指示を受け取ることに応答して、
前記ディスプレイの第2領域において、前記第1仮想ラックを表示し、前記第1仮想ラックは、第1仮想シェルフ及び第2仮想シェルフを含み、前記第1仮想シェルフは第1仮想アイテムを含み、前記第2仮想シェルフは第2仮想アイテムを含み、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフにある第1物理アイテムのグラフィカル表現を含み、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフにある第2物理アイテムのグラフィカル表現を含み、
前記ディスプレイの第3領域において、開始タイムスタンプから終了タイムスタンプまでの前記ラックカメラフィードの記録に対応するラックビデオセグメントを表示し、前記ラックビデオセグメントは、前記第1物理ラックに関連した前記イベントを表す
よう構成される、
装置。
(付記62)
前記インターフェースは、前記実店舗に置かれている第2ラックカメラから第2ラックカメラフィードを受信するよう更に構成され、前記第2ラックカメラは、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられており、
前記プロセッサは、
前記第2物理ラックに関連した第2イベントの指示を受け取り、前記第2イベントは、前記人が前記第2物理ラックと関係を持っていることを有し、
前記第2物理ラックに関連した前記第2イベントの前記指示を受け取ることに応答して、
前記ディスプレイの前記第2領域において、前記第2仮想ラックを表示し、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを含み、前記第3仮想シェルフは第3仮想アイテムを含み、前記第4仮想シェルフは第4仮想アイテムを含み、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフにある第3物理アイテムのグラフィカル表現を含み、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフにある第4物理アイテムのグラフィカル表現を含み、
前記ディスプレイの前記第3領域において、第2開始タイムスタンプから第2終了タイムスタンプまでの前記第2ラックカメラフィードの記録に対応する第2ラックビデオセグメントを表示し、前記第2ラックビデオセグメントは、前記第2物理ラックに関連した前記第2イベントを表す
よう更に構成される、
付記61に記載の装置。
(付記63)
前記第1物理ラックに関連した前記イベントは、前記第1物理アイテムが前記第1物理ラックの前記第1物理シェルフの第1ゾーンから選択されることを有し、前記第1物理シェルフの前記第1ゾーンへ結合されている重量センサは、前記第1物理アイテムが前記第1物理シェルフから選択されることを検出するよう構成され、
前記イベントの前記指示は、前記重量センサから受け取られた情報を含む、
付記61に記載の装置。
(付記64)
前記第1仮想ラックを表示することに応答して、前記プロセッサは、前記第1仮想シェルフ上の前記第1仮想アイテムを強調表示するよう更に構成される、
付記63に記載の装置。
(付記65)
前記インターフェースは、前記実店舗に置かれている第1カメラに対応するビデオフィードを受け取るよう更に構成され、
前記プロセッサは、
第1人物に割り当てられ、前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントをメモリに記憶し、前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記ビデオフィードの記録に対応し、
スライダバーを前記第1ビデオセグメントに割り当て、前記スライダバーは、前記第1ビデオセグメントの再生進行を制御し、前記イベントは第1時点で起こり、前記スライダバーは、該スライダバー上で前記第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こる前記イベントに関連し、前記マーカは、前記第1仮想アイテムに割り当てられているアイテム識別番号と、前記第1仮想ラックに割り当てられているラック識別番号と、前記第1仮想ラックのゾーンに割り当てられているゾーン識別番号とを有し、前記イベントの前記指示は、前記第1ビデオセグメントの再生進行が前記マーカに到達したことを含み、
前記第1仮想ラックを表示することに応答して、前記メタデータに基づいて、前記第1仮想ラック上の前記第1仮想アイテムを強調表示する
よう更に構成される、
付記61に記載の装置。
(付記66)
前記スライダバーは、該スライダバー上で第2時点に位置している第2マーカを有し、前記第2マーカは、前記第2時点で起こる第2イベントに関連し、前記第2イベントは、前記第2物理ラックに関連し、前記第2マーカは、第3仮想アイテムに割り当てられている第2アイテム識別番号と、前記第2仮想ラックに割り当てられている第2ラック識別番号と、前記第2仮想ラックの第2ゾーンに割り当てられている第2ゾーン識別番号とを含む第2メタデータを有し、
前記プロセッサは、
前記第1ビデオセグメントの再生進行が前記第2マーカに到達したことを決定し、
前記第1ビデオセグメントの再生進行が前記第2マーカに到達したとの決定に応答して、
前記ディスプレイの前記第2領域において、前記第2仮想ラックを表示し、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有し、
前記第2メタデータに基づいて、前記第2仮想ラック上の前記第3仮想アイテムを強調表示する
よう更に構成される、
付記65に記載の装置。
(付記67)
前記第1物理ラックに関連した前記イベントの前記指示は、前記実店舗内に設置されているセンサから受け取られた入力の組に基づいて、前記イベントの検出に応答してアルゴリズムによって生成された情報を含む、
付記61に記載の装置。
(付記68)
実店舗に置かれており、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられているラックカメラからラックカメラフィードを受け取ることと、
前記ディスプレイの第1領域において、仮想店舗の仮想レイアウトを表示することであり、前記仮想レイアウトは、前記実店舗の物理レイアウトをエミュレートするよう構成され、前記仮想レイアウトは、前記第1物理ラックに割り当てられている第1仮想ラックと、第2物理ラックに割り当てられている第2仮想ラックとを含み、前記仮想レイアウトにおける前記第1仮想ラック及び前記第2仮想ラックの配置は、前記実店舗における前記第1物理ラック及び前記第2物理ラックの配置をエミュレートするよう構成される、ことと、
前記第1物理ラックに関連したイベントの指示を受け取ることであり、前記イベントは、前記実店舗にいる人が前記第1物理ラックと関係を持っていることを含む、ことと、
前記第1物理ラックに関連した前記イベントの前記指示を受け取ることに応答して、
前記ディスプレイの第2領域において、前記第1仮想ラックを表示することであり、前記第1仮想ラックは、第1仮想シェルフ及び第2仮想シェルフを含み、前記第1仮想シェルフは第1仮想アイテムを含み、前記第2仮想シェルフは第2仮想アイテムを含み、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフにある第1物理アイテムのグラフィカル表現を含み、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフにある第2物理アイテムのグラフィカル表現を含む、ことと、
前記ディスプレイの第3領域において、開始タイムスタンプから終了タイムスタンプまでの前記ラックカメラフィードの記録に対応するラックビデオセグメントを表示することであり、前記ラックビデオセグメントは、前記第1物理ラックに関連した前記イベントを表す、ことと
を有する方法。
(付記69)
前記実店舗に置かれている第2ラックカメラから第2ラックカメラフィードを受信することであり、前記第2ラックカメラは、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられている、ことと、
前記第2物理ラックに関連した第2イベントの指示を受け取ることであり、前記第2イベントは、前記人が前記第2物理ラックと関係を持っていることを有する、ことと、
前記第2物理ラックに関連した前記第2イベントの前記指示を受け取ることに応答して、
前記ディスプレイの前記第2領域において、前記第2仮想ラックを表示することであり、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを含み、前記第3仮想シェルフは第3仮想アイテムを含み、前記第4仮想シェルフは第4仮想アイテムを含み、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフにある第3物理アイテムのグラフィカル表現を含み、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフにある第4物理アイテムのグラフィカル表現を含む、ことと、
前記ディスプレイの前記第3領域において、第2開始タイムスタンプから第2終了タイムスタンプまでの前記第2ラックカメラフィードの記録に対応する第2ラックビデオセグメントを表示することであり、前記第2ラックビデオセグメントは、前記第2物理ラックに関連した前記第2イベントを表す、ことと
を更に有する、付記68に記載の方法。
(付記70)
前記第1物理ラックに関連した前記イベントは、前記第1物理アイテムが前記第1物理ラックの前記第1物理シェルフの第1ゾーンから選択されることを有し、前記第1物理シェルフの前記第1ゾーンへ結合されている重量センサは、前記第1物理アイテムが前記第1物理シェルフから選択されることを検出するよう構成され、
前記イベントの前記指示は、前記重量センサから受け取られた情報を含む、
付記68に記載の方法。
(付記71)
前記第1仮想ラックを表示することに応答して、前記第1仮想シェルフ上の前記第1仮想アイテムを強調表示することを更に有する、
付記70に記載の方法。
(付記72)
前記実店舗に置かれている第1カメラに対応するビデオフィードを受け取ることと、
第1人物に割り当てられ、前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントを記憶することであり、前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記ビデオフィードの記録に対応する、ことと、
スライダバーを前記第1ビデオセグメントに割り当てることであり、前記スライダバーは、前記第1ビデオセグメントの再生進行を制御し、前記イベントは第1時点で起こり、前記スライダバーは、該スライダバー上で前記第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こる前記イベントに関連し、前記マーカは、前記第1仮想アイテムに割り当てられているアイテム識別番号と、前記第1仮想ラックに割り当てられているラック識別番号と、前記第1仮想ラックのゾーンに割り当てられているゾーン識別番号とを有し、前記イベントの前記指示は、前記第1ビデオセグメントの再生進行が前記マーカに到達したことを含む、ことと、
前記第1仮想ラックを表示することに応答して、前記メタデータに基づいて、前記第1仮想ラック上の前記第1仮想アイテムを強調表示することと
を更に有する、付記68に記載の方法。
(付記73)
前記第1ビデオセグメントの再生進行が第2マーカに到達したことを決定することであり、前記スライダバーは、該スライダバー上で第2時点に位置している前記第2マーカを有し、前記第2マーカは、前記第2時点で起こる第2イベントに関連し、前記第2イベントは、前記第2物理ラックに関連し、前記第2マーカは、第3仮想アイテムに割り当てられている第2アイテム識別番号と、前記第2仮想ラックに割り当てられている第2ラック識別番号と、前記第2仮想ラックの第2ゾーンに割り当てられている第2ゾーン識別番号とを含む第2メタデータを有する、ことと、
前記第1ビデオセグメントの再生進行が前記第2マーカに到達したとの決定に応答して、
前記ディスプレイの前記第2領域において、前記第2仮想ラックを表示することであり、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有する、ことと、
前記第2メタデータに基づいて、前記第2仮想ラック上の前記第3仮想アイテムを強調表示することと
を更に有する、付記72に記載の方法。
(付記74)
前記第1物理ラックに関連した前記イベントの前記指示は、前記実店舗内に設置されているセンサから受け取られた入力の組に基づいて、前記イベントの検出に応答してアルゴリズムによって生成された情報を含む、
付記68に記載の方法。
(付記75)
表示要素と、
実店舗に置かれており、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられているラックカメラからラックカメラフィードを受け取るよう、かつ、前記実店舗に置かれており、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられている第2ラックカメラから第2ラックカメラフィードを受け取るよう動作するインターフェースと、
前記表示要素へ通信可能に結合される処理要素と
を有し、前記処理要素は、
前記表示要素の第1領域において、仮想店舗の仮想レイアウトを表示し、前記仮想レイアウトは、前記実店舗の物理レイアウトをエミュレートするよう構成され、前記仮想レイアウトは、前記第1物理ラックに割り当てられている第1仮想ラックと、第2物理ラックに割り当てられている第2仮想ラックとを含み、前記仮想レイアウトにおける前記第1仮想ラック及び前記第2仮想ラックの配置は、前記実店舗における前記第1物理ラック及び前記第2物理ラックの配置をエミュレートするよう構成され、
前記第1物理ラックに関連したイベントの指示を受け取り、前記イベントは、前記実店舗にいる人が前記第1物理ラックと関係を持っていることを含み、
前記第1物理ラックに関連した前記イベントの前記指示を受け取ることに応答して、
前記表示要素の第2領域において、前記第1仮想ラックを表示し、前記第1仮想ラックは、第1仮想シェルフ及び第2仮想シェルフを含み、前記第1仮想シェルフは第1仮想アイテムを含み、前記第2仮想シェルフは第2仮想アイテムを含み、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフにある第1物理アイテムのグラフィカル表現を含み、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフにある第2物理アイテムのグラフィカル表現を含み、
前記表示要素の第3領域において、開始タイムスタンプから終了タイムスタンプまでの前記ラックカメラフィードの記録に対応するラックビデオセグメントを表示し、前記ラックビデオセグメントは、前記第1物理ラックに関連した前記イベントを表し、
前記第2物理ラックに関連した第2イベントの指示を受け取り、前記第2イベントは、前記人が前記第2物理ラックと関係を持っていることを有し、
前記第2物理ラックに関連した前記第2イベントの前記指示を受け取ることに応答して、
前記表示要素の前記第2領域において、前記第2仮想ラックを表示し、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを含み、前記第3仮想シェルフは第3仮想アイテムを含み、前記第4仮想シェルフは第4仮想アイテムを含み、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフにある第3物理アイテムのグラフィカル表現を含み、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフにある第4物理アイテムのグラフィカル表現を含み、
前記表示要素の前記第3領域において、第2開始タイムスタンプから第2終了タイムスタンプまでの前記第2ラックカメラフィードの記録に対応する第2ラックビデオセグメントを表示し、前記第2ラックビデオセグメントは、前記第2物理ラックに関連した前記第2イベントを表す
よう動作する、
システム。
(付記76)
前記第1物理ラックに関連した前記イベントは、前記第1物理アイテムが前記第1物理ラックの前記第1物理シェルフの第1ゾーンから選択されることを有し、前記第1物理シェルフの前記第1ゾーンへ結合されている重量センサは、前記第1物理アイテムが前記第1物理シェルフから選択されることを検出するよう構成され、
前記イベントの前記指示は、前記重量センサから受け取られた情報を含む、
付記75に記載のシステム。
(付記77)
前記第1仮想ラックを表示することに応答して、前記処理要素は、前記第1仮想シェルフ上の前記第1仮想アイテムを強調表示するよう更に動作する、
付記76に記載のシステム。
(付記78)
前記インターフェースは、前記実店舗に置かれている第1カメラに対応するビデオフィードを受け取るよう更に動作し、
前記処理要素は、
第1人物に割り当てられ、前記実店舗における前記第1人物のショッピングセッションの部分を捕捉する第1ビデオセグメントを記憶要素に記憶し、前記第1ビデオセグメントは、前記開始タイムスタンプから前記終了タイムスタンプまでの前記ビデオフィードの記録に対応し、
スライダバーを前記第1ビデオセグメントに割り当て、前記スライダバーは、前記第1ビデオセグメントの再生進行を制御し、前記イベントは第1時点で起こり、前記スライダバーは、該スライダバー上で前記第1時点に位置しているマーカを有し、該マーカは、前記第1時点で起こる前記イベントに関連し、前記マーカは、前記第1仮想アイテムに割り当てられているアイテム識別番号と、前記第1仮想ラックに割り当てられているラック識別番号と、前記第1仮想ラックのゾーンに割り当てられているゾーン識別番号とを有し、前記イベントの前記指示は、前記第1ビデオセグメントの再生進行が前記マーカに到達したことを含み、
前記第1仮想ラックを表示することに応答して、前記メタデータに基づいて、前記第1仮想ラック上の前記第1仮想アイテムを強調表示する
よう更に動作する、
付記75に記載のシステム。
(付記79)
前記スライダバーは、該スライダバー上で第2時点に位置している第2マーカを有し、前記第2マーカは、前記第2時点で起こる第2イベントに関連し、前記第2イベントは、前記第2物理ラックに関連し、前記第2マーカは、第3仮想アイテムに割り当てられている第2アイテム識別番号と、前記第2仮想ラックに割り当てられている第2ラック識別番号と、前記第2仮想ラックの第2ゾーンに割り当てられている第2ゾーン識別番号とを含む第2メタデータを有し、
前記処理要素は、
前記第1ビデオセグメントの再生進行が前記第2マーカに到達したことを決定し、
前記第1ビデオセグメントの再生進行が前記第2マーカに到達したとの決定に応答して、
前記表示要素の前記第2領域において、前記第2仮想ラックを表示し、前記第2仮想ラックは、第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有し、
前記第2メタデータに基づいて、前記第2仮想ラック上の前記第3仮想アイテムを強調表示する
よう更に動作する、
付記78に記載のシステム。
(付記80)
前記第1物理ラックに関連した前記イベントの前記指示は、前記実店舗内に設置されているセンサから受け取られた入力の組に基づいて、前記イベントの検出に応答してアルゴリズムによって生成された情報を含む、
付記75に記載のシステム。

Claims (20)

  1. ディスプレイと、
    実店舗に置かれているラックカメラからラック映像を受信するよう構成されるインターフェースであり、前記ラックカメラは、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられており、前記ラックカメラは、前記実店舗における人のショッピングセッション中に前記第1物理ラックの映像を捕捉するよう構成される、前記インターフェースと、
    前記ディスプレイへ通信可能に結合されるハードウェアプロセッサと
    を有し、
    前記ハードウェアプロセッサは、
    前記ディスプレイの第1領域で、前記第1物理ラックをエミュレートするよう構成される第1仮想ラックを表示し、前記第1仮想ラックは第1仮想シェルフ及び第2仮想シェルフを有し、前記第1仮想シェルフは第1仮想アイテムを有し、前記第2仮想シェルフは第2仮想アイテムを有し、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフに置かれている第1物理アイテムのグラフィカル表現を有し、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフに置かれている第2物理アイテムのグラフィカル表現を有し、
    前記ディスプレイの第2領域で、前記ラック映像を表示し、前記ラック映像は、前記人が前記第1物理ラックと関係を持つことを含むイベントを表し、
    前記ディスプレイの第3領域で、仮想ショッピングカートを表示し、
    前記イベントに関連した情報を受信し、該情報は前記第1仮想アイテムを特定し、前記ラック映像は、前記人が前記第1物理ラックと関係を持っているときに前記第1物理アイテムを選択したことを表し、
    前記イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第1仮想アイテムを格納する
    よう構成される、装置。
  2. 前記インターフェースは、前記実店舗に置かれている第2ラックカメラから第2ラック映像を受信するよう更に構成され、
    前記第2ラックカメラは、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられており、前記第2ラックカメラは、前記実店舗における前記人の前記ショッピングセッション中に前記第2物理ラックの映像を捕捉するよう構成され、
    前記ハードウェアプロセッサは、
    前記ディスプレイの前記第1領域で、前記第2物理ラックをエミュレートするよう構成される第2仮想ラックを表示し、前記第2仮想ラックは第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有し、
    前記ディスプレイの前記第2領域で、前記第2ラック映像を表示し、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持つことを含む第2イベントを表し、
    前記第2イベントに関連した情報を受信し、該情報は前記第3仮想アイテムを特定し、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持っているときに前記第3物理アイテムを選択したことを表し、
    前記第2イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第3仮想アイテムを格納する
    よう更に構成される、
    請求項1に記載の装置。
  3. 前記ハードウェアプロセッサは、
    前記ショッピングセッションが終了したことを決定し、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較し、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力の組に基づき決定され、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致することを決定し、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致するとの決定に応答して、
    前記第1仮想アイテムに割り当てられている第1価格と、前記第3仮想アイテムに割り当てられている第2価格とを含む領収書を生成し、
    前記領収書を前記人へ送る
    よう更に構成される、
    請求項2に記載の装置。
  4. 前記センサは、
    前記ラックカメラとは異なるアルゴリズムカメラのアレイと、
    重みセンサの組と
    を有し、
    前記ショッピングセッション中に選択されたと前記アルゴリズムによって決定された前記アイテムのうちの各アイテムは、前記重みセンサの組の中の重みセンサへ結合される、
    請求項3に記載の装置。
  5. 前記アルゴリズム的ショッピングカートがエラーを有するとの決定に応答して、前記ハードウェアプロセッサは、
    前記入力の組の中から前記エラーに関連したサブセットを決定し、該サブセットは、前記アルゴリズムカメラのアレイから受信された入力を含み、
    不一致を説明するメタデータを前記サブセットに付加し、
    前記サブセットを使用して前記アルゴリズムを訓練する
    よう更に構成される、
    請求項4に記載の装置。
  6. 前記ハードウェアプロセッサは、
    前記ショッピングセッションが終了したことを決定し、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に前記人によって選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較し、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力に基づき決定され、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないことを決定し、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないとの決定に応答して、
    前記アルゴリズム的ショッピングカートがエラーを有することを決定し、
    前記アルゴリズム的ショッピングカートがエラーを有するとの決定に応答して、
    前記仮想ショッピングカートに基づいて、前記第1仮想アイテムに割り当てられている第1価格と、前記第3仮想アイテムに割り当てられている第2価格とを含む領収書を生成し、
    前記領収書を前記人へ送る
    よう更に構成される、
    請求項2に記載の装置。
  7. 前記ハードウェアプロセッサは、
    前記ショッピングセッションが終了したことを決定し、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較し、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力に基づき決定され、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないことを決定し、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないとの決定に応答して、
    前記仮想ショッピングカートがエラーを有することを決定し、
    前記仮想ショッピングカートがエラーを有するとの決定に応答して、
    前記アルゴリズム的ショッピングカートに基づいて、前記ショッピングセッション中に前記人によって選択されたと前記アルゴリズムによって決定された前記アイテムの価格を含む領収書を生成し、
    前記領収書を前記人へ送る
    よう更に構成される、
    請求項1に記載の装置。
  8. 前記イベントに関連した前記情報は、前記第1仮想ラックから前記仮想ショッピングカートへ前記第1仮想アイテムをドラッグ・アンド・ドロップすることに関連した情報を含む、
    請求項1に記載の装置。
  9. 実店舗に置かれているラックカメラからラック映像を受信するステップであり、前記ラックカメラは、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられており、前記ラックカメラは、前記実店舗における人のショッピングセッション中に前記第1物理ラックの映像を捕捉するよう構成される、ステップと、
    ディスプレイの第1領域で、前記第1物理ラックをエミュレートするよう構成される第1仮想ラックを表示するステップであり、前記第1仮想ラックは第1仮想シェルフ及び第2仮想シェルフを有し、前記第1仮想シェルフは第1仮想アイテムを有し、前記第2仮想シェルフは第2仮想アイテムを有し、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフに置かれている第1物理アイテムのグラフィカル表現を有し、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフに置かれている第2物理アイテムのグラフィカル表現を有する、ステップと、
    前記ディスプレイの第2領域で、前記ラック映像を表示するステップであり、前記ラック映像は、前記人が前記第1物理ラックと関係を持つことを含むイベントを表す、ステップと、
    前記ディスプレイの第3領域で、仮想ショッピングカートを表示するステップと、
    前記イベントに関連した情報を受信するステップであり、該情報は前記第1仮想アイテムを特定し、前記ラック映像は、前記人が前記第1物理ラックと関係を持っているときに前記第1物理アイテムを選択したことを表す、ステップと、
    前記イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第1仮想アイテムを格納するステップと
    を有する方法。
  10. 前記実店舗に置かれている第2ラックカメラから第2ラック映像を受信するステップであり、前記第2ラックカメラは、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられており、前記第2ラックカメラは、前記実店舗における前記人の前記ショッピングセッション中に前記第2物理ラックの映像を捕捉するよう構成される、ステップと、
    前記ディスプレイの前記第1領域で、前記第2物理ラックをエミュレートするよう構成される第2仮想ラックを表示するステップであり、前記第2仮想ラックは第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有する、ステップと、
    前記ディスプレイの前記第2領域で、前記第2ラック映像を表示するステップであり、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持つことを含む第2イベントを表す、ステップと、
    前記第2イベントに関連した情報を受信するステップであり、該情報は前記第3仮想アイテムを特定し、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持っているときに前記第3物理アイテムを選択したことを表す、ステップと、
    前記第2イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第3仮想アイテムを格納するステップと
    を更に有する、請求項9に記載の方法。
  11. 前記ショッピングセッションが終了したことを決定するステップと、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較するステップであり、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力の組に基づき決定される、ステップと
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致することを決定するステップと、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致するとの決定に応答して、
    前記第1仮想アイテムに割り当てられている第1価格と、前記第3仮想アイテムに割り当てられている第2価格とを含む領収書を生成するステップと、
    前記領収書を前記人へ送るステップと
    を更に有する、請求項10に記載の方法。
  12. 前記センサは、
    前記ラックカメラとは異なるアルゴリズムカメラのアレイと、
    重みセンサの組と
    を有し、
    前記ショッピングセッション中に選択されたと前記アルゴリズムによって決定された前記アイテムのうちの各アイテムは、前記重みセンサの組の中の重みセンサへ結合される、
    請求項11に記載の方法。
  13. 前記アルゴリズム的ショッピングカートがエラーを有するとの決定に応答して、
    前記入力の組の中から前記エラーに関連したサブセットを決定するステップであり、該サブセットは、前記アルゴリズムカメラのアレイから受信された入力を含む、ステップと、
    不一致を説明するメタデータを前記サブセットに付加するステップと、
    前記サブセットを使用して前記アルゴリズムを訓練するステップと
    を更に有する、請求項12に記載の方法。
  14. 前記ショッピングセッションが終了したことを決定するステップと、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に前記人によって選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較するステップであり、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力に基づき決定される、ステップと、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないことを決定するステップと、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないとの決定に応答して、
    前記アルゴリズム的ショッピングカートがエラーを有することを決定するステップと、
    前記アルゴリズム的ショッピングカートがエラーを有するとの決定に応答して、
    前記仮想ショッピングカートに基づいて、前記第1仮想アイテムに割り当てられている第1価格と、前記第3仮想アイテムに割り当てられている第2価格とを含む領収書を生成するステップと、
    前記領収書を前記人へ送るステップと
    を更に有する、請求項10に記載の方法。
  15. 前記ショッピングセッションが終了したことを決定するステップと、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較するステップであり、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力に基づき決定される、ステップと、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないことを決定するステップと、
    前記仮想ショッピングカートが前記アルゴリズム的ショッピングカートと一致しないとの決定に応答して、
    前記仮想ショッピングカートがエラーを有することを決定するステップと、
    前記仮想ショッピングカートがエラーを有するとの決定に応答して、
    前記アルゴリズム的ショッピングカートに基づいて、前記ショッピングセッション中に前記人によって選択されたと前記アルゴリズムによって決定された前記アイテムの価格を含む領収書を生成するステップと、
    前記領収書を前記人へ送るステップと
    を更に有する、請求項9に記載の方法。
  16. 前記イベントに関連した前記情報は、前記第1仮想ラックから前記仮想ショッピングカートへ前記第1仮想アイテムをドラッグ・アンド・ドロップすることに関連した情報を含む、
    請求項9に記載の方法。
  17. 表示要素と、
    実店舗に置かれているラックカメラからラック映像を受信し、前記ラックカメラは、前記実店舗に置かれている物理ラックの組の中の第1物理ラックに向けられており、前記ラックカメラは、前記実店舗における人のショッピングセッション中に前記第1物理ラックの映像を捕捉するよう構成され、
    前記実店舗に置かれている第2ラックカメラから第2ラック映像を受信し、前記第2ラックカメラは、前記実店舗に置かれている前記物理ラックの組の中の第2物理ラックに向けられており、前記第2ラックカメラは、前記実店舗における前記人の前記ショッピングセッション中に前記第2物理ラックの映像を捕捉するよう構成される、よう動作するインターフェースと、
    前記表示要素へ通信可能に結合される処理要素と
    を有し、
    前記処理要素は、
    前記表示要素の第1領域で、前記第1物理ラックをエミュレートするよう構成される第1仮想ラックを表示し、前記第1仮想ラックは第1仮想シェルフ及び第2仮想シェルフを有し、前記第1仮想シェルフは第1仮想アイテムを有し、前記第2仮想シェルフは第2仮想アイテムを有し、前記第1仮想アイテムは、前記第1物理ラックの第1物理シェルフに置かれている第1物理アイテムのグラフィカル表現を有し、前記第2仮想アイテムは、前記第1物理ラックの第2物理シェルフに置かれている第2物理アイテムのグラフィカル表現を有し、
    前記表示要素の第2領域で、前記ラック映像を表示し、前記ラック映像は、前記人が前記第1物理ラックと関係を持つことを含むイベントを表し、
    前記表示要素の第3領域で、仮想ショッピングカートを表示し、
    前記イベントに関連した情報を受信し、該情報は前記第1仮想アイテムを特定し、前記ラック映像は、前記人が前記第1物理ラックと関係を持っているときに前記第1物理アイテムを選択したことを表し、
    前記イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第1仮想アイテムを格納し、
    前記表示要素の前記第1領域で、前記第2物理ラックをエミュレートするよう構成される第2仮想ラックを表示し、前記第2仮想ラックは第3仮想シェルフ及び第4仮想シェルフを有し、前記第3仮想シェルフは第3仮想アイテムを有し、前記第4仮想シェルフは第4仮想アイテムを有し、前記第3仮想アイテムは、前記第2物理ラックの第3物理シェルフに置かれている第3物理アイテムのグラフィカル表現を有し、前記第4仮想アイテムは、前記第2物理ラックの第4物理シェルフに置かれている第4物理アイテムのグラフィカル表現を有し、
    前記表示要素の前記第2領域で、前記第2ラック映像を表示し、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持つことを含む第2イベントを表し、
    前記第2イベントに関連した情報を受信し、該情報は前記第3仮想アイテムを特定し、前記第2ラック映像は、前記人が前記第2物理ラックと関係を持っているときに前記第3物理アイテムを選択したことを表し、
    前記第2イベントに関連した前記情報の受信に応答して、前記仮想ショッピングカートに前記第3仮想アイテムを格納し、
    前記ショッピングセッションが終了したことを決定し、
    前記ショッピングセッションが終了したとの決定に応答して、
    前記仮想ショッピングカートを、前記ショッピングセッション中に選択されたとアルゴリズムによって決定されたアイテムを含むアルゴリズム的ショッピングカートと比較し、前記アルゴリズム的ショッピングカートは、前記実店舗内にあるセンサから受信された入力の組に基づき決定され、前記センサは、前記ラックカメラとは異なるアルゴリズムカメラのアレイと、重みセンサの組とを有し、前記ショッピングセッション中に選択されたと前記アルゴリズムによって決定された前記アイテムのうちの各アイテムは、前記重みセンサの組の中の重みセンサへ結合され、
    前記仮想ショッピングカートを前記アルゴリズム的ショッピングカートと比較することに応答して、
    前記ショッピングセッションの領収書を生成し、
    前記領収書を前記人へ送る
    よう動作する、システム。
  18. 前記領収書は、前記第1仮想アイテムに割り当てられている第1価格と、前記第3仮想アイテムに割り当てられている第2価格とを含む、
    請求項17に記載のシステム。
  19. 前記仮想ショッピングカートを前記アルゴリズム的ショッピングカートと比較することに応答して、前記処理要素は、
    前記アルゴリズム的ショッピングカートがエラーを有することを決定し、
    前記入力の組の中から前記エラーに関連したサブセットを決定し、該サブセットは、前記アルゴリズムカメラのアレイから受信された入力を含み、
    不一致を説明するメタデータを前記サブセットに付加し、
    前記サブセットを使用して前記アルゴリズムを訓練する
    よう更に動作する、
    請求項17に記載のシステム。
  20. 前記イベントに関連した前記情報は、前記第1仮想ラックから前記仮想ショッピングカートへ前記第1仮想アイテムをドラッグ・アンド・ドロップすることに関連した情報を含む、
    請求項17に記載のシステム。
JP2022523938A 2019-10-25 2020-10-23 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法 Active JP7440627B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US16/663,589 2019-10-25
US16/664,490 2019-10-25
US16/663,589 US10861085B1 (en) 2019-10-25 2019-10-25 Apparatus, system and method for populating a virtual shopping cart based on video of a customers shopping session at a physical store
US16/664,470 2019-10-25
US16/663,564 2019-10-25
US16/663,564 US10607080B1 (en) 2019-10-25 2019-10-25 Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
US16/664,470 US10922555B1 (en) 2019-10-25 2019-10-25 Customer-based video feed
US16/664,529 2019-10-25
US16/664,529 US11798065B2 (en) 2019-10-25 2019-10-25 Tool for generating a virtual store that emulates a physical store
US16/664,490 US11100717B2 (en) 2019-10-25 2019-10-25 System and method for presenting a virtual store shelf that emulates a physical store shelf
PCT/US2020/057048 WO2021081319A1 (en) 2019-10-25 2020-10-23 System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store

Publications (3)

Publication Number Publication Date
JP2022553542A true JP2022553542A (ja) 2022-12-23
JPWO2021081319A5 JPWO2021081319A5 (ja) 2023-10-31
JP7440627B2 JP7440627B2 (ja) 2024-02-28

Family

ID=73449221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523938A Active JP7440627B2 (ja) 2019-10-25 2020-10-23 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法

Country Status (7)

Country Link
EP (1) EP4049250B1 (ja)
JP (1) JP7440627B2 (ja)
KR (1) KR102634141B1 (ja)
CN (1) CN114830200A (ja)
CA (1) CA3165136A1 (ja)
MX (1) MX2022004899A (ja)
WO (1) WO2021081319A1 (ja)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177463A1 (en) * 2004-02-10 2005-08-11 Crutchfield William G.Jr. Virtual showroom for interactive electronic shopping
US7178722B2 (en) * 2004-12-09 2007-02-20 International Business Machines Corporation Virtual shopping environment
US20070073717A1 (en) * 2005-09-14 2007-03-29 Jorey Ramer Mobile comparison shopping
WO2009120616A1 (en) * 2008-03-25 2009-10-01 Wms Gaming, Inc. Generating casino floor maps
US8112920B2 (en) * 2008-07-03 2012-02-14 7-Eleven, Inc. Rolling information display for roller grill
US20120215656A1 (en) 2011-02-23 2012-08-23 Liang Light Chen Drag-and-drop internet shopping with an embedded shopping cart view
US20130110666A1 (en) * 2011-10-28 2013-05-02 Adidas Ag Interactive retail system
US10083430B2 (en) * 2012-06-08 2018-09-25 Ronny Hay Computer-controlled, unattended, automated checkout store outlet system and related method
RU2671767C2 (ru) * 2013-04-08 2018-11-06 Ронни ХЕЙ Управляемый компьютером киоск с автоматической оплатой, не требующий присутствия продавца
US9473747B2 (en) * 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US20150161712A1 (en) * 2013-12-10 2015-06-11 12 Retail (HK) Limited Unifying shopping experience system
WO2015163460A1 (ja) 2014-04-25 2015-10-29 佳弘 東 決済支援装置、決済支援方法及びプログラム
JP5704279B1 (ja) 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
WO2017196822A1 (en) * 2016-05-09 2017-11-16 Grabango Co. System and method for computer vision driven applications within an environment
US10368057B1 (en) * 2016-09-28 2019-07-30 Amazon Technologies, Inc. Synchronizing data streams
CA3052292A1 (en) * 2017-02-10 2018-08-16 Grabango Co. A dynamic customer checkout experience within an automated shopping environment
US20180240180A1 (en) * 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
CN108269371B (zh) * 2017-09-27 2020-04-03 缤果可为(北京)科技有限公司 商品自动结算方法、装置、自助收银台
US10963704B2 (en) * 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
US20210027318A1 (en) 2018-03-20 2021-01-28 Nec Corporation Store management device and store management method
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items

Also Published As

Publication number Publication date
KR20220082919A (ko) 2022-06-17
KR102634141B1 (ko) 2024-02-07
MX2022004899A (es) 2022-05-16
JP7440627B2 (ja) 2024-02-28
WO2021081319A1 (en) 2021-04-29
EP4049250A1 (en) 2022-08-31
EP4049250B1 (en) 2024-05-29
CA3165136A1 (en) 2021-04-29
CN114830200A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US10810428B1 (en) Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
US11386631B2 (en) System and method for presenting a virtual store shelf that emulates a physical store shelf
US10861085B1 (en) Apparatus, system and method for populating a virtual shopping cart based on video of a customers shopping session at a physical store
US11475674B2 (en) Customer-based video feed
US11798065B2 (en) Tool for generating a virtual store that emulates a physical store
US11023728B1 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
WO2020047919A1 (zh) 无人售货方法、装置、系统、服务器及计算机可读存储介质
US11995684B2 (en) System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store
JP2006350751A (ja) 店舗内の販売分析装置及びその方法
CN110895747B (zh) 商品信息识别、显示、信息关联、结算方法及系统
US20220180424A1 (en) System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
US11475656B2 (en) System and method for selectively verifying algorithmically populated shopping carts
US11386647B2 (en) System and method for processing a refund request arising from a shopping session in a cashierless store
JP7440627B2 (ja) 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法
WO2022115841A1 (en) System and method for selectively verifying algorithmically populated shopping carts
JP2012216117A (ja) 販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240215

R150 Certificate of patent or registration of utility model

Ref document number: 7440627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150