JP2020510900A - 自動化買物環境における動的な顧客チェックアウト体験 - Google Patents

自動化買物環境における動的な顧客チェックアウト体験 Download PDF

Info

Publication number
JP2020510900A
JP2020510900A JP2019541252A JP2019541252A JP2020510900A JP 2020510900 A JP2020510900 A JP 2020510900A JP 2019541252 A JP2019541252 A JP 2019541252A JP 2019541252 A JP2019541252 A JP 2019541252A JP 2020510900 A JP2020510900 A JP 2020510900A
Authority
JP
Japan
Prior art keywords
checkout
customer
virtual cart
cart
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019541252A
Other languages
English (en)
Other versions
JP7093783B2 (ja
Inventor
グレーサー,ウィリアム
オスドル,ブライアン ヴァン
オスドル,ブライアン ヴァン
Original Assignee
グラバンゴ コーポレイション
グラバンゴ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グラバンゴ コーポレイション, グラバンゴ コーポレイション filed Critical グラバンゴ コーポレイション
Publication of JP2020510900A publication Critical patent/JP2020510900A/ja
Priority to JP2022043213A priority Critical patent/JP2022091841A/ja
Application granted granted Critical
Publication of JP7093783B2 publication Critical patent/JP7093783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12Accounting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20Destination assistance within a business structure or complex

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Tourism & Hospitality (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

自動チェックアウトシステムを通じて顧客のための仮想カートを生成することと、顧客の位置を追跡することと、仮想カートの査定を生成することと、査定に部分的に基づいて顧客のための処理モードを選択し、実体の位置と連係して少なくとも1つのコンピューティングデバイス内で処理モードを実行することと、を含む、自動化買物環境内における動的な顧客チェックアウト体験のためのシステム及び方法。

Description

関連出願の相互参照
本出願は、2017年2月10日に出願された米国仮特許出願第62/457,656号、及び2017年6月21日に出願された米国特許出願第62/523,183号の利益を主張する。両出願はそれらの全体が本参照により組み込まれている。
技術分野
本発明は、概して、チェックアウト処理の技術分野に関し、より詳細には、自動化買物環境内における動的な顧客チェックアウト体験のための新しく有用なシステム及び方法に関する。
背景
チェックアウト体験は、並んでいる顧客の量、それらの顧客によって購入される品物、店員の数及び体験、及び/又は他の因子に依存して大きく変化し得る。店舗によっては、セルフチェックアウトキオスクが、顧客が品物を手動でスキャンし、チェックアウトすることを可能にする。しかし、セルフチェックアウトキオスクのために行列がしばしばできてしまい、プロセスは、煩わしく、分かりにくいものになり得る。セルフチェックアウトステーション及び店員配置チェックアウトステーションのプロセスの場合、プロセスは、遅く、間違いを起こしやすく、いら立ちの原因になり得る。顧客がオンラインのための多くの選択肢及び配達の選択肢を有する時代には、顧客体験が貧弱であれば実店舗のための売り上げの喪失を招き得る。いくつかの基本的な自動セルフチェックアウト体験は初期探査段階があったが、ほとんどは、制御された環境内で適用される。このような体験は、多くの場合、大きな環境内、又は従来のチェックアウト体験と並行した環境内における実施に対応せず、それゆえ、それらの適用性を限定する。それゆえ、チェックアウト処理の技術分野においては、自動化買物環境内における動的な顧客チェックアウト体験のための新しく有用なシステム及び方法を創造する必要性がある。本発明はこのような新しく有用なシステム及び方法を提供する。
図面の簡単な説明
例示的な買物環境内で実施された好ましい一実施形態のシステムの概略図である。 好ましい一実施形態のシステムの概略図である。 好ましい一実施形態の同期エンジンの概略図である。 同期エンジンによって確立される関連付けの変形例の概略図である。 同期エンジンによって確立される関連付けの変形例の概略図である。 同期エンジンによって確立される関連付けの変形例の概略図である。 自動チェックアウトプロセスを利用するユーザのための例示的なイベントのグラフィカルフローチャート図である。 エージェントを監視するために用いられるスマートシェルビングの概略図である。 支援付きチェックアウトプロセスを利用する様子の概略図である。 プロジェクタベースの顧客誘導インフラストラクチャ部分の概略図である。 自動チェックアウト領域へのアクセスを制御するために用いられる自動ターンスタイルの概略図である。 店員アプリケーションの変形例の概略図である。 異なるチェックアウト処理モードに基づく顧客アプリケーションの概略図である。 異なるチェックアウト処理モードに基づく顧客アプリケーションの概略図である。 仮想カートの問題を解決するために用いられる質問票のスクリーンショット図である。 ARベースのカート問題解決ツールの概略図である。 ARベースのカート問題解決ツールの概略図である。 チェックアウトステーションと組み合わせて用いられる動的チェックアウト処理モードの概略図である。 好ましい一実施形態の方法のフローチャート図である。 自動チェックアウト利用可能環境に適用される好ましい一実施形態の方法のフローチャート図である。 好ましい一実施形態の方法の一実装の例示的な論理フローチャートを示す図である。 好ましい一実施形態の方法の一実装の例示的な論理フローチャートを示す図である。 コンピューティングデバイスにおける処理モードの実行を顧客の位置と連係させることの概略図である。 処理モードの実行の変形例のフローチャート図である。 チェックアウトステーションと組み合わせた本方法の一実装の例示的な論理フローチャートを示す図である。
実施形態の説明
本発明の諸実施形態の以下の説明は、本発明をこれらの実施形態に限定することを意図されておらず、むしろ、当業者が本発明を作成し、用いることを可能にすることを意図されている。
1.概説
好ましい諸実施形態の自動化買物環境内における動的な顧客チェックアウト体験のためのシステム及び方法は、店舗又は他の好適な環境内のチェックアウトプロセスを促進するように機能する。システム及び方法は、好ましくは、自動化チェックアウト選択肢を提供する店舗に関連して用いられる。
システム及び方法は、図1に示されるように、顧客を動的に誘導し、販売時点管理(POS(point of sale))デバイスのチェックアウト処理モードを更新し、店員を誘導し、並びに/或いは自動化買物環境内の顧客及び/又は店員の対話の他の態様を補強することに適用することができる。
好ましくは、システム及び方法は、好ましくは、コンピュータビジョンベースの自動チェックアウトシステム及び方法である、自動チェックアウトのためのシステム又は方法と組み合わせて用いられるが、自動チェックアウトのアプローチは、代替的に、又は追加的に、RFIDタグ、品物監視ディスペンサ若しくは棚、秤、様々な形態のセンサフュージョン、スマートカート、買物客促進品物スキャン、及び/又は自動チェックアウトのための任意の好適な技法を利用し得る。したがって、本明細書において記載されるシステム及び方法は多種多様のチェックアウトツール及び技法に適用可能であり得る。
本明細書において、自動チェックアウトは、主として、所持又は選択された品物を課金のために知ることを目的として買物プロセスの間に仮想カート(すなわち、チェックアウトリスト)を生成又は維持するシステム又は方法によって特徴付けられる。チェックアウトプロセスは、顧客が店舗を出る過程にある時に行われ得る。チェックアウトプロセスは、代替的に、顧客がアプリケーション内のチェックアウト選択肢を選択した時など、チェックアウトプロセスを完了するための任意の好適な条件が満足された時に行われ得るであろう。自動チェックアウトプロセスを遂行する際に、システム及び方法は顧客のアカウントに買物カートの合計の代金を自動的に請求し、及び/又は代替的に、総取引を顧客による完了のために自動的に提示することができる。取引の実際の実行は、店舗内におけるチェックアウトプロセスの最中、又はその後に行われてもよい。例えば、顧客が店舗を出た後にクレジットカードに課金されてもよい。
システム及び方法は多種多様の環境における適用を有することができる。一変形例では、システム及び方法の自動チェックアウト処理は、顧客が在庫及び購入可能商品と対話する買物区域又は売り場などの開放環境内で用いることができる。顧客は、製品の検分、製品の移動、カート若しくはバッグへの品物の追加、及び/又は他の対話を含み得る、種々の仕方で在庫と対話し得る。システム及び方法は、食品雑貨店、コンビニエンスストア、マイクロコマース&無人店舗、バルク商品店、スーパーストア、小売店、大規模小売店、電器店、書店、コンビニエンスストア、ドラッグストア、薬局、卸売り店、ショッピングモール、市場、靴屋、衣料品店、及び/又は任意の好適な種類の買物環境などの店舗環境内で用いることができる。
システム及び方法は、代替的に、図2に示されるように、環境内におけるユーザ対話の他の形態のモデリングに適用され得る。このようなシステム及び方法は自動チェックアウト処理を用い得るが、代替的に、チェックアウトプロセスの代わりに制御される他の取引又はイベント(例えば、アクセスの許可、セキュリティチェックの遂行、物品の貸し出し等)を有し得る。一変形例では、システム及び方法は、図書館、貸し出し店、卸売り店、又は任意の好適な品物保管施設などにおける顧客による商品の取り出しを考慮するために用いられてもよい。金銭取引の代わりに、品物は貸し出しチェックアウトプロセス内のユーザのアカウントに貸記される。別の変形例では、システム及び方法は、位置へのアクセスを許可又は制限するため、或いはこのようなアクセスの料金を請求するために用いられ得る。本明細書において、システム及び方法は、主として、顧客のためのチェックアウトプロセスを選択的に補強するために用いられるものとして説明されているが、システム及び方法は、環境内で生じ、ユーザ特性、ユーザの過去の対話、及び/又は他の態様に基づく、他の種類の対話又はイベントに同様に適用することもできるであろう。
概して、システム及び方法は、環境内のエージェント(例えば、人間)の監視された対話を判定又は分析する。具体的には、システム及び方法は、好ましくは、自動チェックアウトシステムによって生成された顧客の仮想カートの状態を判定又は分析し、次に、途切れなく課金を行って顧客が出ることを許可すること、又は顧客を従来のチェックアウトステーションに誘導することなどによって、適切な応答を案内するために用いられる。前記仮想カートは、物理的なカート、かご、又はバッグの論理的類似体であることができるか、或いは単に、品物のリストが、明示的な入れ物を有しない人の所持を助けることができるであろう。加えて、システム及び方法は、仮想カート内の潜在的誤りに対処し、これを修正するなど、顧客のチェックアウトプロセスに関連する問題を解決するように機能し得る。
買物環境内において、システム及び方法は、好ましくは、買物体験を向上させるため、及び特に、チェックアウトプロセスを向上させるために用いられる。これは、好ましくは、自動チェックアウトに対処することに関連して遂行される。実装によっては、これは、適格の顧客が途切れのない自動チェックアウト体験を有することができることを確実にするために用いることができるであろう。実装によっては、これは、既存のチェックアウトステーション内におけるチェックアウトプロセスを加速するために用いることができる。例えば、顧客の仮想カートは、店員が支払いの徴収を促進し、他の仕方で支援することができるよう、店員が常駐したチェックアウトステーションに自動的に同期させることができるであろう。
システム及び方法は、代替的に、自動チェックアウトが選択肢でない状況において用いることができるであろう。例えば、いくつかの変形例におけるシステム及び方法は、チェックアウト効率を改善するために、購入のために選択されたモデリングされた品物(例えば、品物の数の推定をモデリングする)、及び様々なチェックアウトレーン内の顧客のモデリングに基づいて、顧客を適切なチェックアウトレーンへ誘導するために用いることができるであろう。
システム及び方法は種々の仕方で実施又は具体化され得る。一実装では、システム及び方法は、顧客を誘導すること、仮想カートデータを適切に活用し、店員のチェックアウトプロセスの管理を支援するチェックアウトプロセスを動的に実行すること、及び/又は他の作業を促進するために協働する、異なる環境のデバイスのセットである。システム及び方法は、代替的に、より限定的な、的を絞った仕方で適用されてもよい。
一変形例では、システム及び方法は、仮想カートデータが利用可能である時に、チェックアウトステーションが仮想カートデータを動的に用いることができるよう、店員又は顧客によって操作されるチェックアウトステーション(例えば、販売時点管理/POSシステム)を補強するために用いられる。
別の変形例では、システム及び方法は、顧客が自動チェックアウト機能を利用するのを支援するために使用される入場若しくは出場ゲート又はデバイスにおいて用いることができる。同様の一変形例では、システム及び方法は、顧客へチェックアウトの仕方を伝えることができるスマートな顧客誘導インフラストラクチャを実施するために用いることができる。
別の変形例では、システム及び方法は、顧客を監視し、チェックアウトプロセスを支援し、環境内の他の任務を遂行するために店員によって用いられる店員アプリケーションを実施するために用いることができる。
別の変形例では、システム及び方法は、顧客制御デバイス上のアプリケーション内において顧客促進チェックアウトを可能にする顧客アプリケーションを実施するために用いることができる。
1つの潜在的利益として、システム及び方法は、環境内の多様な顧客、又は、より一般的には、エージェントの処理を扱うことを促進することができる。したがって、システム及び方法は、顧客の一部分が自動チェックアウト選択肢を利用しており、その一方で、別の部分がより従来型のチェックアウトプロセスを用いる、混合環境内における顧客のためのユーザ体験を改善し得る。したがって、システム及び方法は、他のチェックアウト処理選択肢及び能力と並行して自動チェックアウト処理を可能にすることができる。買物環境内において、システム及び方法は、従来のチェックアウト顧客、自動チェックアウト顧客、忠実な顧客、初めての顧客及び/又は他の種類の顧客を含み得る多様な顧客の待遇を管理し得る。顧客は、彼らの買物挙動(例えば、自動チェックアウトを有効化若しくは無効化する)、彼らの訪問の間におけるエージェントモデリングの状態(例えば、モデリングされた仮想カートにおける信頼度)、及び/又は他の因子に基づいて、彼らにふさわしいモードで選択的に扱われ得る。Tシステム及び方法は、店舗が自動チェックアウトプロセスと並行して従来のチェックアウトプロセスをサポートすることを試みる際に生じ得る問題及び混乱に対処するように機能し得る。加えて、これは、買物環境が、従来のチェックアウト処理から自動チェックアウト処理への急激な転換を行うだけの余裕がない、より多くの環境内に自動チェックアウトが普及されることを可能にする。
関連する潜在的利益として、システム及び方法は、様々な条件に基づいて顧客を選り分ける、又は選別することを促進し得る。基本レベルにおいて、システム及び方法は、自動チェックアウトプロセスと促進チェックアウトプロセスとの間で顧客を選り分けることを促進するために用いることができる。顧客を選り分けるために用いられ得る様々な条件は、自動チェックアウトシステムへの顧客の登録の状態、仮想カートの品物リスト、仮想カートの合計、仮想カートの内容における信頼レベル、仮想カート内の1つ以上の品物の予測に関する問題、顧客購入履歴(例えば、忠実な顧客若しくは新しい顧客、購入傾向等)、経済的因子及び他の因子を考慮した費用便益分析、並びに/或いは他の好適な入力を含むことができる。
別の潜在的利益として、システム及び方法は、自動チェックアウト利用可能環境をサポートするとともに、このような環境内における適合性のための新たな機能を用いて既存のインフラストラクチャを補強する、新たなツール及びデバイスのセットを有効にする。店員、顧客、及び/又は店舗環境のための多種多様の案内ツールが本明細書において説明される。システム及び方法の案内ツールは、自動チェックアウト、補強されたチェックアウト、及び/又は通常のチェックアウト体験に適用することができる。
関連する潜在的利益として、システム及び方法は、より透過的な自動チェックアウトを提供するために適用することができる。実装によっては、自動チェックアウトは、チェックイン若しくはチェックアウトステーション、キオスク、ゲート、及び/又は他の好適な対話地点を含むか、又はこれらと組み合わせて用いられ得る。しかし、他の実装では、システム及び方法は、顧客のための妨害及び制限のより少ない対話をもたらすために用いることができるであろう。一例では、買物環境は、例えば、顧客が彼らのチェックアウト体験の何らかの態様を吟味したいと思わない限り、顧客がターンスタイル又はチェックアウトステーションを通過しなくてもすむ開放チェックアウト領域を有することができるであろう。
別の潜在的利益として、システム及び方法は仮想カートの問題の解決を合理化し得る。自動チェックアウトシステムは不完全になる可能性があり、それらの利用には多種多様の問題又は警告状態が伴うおそれがある。システム及び方法は、好ましくは、問題に選択的に対処することによって、店舗及び顧客の観点からこのような問題の悪影響を最小限にとどめることができる。
別の潜在的利益として、システム及び方法は、自動チェックアウトシステムを新しい買物環境内に登録するために用いられ得る。システム及び方法は、既存のチェックアウトシステムと共になおも動作しつつ、自動チェックアウト機能の投入を徐々に移行させることができる。自動チェックアウト処理と従来のチェックアウトとのバランスを動的に管理することさえできるであろう。それゆえ、店舗は、量、比率、数、又は自動チェックアウト周辺の他の限度を指示することが可能であり得る。これは、時刻、店員の数、顧客の数、及び/又は他の条件(例えば、祝日の売り出し及び同様のもののような大売り出し)に基づいてチェックアウト処理を調整するために用いることができるであろう。より粒度の細かいレベルでは、店舗に導入された新しい品物は、非自動チェックアウト処理を通すように誘導することができるであろう。その間に、システム及び方法はその品物を仮想カート内におけるより良好なモデリング及び追跡のためにオンボーディングする。別の変形例として、自動チェックアウトがどのようにサポートされるのかを漸次変更することができるであろう。例えば、自動チェックアウトは、追加的に、仮想カートの品物をチェックアウトステーションに自動的に入力することによってサポートされてもよく、次に、自動チェックアウトに適格の顧客をセルフチェックアウトステーション又は自動チェックアウトステーションへ誘導することができ、次に、自動チェックアウトに適格の顧客を、自動チェックアウト領域を通って出るように誘導することを開始することができるであろう。
変形例によっては、システム及び方法は、追加的に、手動チェックアウトステーションを向上させるという別の潜在的利益をもたらし得る。手動チェックアウトステーション及び/又は店員配置チェックアウトステーションは、顧客の存在と連係して、仮想カート情報をそのステーションに同期させ得る。このように、顧客及び/又は店員は、品物の全て又は一部分の入力を軽減され得るであろう。
さらに別の潜在的利益として、システム及び方法は、自動チェックアウトの初心者の顧客のための容易なオンボーディングプロセスを提供することができる。自動チェックアウトに慣れていない、又はそれに困惑する顧客は、従来のチェックアウトステーションのシステム及び方法の向上を通じて自動チェックアウトの使いやすさ及び効率を認めることができるであろう。このようなチェックアウトステーションは、追加的に、アカウントの登録、ユーザアプリケーションとの同期をサポートし、及び/又はその後の訪問時に、より自動的なチェックアウト機能を試すよう顧客に案内し得る他の情報を提供することができるであろう。
加えて、システム及び方法は、盗難、シュリンケージ、チェックアウトの誤り、並びに/或いは店舗及び顧客に負担をかけ得る他の問題に対するチェックアウトプロセスの弾力性を向上させることに関連する利益を有することができる。
システム及び方法は、好ましくは、環境内のエージェント(例えば、顧客)をモデリングするためにCVベースの監視システムを用いる、エージェント監視システム、及びより具体的には、自動チェックアウトシステムと組み合わせて用いられる。エージェント監視システムは代替監視システムを用いるか、或いはRFIDタグ及び読み取り器並びに/或いはスマートシェルビングなどの補助監視システム114を用い得る。しかし、本明細書において、説明は、主として、CVベースの監視システムに関連して実施されるものとしてシステム及び方法を議論する。CV監視システムは、概して、エージェントの対話(例えば、顧客が店舗を通して品物を購入のために選択すること、及び選択取り消しすること)のモデリング、並びにこのような対話をレコード及び/又はアカウントに関連付けることを含むことになる。このようなコンセプトを議論する際に、システム及び方法は、以下において一般的に特徴付けられる、CV人物、ユーザレコード、ユーザアカウント、エージェント、人間、ユーザ、顧客、店員、デバイスインスタンス、関連付け、環境、チェックアウト領域、及び仮想カートの専門用語を用いて関係要素を説明する場合がある。当業者は、このような用語の使用は、システム及び方法を、このようなモデリング構築を用いる実装に限定することを意図されておらず、異なる感知アプローチ及び/又はモデルアーキテクチャを用いる任意の好適なモデリングアプローチを含むことができるであろうことを理解するであろう。
CV人物は、本明細書で使用する時、CVシステムによって表現された、検出され、任意選択的に追跡される物理的な人物を特徴付ける。CV人物は任意の個人識別情報又は人物関連メタデータを有してもよく、又は有しなくてもよい。CV人物は、概して、環境内の人物の存在、並びに任意選択的に、位置、アクション、活動、CVにより導出された特性、及び/又は画像処理に基づく他の情報を表現することになる。ここで、CV監視システムは、物体の検出及び追跡を促進するためにコンピュータビジョンを採用し、アクションを検出し、他のCVベースの動作を遂行する撮像システム及び/又は処理システムを特徴付ける。CV人物の説明は、代替的に、より一般的に、カート、バッグ、かご、又は他の好適な物体などの、CVによって検出され、追跡される物体を含むことができる、CVエージェントであることができるであろう。CV監視システムは、追加的に、CV品物、CV製品、及び/又は他の要素を検出し、追跡することができるであろう。本明細書において、システム及び方法は、主として、CVモデリングを、それが人間(例えば、顧客)に適用されるものとして説明しているが、他の好適なCV検出物体にも同様に適用され得るであろう。
ユーザレコードは、本明細書で使用する時、単独の人間又は人に関連付けられたコンピュータレコードを特徴付ける。ユーザレコードは、好ましくは、CV人物に関連付けられ、CV人物の状態を一意に識別し、追跡し、記録することができる。ユーザレコードは、好ましくは、様々な特性を含むことになる。ユーザレコードの特性は個人識別情報を含み得るが、代替的に、それは識別情報を全く含まなくてもよい。いくつかの実装におけるユーザレコードはまた、支払い情報、ユーザ設定、ユーザ履歴、特権設定/許可、及び/又は他の情報も含み得る。ユーザレコードの特性は、これらの特性を更新することができるまでプレースホルダーとして用いられるデフォルト設定を最初に用い得る。
ユーザレコードは人間の内部モデルであることができる。人間の内部モデルとして、ユーザレコードは、本質的に、CV人物が環境内で検出されている期間の間、保存される一時的なユーザレコードであることができるであろう。例えば、ユーザレコードは、顧客が店舗内に存在する期間の間、作成し、更新することができる。人間の内部モデルとして、ユーザは、実装によっては、ユーザレコードを管理するための直接のアクセスを明示的に作成するか、又はそれを有しなくてもよい。一変形例では、ユーザレコードは、ユーザレコードの少なくとも一部がユーザにより管理され得る、ユーザアカウントであるか、それを含むか、又はそれを参照することができる。
ユーザアカウントは、本明細書で使用する時、ユーザによってアクセスされ、操作され得るシステム内のアカウントを特徴付ける。ユーザアカウントは、概して、ユーザアカウントのいくつかの態様のユーザ管理を可能にするためのユーザ名及びパスワードなどの何らかの認可プロセスを伴うことになる。ユーザアカウントは、ソーシャルメディアプラットフォームなどの外部システムのユーザアカウントを参照してもよい。自動チェックアウトに適用されるシステムの例示的な使用事例では、ユーザアカウントは、ユーザがアプリケーションインスタンスを登録すること、支払い方法を編集すること、アカウント設定を変更すること、買物履歴を閲覧すること、買物リストを編集すること、及び/又は他のアクションを遂行することを可能にするために用いられ得る。これらのアクションは、ユーザアカウントと同期させることができ、CV監視システムの外部で遂行することができるが、好ましくは、システム及び方法がCV人物及びユーザアカウントを関連付ける時には、CV監視システムによって活用され得る。
エージェントは、本明細書で使用する時、環境内の対話の主体になり得る、検出され、及び/又は追跡される物体又は実体を特徴付ける。エージェントは、好ましくは、環境内で一意に検出され、追跡され、システム及び方法は、好ましくは、環境内におけるエージェント対話の同時検出、追跡、及びモデリングをサポートする。エージェントは、好ましくは、人間であるが、代替的に、買物カート、かご、バッグ、箱若しくは入れ物、ロボット若しくは車両のような自動化デバイス、及び/又は任意の好適な実体であることができるであろう。
人間は、本明細書で使用する時、時としてユーザと呼ばれる一意的識別性を有する人間を特徴付ける。自動チェックアウトに適用されるシステム及び方法の例示的な使用事例では、人間のユーザは、顧客、店員、又は明確に規定された役割を有してもよいし、若しくは有しなくてもよい、環境内に他の様態で存在する人物であることができる。人間は、家畜、ペット、車両、ロボット、及び同様のものなどの他の生物又は非生物エージェント又は実体に同様に一般化することができるであろう。本明細書において、我々は、主として、人間を、顧客又は店員としての彼らの例示的な役割に従って参照することになるが、当業者は、システム及び方法は、人間による使用、又はいかなる特定の役割にも限定されないことを理解するであろう。
デバイスインスタンスは、本明細書で使用する時、環境内に存在するステートフルデバイスの一意的なインスタンシエーションを特徴付ける。デバイスインスタンスは、多くの場合、スマートフォン、ウェラブルコンピュータ、タブレット、パーソナルコンピュータ、又はコンピューティングキオスク/ステーションなどのコンピューティングデバイスである。デバイスインスタンスは、好ましくは、一意に識別可能である。場合によっては、デバイスインスタンスは、より具体的には、ユーザによってインストールされたアプリケーションなどのデバイス上のアプリケーションインスタンスである。自動チェックアウトに適用されたシステムの使用事例を続けると、アプリケーションインスタンスは、顧客が、彼らの現在選択された品物を閲覧し、チェックアウトを完了し、設定を変更するために用いることができる、自動チェックアウトサービスのアプリケーションであることができる。アプリケーションインスタンスは、代替的に、店員のアプリケーションであることができるであろう。インスタンスによっては、システム及び方法は、アプリケーションインスタンスの状態を、ユーザレコード、又はユーザがアカウントにログインする場合には、ユーザアカウントと同期させることを促進することができる。例えば、仮想カートの状態、及び/又は顧客のための使用可能チェックアウト処理モードを顧客ユーザアプリケーションと同期させることができるであろう。別の例では、仮想カートの状態、及び/又は複数の顧客のためのチェックアウト処理モードを、店員アプリケーションを通じて店員へ通信し、提示することができるであろう。
関連付けは、本明細書で使用する時、図3に示されるとおりの、CV人物、ユーザレコード、ユーザアカウント、デバイスインスタンス、人間/エージェント、及び/又は他の好適な関連付け要素のセットから選択される少なくとも2つのデータモデリングされた関連付け要素のシンボルリンク付け又はデータ参照の変形例である。関連付け要素は、機械可読データ、データ参照、デバイス、及び/又はデバイス参照であり得る。顧客を確立するか、又は顧客をシステム及び方法と同期させる場合には、関連付けは、好ましくは、CV人物及びユーザレコードと、ユーザアカウント、デバイスインスタンス、及び又は人間のうちの少なくとも1つとの、3要素の関連付けである。インスタンスによっては、顧客のための関連付けは、ユーザレコード内の対話及びモデリングをCV監視システムからの位置及びモデリングに関連付けることができるよう、CV人物とユーザレコードとのものであり得る。関連付けは同期エンジンによってしまっておかれてもよい。
図4に示されるとおりの人間の関連付けを含む関連付けは、その人間の積極的確認を提供することができる。人間との関連付けは、CVシステムを通じた人間の生体検出によるものであることができる。人間の関連付けはまた、デバイス/アプリケーションを通じた生体識別を通じて間接的に確立することもできるであろう。
図5に示されるとおりのデバイスインスタンスの関連付けを含む関連付けは、デバイス及び/又はアプリケーションとの状態同期を確立することができる。アプリとの対話はCVシステムに影響を与えることができ、同様に、CVシステムからの検出情報はデバイス又はアプリケーションインスタンスへプッシュされ得る。システム及び方法は、このような関連付けを、関連付けられたCV人物の接近を検出した時に、チェックアウトステーションの適切なインスタンスの更新を仮想カートデータと連係させるために用い得る。
図6に示されるとおりのユーザアカウントを含む関連付けは、記憶されたユーザ関連データ及び設定を活用するために、ユーザアカウントとの状態同期を確立することができる。アカウントの記憶された設定はCVシステムに影響を与えることができ、同様に、CVシステムからの検出情報は、ユーザアカウントを更新するために用いられ得る。一例では、支払い情報は、ユーザアカウントに関連付けて記憶し、チェックアウトプロセスのチェックアウトリストの代金を自動的に支払うために用いることができる。
関連付けは、好ましくは、CV人物の存続期間(例えば、店舗内で買物する買物客の存続期間)の間、維持される。加えて、関連付けは、複数の店舗への複数の訪問にわたって維持されてもよい−関連付けは、概して、訪問ごとに再確立されることになる。システム及び方法は関連付けの確立及び/又は再確立を促進することができる。加えて、関連付けは、他の関連付け要素を含むように拡張することができる。しかし、関連付けの要素は、永久的関連付け解除(例えば、デバイスインスタンスを削除すること)、又は一時的関連付け解除(例えば、単一の訪問の間における匿名の買物のためにユーザアカウントの関連付けを解除すること)を受けることができるであろう。
環境は、本明細書で使用する時、エージェント監視システムが導入され、動作可能である現場を特徴付ける。システム及び方法は多種多様の環境のために機能させることができる。好ましい一実装では、環境は、食品雑貨店、コンビニエンスストア、マイクロコマース&無人店舗、バルク商品店、薬局、書店、卸売り店、ショッピングモール、市場、及び/又は商品若しくはサービスの交易若しくは交換を促進する任意の好適な環境などの買物環境である。環境は、概して、建物の内部であるが、追加的に、又は代替的に、屋外空間及び/又は複数の位置を含み得る。代替的な使用事例では、環境は、家庭、オフィス環境、学校、空港、公共/都市空間、及び/又は任意の好適な場所を含むことができる。環境は、局所的に包含された環境であることができるが、代替的に、広い有効範囲を有する分散システムであってもよい。
チェックアウト領域は、本明細書で使用する時、選択的処理が行われ得る環境内の領域又は位置を特徴付ける。環境は、概して、対話領域及びチェックアウト領域を含むことになり、対話領域は、仮想カートが生成され得る環境内の空間を特徴付けることができる。チェックアウト領域及び対話領域は異なってもよい。例えば、購入のために選択可能な品物はチェックアウト領域内に存在しなくてもよい。より好ましくは、チェックアウト領域は、チェックアウト領域内にいる間に顧客のモデリングが継続することができるよう、対話領域のサブセットであるか、又は対話領域の一部分と少なくとも重なる。チェックアウト領域は環境の出口に沿って位置し得るが、任意の好適な位置にあることができるであろう。位置によっては、任意の好適な位置において任意の好適な時にチェックアウトプロセスをトリガすることができ得ることから、チェックアウト領域の概念が当てはまらない場合がある。
仮想カートは、顧客によって、又は顧客のために選択された品物のレコードとして特徴付けられる。仮想カートは、好ましくは、実質的にリアルタイムのレコードであるが、代替的に、顧客の対話(例えば、カートに品物を入れること)と少なくとも部分的に非同期的に更新されてもよい。仮想カート内の品物は、好ましくは、チェックアウトプロセスの間に金融取引のための購入合計を定めるために用いられる。仮想カートはユーザレコードに関連付けることができ、この時、ユーザレコードはユーザアカウント、デバイスインスタンス又は他の連想要素に関連付けられ得る。品物は、代替的に、品物貸し出しの使用事例などの代替的な使用事例の場合には、チェックアウトプロセスの間にユーザアカウントに貸記されてもよい。支払い機構が仮想カートのユーザレコードにリンクされていない場合には、この時、仮想カートは、顧客から支払いを受け取るために、チェックアウト処理ステーションへ通信されてもよい。
2.システム
図2に示されるように、好ましい一実施形態の自動化買物環境内における動的な顧客チェックアウト体験のためのシステムは、エージェント監視システム100、評価エンジン200、及びエージェント処理システム300を含むことができる。システムは、好ましくは、エージェントモデリングシステム100によるエージェントのモデリング、及び評価エンジン200によって生成された査定と連係してエージェント処理システム300の処理モードを動的に選択するために用いられる。
上述のように、システムは、好ましくは、買物環境内における自動チェックアウト処理を促進するように機能するシステム内で用いられる。システムは、好ましくは、買物環境内における自動チェックアウト処理を動的に誘導するために用いられる。システムは、代替的に、品物の貸し出し、スペースの使用、待ち行列(line)若しくは行列(queue)、発券プロセス、セキュリティチェック、レストラン、カフェテリア、バー、及び/又は他の適用などの、他の対話を動的に誘導するために用いられてもよい。システムは、複数のエージェントの個々の処理が遂行される際に特に有用になり得る。
自動チェックアウトに関する一変形例では、システムは、好ましくは、図1に示されるように、チェックアウト領域内で適用される、自動チェックアウトシステム110、顧客評価エンジン210、及びチェックアウト処理システム310を含む。チェックアウト処理システム310は、1つ以上のチェックアウト案内ツール320又は他の補強チェックアウト処理関連デバイスを含み得る。自動チェックアウトシステム110は、好ましくは、顧客のための仮想カートを生成するために用いられ、仮想カートは、顧客評価エンジン210によって、顧客のチェックアウトプロセスを扱うのにふさわしいアプローチを決定するために少なくとも部分的に用いられる。次に、1つ以上のチェックアウト案内ツール320が、顧客評価エンジンによって、チェックアウトプロセスを案内し、及び/又は仮想カートの任意の問題を解決するように誘導されてもよい。
自動チェックアウトの一変形例では、システムは、実体のための処理モードを動的に選択し、電子コンピューティングデバイスを通じて処理モードを実行する構成を含み得る。チェックアウト処理モードの選択は、仮想カートの査定、顧客特性、店舗設定若しくは条件、及び/又は評価エンジン200によって考慮される他の因子に部分的に基づくことができる。さらに、システムは、チェックアウト処理モードの選択及び実行を顧客の位置と連係させる構成を含むことができる。例えば、顧客がチェックアウト領域に接近すると、チェックアウトプロセスが適切にトリガされ得る。
エージェント監視システム
エージェント監視システム100は、環境内におけるエージェント及び他の物体の状態及び対話を検出し、追跡し、分類し、及び/又は他の様態でモデリングするように機能する。エージェント監視システム100は、好ましくは、画像及び/又は映像解釈を用いるコンピュータビジョン監視システム112を含む。エージェント監視システム100は、追加的に、又は代替的に、他の感知及び/又は監視システムを用いてもよい。いくつかの例示的な種類の感知及び/又は監視システムは、無線タグ付けシステム、スマートシェルビングシステム、スマートカートシステム、センサフュージョンシステム、(例えば、買物領域内における顧客支援入力のための)ユーザアプリケーション、人間参加型処理、及び/又は品物入力システムを含むことができるであろう。
システムの一部の実装は、エージェント監視システム100、エージェント監視システム100の一部を含み、及び/又はエージェント監視システム100の出力上でインターフェースをとるか、若しくは動作し得る。例えば、システムは、仮想カート又は他の監視データを生成するシステムとは無関係に動作し得るが、チェックアウト処理を補強するためにこのようなデータを受信又は取得することができる。
好ましくは、エージェント監視システム100は、顧客が環境内で買物をしている間に、仮想カートを生成するように機能する、自動チェックアウトシステム110である。エージェント監視システム100は、代替的に、他の対話をモデリングしてもよい。一変形例では、エージェント監視システム100は、選択された品物の推定(例えば、選択された品物の数、品物の類別)、買物挙動(例えば、訪問の継続時間、店舗訪問の頻度、環境内で訪問された区域)、及び/又は他の態様を追跡することができる。本明細書において、システムは、主として、システムが、仮想カートの生成、仮想カートの査定、チェックアウトプロセスの実行、及び/又はチェックアウト案内ツールの起動に関連するものとして説明される。チェックアウトプロセスの実行及び/又はチェックアウト案内ツール320の起動は仮想カートに部分的に基づき得るが、他のモデリング能力及び対象を有するエージェント監視システム100も同様に適用され得るであろう。
自動チェックアウトシステム110を通じて、顧客は、店舗に入り、彼らが買いたい品物を選択し、自動チェックアウトシステム110に、選択された品物を検出させ、次に、図7に示されるとおりの選択された品物のための合理化されたチェックアウトプロセスを用いて店舗を出ることを可能にされ得る。他の諸変形例では、仮想カートが、チェックアウトステーションを補強するために用いられてもよい。
仮想カートは、好ましくは、意図されたチェックアウトリストを構成する品物リストを含むデータレコード又はレコード群である。仮想カートは、追加的に、品物ごとの信頼スコア(又は反対に、不確実性スコア)を含み得る。信頼スコアは、好ましくは、感知/モデリングo自動チェックアウトシステム110の信頼度に基づく。仮想カートは、追加的に、又は代替的に、仮想カート全体のための信頼スコアを含み得る。品物は、好ましくは、自動チェックアウトシステム110が、品物が顧客のために追加されるべきであることを検出した時に、仮想カートに追加される。棚又は保管庫からの品物の顧客の選択は、品物を仮想カートに追加することを生じさせることができ、品物が顧客によって棚、保管庫に戻されること、又は他の様態で顧客の直接管理から取り除かれることは、品物を仮想カートから取り除くことを生じさせることができる。
自動チェックアウトシステム110は、異なる顧客のための複数の異なる仮想カートを維持することができる。仮想カートは、好ましくは、顧客が買物環境に入った時に、空の仮想カートとして初期化する。選択された、又は選択された可能性のある品物について不確実性が存在する状況では、可能な品物候補のセットが品物リスト内に含まれ得る。各品物候補は確率及び/又は信頼スコアを有し得る。仮想カートによって記憶又は参照される品物レコードは、品物価格、(特定の顧客との、若しくは顧客のセットにわたる)品物履歴、及び/又は品物条件を含み得る。品物条件は、アルコールなどの年齢確認、又は他の顧客品物取扱作業のために、品物にフラグを付けるために用いられ得る。
自動チェックアウトシステム110は、買物において用いられるユーザ挙動の様々な規則又は様式をサポートし得る。例えば、自動チェックアウトシステム110は、選択された品物を(例えば、顧客の手の中、又はポケットの中に)物理的に保持すること、選択された品物を、所持しているバッグ若しくはかごの中に蓄積すること、品物を買物カートに入れること、及び/又は品物が購入のためにいつ選択されたのかを特徴付ける他の仕方を検出し得る。
上述のように、エージェント監視システム100は、様々な種類の感知及び監視システムと共に用いることができるであろう。同様に、コンピュータビジョンベースの(CVベースの)変形例、無線品物タグ付けの変形例、センサフュージョンの変形例、スマートカートの変形例、顧客スキャンの変形例、並びに/或いは任意の好適な組み合わせ、又は自動チェックアウト買物の代替的なアプローチなどの、システムと共に用いることができる様々な種類の自動チェックアウトシステム110が存在し得る。本明細書では、CVベースの変形例が主たる例として用いられるが、任意の好適な代替例が用いられ得る。
CVベースの自動チェックアウトシステムは、好ましくは、買物環境を通して顧客及び/又は品物を監視及び追跡するために分散カメラシステムを用いるCV監視システム112を含む。様々なコンピュータビジョンプロセスの組み合わせを通じて、全ての顧客、又は少なくとも、追跡のために登録された顧客のために、仮想カートを生成することができる。一実装では、CVベースの変形例は、製品を識別するために物体検出を用い、顧客が製品をいつ選択したのかを決定する際にこのような物体との対話の検出を用いることができる。製品の選択は、品物を棚から取り上げた時に検出されてもよい。選択は、代替的に、製品をカート又はバッグに入れた時に決定することができるであろう。CVベースの変形例は、店舗にわたって顧客を追跡し、買物環境全体にわたって品物の選択を検出するために、複数のカメラを用いることができる。一部の実装は単一の撮像デバイスを用いてもよい。変形例によっては、CVベースの自動チェックアウトシステム110は、代替的な第2の補足自動チェックアウトシステム114と並行して用いることができる。コンピュータビジョン監視システムが少なくとも1つの他の感知及び監視システムと組み合わせて用いられる時には、少なくとも2つの監視システムにわたるセンサフュージョンを遂行し、及び/又は少なくとも2つの監視システムの間の冗長性及び妥当性確認をもたらすために用いられてもよい。
CVベースの自動チェックアウトシステムは、2017年5月9日に出願された、米国特許出願公開第2017/0323376号に記載されているものと実質的に同様であり得る。同出願はその全体が本参照により本明細書に組み込まれている。
CVベースの監視システム112は、好ましくは、撮像システムによって収集された画像データを処理するために用いられる様々なコンピューティング要素を含むことになる。具体的には、CV駆動撮像システムは、好ましくは、撮像システム、並びにCVベースの処理エンジン及びデータ管理インフラストラクチャを含むことになる。
撮像システムは、環境内の画像データを収集するように機能する。撮像システムは、好ましくは、画像取り込みデバイスのセットを含む。撮像システムは、可視、赤外、深度ベース、ライダー、レーダー、ソナー、及び/又は他の種類の画像データの何らかの組み合わせを収集し得るであろう。撮像システムは、好ましくは、一連の別個の見晴らしの利く地点に位置付けられる。しかし、一変形例では、撮像システムは単一の画像取り込みデバイスのみを含み得る。画像データは、好ましくは、映像であるが、代替的に、周期的な静止画像のセットであることができる。一変形例では、撮像システムは既存のサーベイランス又は映像システムから画像データを収集し得る。本変形例では、システムは、ライブ撮像デバイスから、又はデータレコードから画像データを収集及び/又は受信するための画像データインターフェースを含む。画像取り込みデバイスは固定位置に永久的に配置されていてもよい。代替的に、一部又は全ては、より多様な視点の図を獲得するために、運動させられるか、パンされるか、ズームされるか、又は施設全体にわたって持ち運ばれてもよい。一変形例では、撮像デバイスのサブセットは、モバイルカメラ(例えば、ウェラブルカメラ、又はパーソナルコンピューティングデバイスのカメラ)であることができる。例えば、一実装、システムは、環境内の人間によって着用されたパーソナル撮像デバイスを用いて、部分的に、又は完全に動作することができるであろう。環境内の人間及び潜在的に他の撮像デバイスによって収集された画像データは、様々な対話データを収集するために用いることができる。
買物環境内において、撮像システムは、好ましくは、天井からの俯瞰視像を有するように設置された静止画像デバイスのセットを含む。俯瞰視像撮像デバイスは、好ましくは、仮想カートの機能性のために監視された、保管された製品にわたる画像データを提供する。画像システムは、好ましくは、画像データが、環境内の関心のある区域(例えば、製品棚)を網羅するように設置される。一変形例では、撮像デバイスは、具体的に、特定の視点から、特定の品物、又は品物陳列区域を監視するために据え付けられてもよい。
CVベースの処理エンジン及びデータ管理インフラストラクチャが、好ましくは、収集された画像データを管理し、関心のある対話に関する様々なモデリング及び結論を確立するための画像データの処理を促進する。例えば、品物の選択及び品物の返却は又は特定の関心である。データ処理エンジンは、好ましくは、多数の汎用プロセッサユニット(CPU)、グラフィカル処理ユニット(GPU(graphical processing unit))、マイクロプロセッサ、カスタムプロセッサ、及び/又は他のコンピューティング構成要素を含む。処理エンジンのコンピューティング構成要素は撮像システム及び環境にローカルに存在することができる。データ処理エンジンのコンピューティング資源は、代替的に、部分的又は全体的にリモートで動作してもよい。
システムは、追加的に、位置追跡システムなどの追加の感知システムを含み得る。位置追跡は、Bluetoothビーコニング、音響測位、RF若しくは超音波ベースの測位、GPS、及び/又はジム内の位置を決定するための他の好適な技法を用いることができる。位置は、追加的に、又は代替的に、CV監視システム112を通じて感知又は追跡することができる。一変形例では、CV人物のモデリングは、環境内のモデリングされた位置の検出を含むことができる。別の変形例では、撮像デバイスの位置及び視像を用いて、その撮像デバイスの画像データを用いて検出されたCV人物のための一般的位置特性を生成することができる。
監視システムは、追加的に、センサデータの分析の少なくとも一部分の、人間による解釈及び処理を用いるように機能する、人間参加型(HL(human-in-the-loop))監視を含み得る。好ましくは、HL監視は、収集された画像データの吟味及び処理を促進するために、1人以上の店員を使う。画像データは、環境内の顧客のための仮想カートの効率的な処理及び追跡/生成のために、部分的に処理し、人間プロセッサに選択的に提示することができるであろう。HL監視は、追加的に、CVベースの自動チェックアウトシステムと組み合わせて用いられてもよい。例えば、CV監視システム110が、信頼度の低い状況に遭遇した時に、画像データが人間プロセッサの吟味システムへ伝送されてもよい。
無線品物タグ付けチェックアウトシステムは、好ましくは、保管庫からの品物の取り出し、及び/又は物理カート、かご、若しくはバッグへの品物の追加を無線で検出するための品物タグ付け又は追跡システムを用いる。RFID、NFC、及び/又は他の好適な形態の無線品物タグ付けが採用され得る。一実装では、品物に識別用RFIDタグが供給される。自動チェックアウトのための専用かごは、品物RFIDタグを読み取り、適切な品物を仮想カートに追加するRFID読み取り器を含むことができる。
スマートストアインフラストラクチャチェックアウトシステムは、好ましくは、図8に示されるように、強化されたカート、かご、棚、又は仮想カートを維持するための感知能力を有する他の形態のスマートインフラストラクチャを利用する。スマートカートの変形例は、好ましくは、買物プロセスの間に品物を蓄積するために用いられ、感知能力で強化されたカートを含む。スマートカートは、車輪付きカート、かご、バッグ、トレイ、又は品物のための任意の好適な可搬型の入れ物であることができることを理解することができる。スマートカートは、CVベースのアプローチ、RFIF、秤、バーコードスキャナ、及び/又は品物がスマートカートに追加された時に、品物を検出し、任意選択的に測定するための他の技法などの、上述された技法の局所的変形例を用いることができる。好ましくは、スマートカートの現在の内容を随時表す仮想カートが維持される。加えて、スマートカートが使用可能の変形例は、顧客のジャケットなどの仮想カートの取引部分に含まれるべきでない異物を考慮し得る。スマートシェルビング監視システムは、好ましくは、秤、近接センサ、光学ゲート(閾値検出器)、カメラ、並びに/或いはユーザ対話、在庫ストックの変化、及び/又は他の変化を検出することができる他のセンサを含むことができる。これは、仮想カートの追跡を促進するために、CV監視システム110と組み合わせて用いられてもよい。
好ましくは、顧客促進チェックアウトシステムが、買物プロセスの間における仮想カートの維持のために能動的な顧客の関与を活用する。変形例によっては、顧客促進チェックアウトシステムは、顧客が買物する際に、品物がスキャンされ、又は仮想カートに追加され得るバーコード読み取り器のセットを含み得る。顧客は、好ましくは、顧客が買物する際に、買物環境内の異なる場所で品物をスキャンする。顧客促進チェックアウトシステムは、追加的に、仮想カートへの品物の入力のために用いられる顧客コンピューティングデバイス上で動作可能な顧客アプリケーションを含む。このような顧客促進チェックアウトシステムは製品の明示的な入力を頼りにし得るが、代替的に、普通の店舗対話の間に品物を仮想カートに透過的に追加することができるであろう。例えば、スマートグラスが、顧客が品物を購入のためにいつ選択したのかを検出するために用いられ、新しい品物の追加の何らかのフィードバックを実質的にリアルタイムに提示し得る。
センサフュージョンチェックアウトシステムは、好ましくは、複数の感知技法の組み合わせを用いる。センサフュージョンは、顧客のための予測される仮想カートを生成する際に、複数の入力を頼りにすることができる。例えば、センサフュージョンの変形例は、棚又はカート内に統合された、コンピュータビジョン、RFIDタグ、並びに秤又は他のセンサを用い得る。実装によっては、センサフュージョンの変形例は、仮想カートを維持する一次感知モード、並びに顧客の買物プロセスの感知を修正する、確認する、又は他の仕方で改善するために用いられる1つ以上の二次感知モードを有し得る。
監視システム、及びより具体的には、自動チェックアウトシステムは、代替的に、例示的なチェックアウトシステム及び感知アプローチの任意の好適な組み合わせを用いることができるであろう。
システム、及びより具体的には、CVベースの自動チェックアウトシステムは、追加的に、CV人物群、CVエージェント(例えば、買物カート、買物かご)、ユーザレコード、ユーザアカウント、デバイスインスタンス(例えば、ユーザアプリケーションインスタンス、チェックアウトステーション、顧客誘導インフラストラクチャ、及び同様のもの)、並びに/或いは他の連想要素の間の関連付けを確立するように機能する同期モデルを含み得る。実装によっては、自動チェックアウトシステム110は、顧客(又は代替的に、カート)を追跡及び識別するための統合された機構を有する。同期モデルは、主として、顧客がチェックアウト領域に接近した時に顧客のCV人物群のために生成される仮想カートの関連付けを確立するために用いられる。同期モジュールは、好ましくは、顔認識を用いたコンピュータビジョン、ユーザ若しくはカートコンピューティングデバイスとの近距離無線通信、又は異なる要素を互いに対応付けるための他の好適なアプローチを適用する構成を含む。基本的な一実装では、出場前に、ユーザは、QRコードをセルフチェックアウトアプリ上に表示すること、又は電話をNFC又はRFIDに接続することなどの、識別を促進する何らかアクションを遂行する。
システムは、追加的に、好ましくは、仮想カート、CV人物、及びアカウントレコードの一部として記憶された支払い機構の間の関連付けを確立する構成を含む同期エンジン400を含み得る。これは、チェックアウトプロセスの間に金融取引を透過的に実行するために用いられ得る。同期エンジン400は、追加的に、CV人物を(場合により、CV監視システムを通じて検出された)環境内のコンピューティングデバイスに関連付ける構成を含み得る。この関連付けは、仮想カートデータ、チェックアウト処理情報、査定情報、及び/又は他のデータをコンピューティングデバイス(例えば、チェックアウトステーション又はユーザアプリケーション)へ転送するために用いられ得る。
システムは、好ましくは、自動チェックアウトシステム110と組み合わせて用いられるが、代替的な諸実施形態は、より従来型のチェックアウトキオスク又はセルフチェックアウトキオスクで動作し、種々の運用上の利点を依然としてもたらし得る。
評価エンジン
評価エンジン200は、環境内のエージェントのモデリングの査定を生成するように機能する。得られた査定は、好ましくは、対話又は取引を変更するために用いられる。好ましい一変形例では、評価エンジン200は、顧客のためのチェックアウトプロセスのための条件の評価を生成するように機能する顧客評価エンジン210を含むか、又は顧客評価エンジン210である。顧客評価エンジン210は顧客の仮想カートに部分的に基づくことができる。
代替的な種類の評価エンジン200は、カスタマイズされた対話のためにエージェントを選別するべく、異なるエージェントを分類してもよい。より一般的には、エージェント評価エンジンは、環境内でモデリングされた異なるエージェントを査定するように構成することができる。例えば、カート、かご、及び人間(例えば、顧客)が、仮想カート内の異なる品物を所持するものとしてモデリングされ得る。
一変形例では、エージェント監視システム100は、店舗内の顧客位置を追跡し、任意選択的に、可能な品物対話の映像を検出するために用いられ、次に、これが、仮想カート/チェックアウトリストの完成のための少なくとも部分的な人間分析のためにHLシステムに中継されてもよい。これは顧客の買物対話と非同期的に遂行されてもよい。このように、評価エンジン200はこの監視プロセスの質の分析であり得る。顧客の追跡が或る期間にわたって失われるか、又は他の問題が存在する場合には、この時、評価エンジン200はこのような対話にフラグを付けてもよく、これを、チェックアウト処理を変更するために用いることができる。
本明細書において、評価エンジン200は、主として、それが顧客評価エンジン210に適用されるものとして説明されているが、追加的又は代替的なシステムが用いられてもよい。
顧客評価エンジン210から生成される査定は、好ましくは、経済的影響、顧客体験、店舗責任、及び/又は他の因子に関連する因子に基づくチェックアウト勧告の論理的決定である。基本的な一実装では、顧客評価エンジン210の査定出力は、仮想カートが信用される場合には、顧客が自動チェックアウトプロセスを完了することを可能にするか、又はチェックアウトを完了する前に問題が解決される必要がある場合には、顧客を別のチェックアウトプロセスへ誘導し直すために用いることができる。より典型的には、異なるアクションを必要とし得る多種多様の査定結果の選択肢が存在することになり、顧客評価エンジン210は、それらのアクションの決定及びトリガを助けることができる。
顧客評価エンジン210は、査定を生成するために用いられる種々の入力を含むことができる。1つの好ましい入力は仮想カート情報であり、これにより、評価エンジンは、仮想カートの査定を生成するように構成される。仮想カート情報は、品物リスト、品物予測の確実性、品物の可能な候補のセット、品物のコスト、品物の総コスト、特別な品物条件、及び/又は現在の仮想カートに関連する他の特性を含むことができる。特別な品物条件は、アルコールの購入のためにIDをチェックすることのような特定のアクションを必要とする特定の品物に関連し得る。また、よく盗まれる品物、又は規制薬物である品物も、このような品物が問題になる時に特別の警戒を用いることができるよう、特別な品物条件を用いて標識されるか、又は重み付けされ得る。例えば、仮想カート内の特定の品物の所持は、IDを検査することができるよう促進チェックアウトプロセスを生じさせる査定をもたらし得る。
購入履歴が顧客評価エンジン210への別の入力になり得る。購入履歴情報は、特定の顧客のための、又はより大きな顧客集団のための購入履歴であることができる。購入履歴は、購入された品物のセットが通常の予想以内であるかどうかを判定するために用いられてもよい。例えば、顧客が10本の牛乳を購入することは一般的でなかろう。
顧客プロフィールが顧客評価エンジン210への別の入力になり得る。顧客プロフィールは顧客の忠誠心又は顧客の生涯価値に関連し得る。このような測定基準は、顧客の信用性を調整するために用いられてもよい。一例では、顧客が新しく、ほとんど未知の変数であるかどうか、又は顧客が、その位置においてかなり頻繁にやって来る買物客であるかどうかに依存して、査定は変化し得る。
顧客評価エンジン210は、追加的に、査定判定を行うための感度閾値を決定するために用いることができる費用便益構成入力を含むことができる。一変形例では、費用便益構成は、システムが、潜在的問題を有する仮想カートのチェックアウトを、そのチェックアウトを許すことの経済的影響が、より良好な顧客体験の価値よりも小さい場合に、許可することを可能にするように設定されてもよい。例えば、たとえ、特定の品物の不確実性が、店舗が潜在的に20セントを逸することを意味し得る時であっても、忠実な顧客は、自動チェックアウトを有することを許されてもよい。しかし、新しい顧客は、引き続きフラグを付けられ、20セントに関する仮想カート問題を解決するように誘導されてもよい。このような費用便益構成選択肢は包括的に設定されてもよいが、代替的に、特定の品物、品物の分類、又は他の好適な因子に依存して異なって設定することができるであろう。
一変形例では、システムは、管理者又は店舗経営者が査定構成を設定するか、カスタマイズするか、又は他の仕方で変更することを可能にするように機能する、査定管理者インターフェースを含み得る。一実装では、査定管理者インターフェースは、包括査定エンジン選択肢を提示する構成を含むことができる。別の実装では、査定管理者インターフェースは、品物ごとの査定カスタマイゼーションを提示する構成を含むことができる。
顧客評価エンジン210の査定出力は様々な形式を有し得る。顧客評価エンジン210の出力は、好ましくは、システムによって開始されるべき推奨アクションを表現することができる通信又はデータ表現である。査定は、好ましくは、自動チェックアウトを促進するために用いられる様々なチェックアウト案内ツール320へ通信されるか、又は他の仕方でチェックアウト案内ツール320が利用できるようにされる。
第1の潜在的査定出力結果は、顧客の自動チェックアウトをトリガする査定であることができる。仮想カートの確実性が最小閾値を上回ることを指示する査定は、概して、顧客による自動チェックアウトのための許可をトリガすることになる。顧客プロフィール、購入履歴、費用便益分析、及び他の条件もまた、自動チェックアウトを許可する査定を設定する際に考慮され得る。このような出力は、顧客への請求を開始し、及び/又は自動チェックアウトを完了することができること、若しくは完了したことを顧客に通信するために用いることができる。一例では、デジタルサインがその表示モードを、顧客が、好ましくは、キオスクにおける、又は店員による明示的なチェックアウトプロセスを全く踏むことなく店舗を出ることができる自動チェックアウト通路へ顧客を誘導するように変更し得る。別の例では、顧客は、彼らが代金を請求された時に、買物の合計、及び次に、確認の、プッシュ通知、電子メール、又は他の形式の通信を受信し得る。別の例では、チェックアウトステーションは、購入された品物の少なくとも部分的に項目別のリストをチェックアウトステーションへ自動的に入力させることができ、好ましくは、顧客又は店員がそれらの品物を入力することを軽減する。
別の潜在的査定出力結果は、促進チェックアウトをトリガし、及び/又は自動チェックアウトを妨げる査定であることができる。このような査定は、概して、仮想カートのいくらかの部分の不確実性によるものであるが、他の規則を用いることもできるであろう。促進チェックアウトは、チェックアウトを完了するためにチェックアウト領域又はその付近におけるいくらかの活動を必要とするチェックアウトプロセスである。概して、促進チェックアウトは、通常の店員が常駐したチェックアウトキオスク、及び/又は顧客がバーコードをスキャンすることを頼りにするセルフチェックアウトキオスクの従来のチェックアウトプロセスを含むことになる。
支援付きチェックアウトプロセスもまた、促進チェックアウト選択肢として利用可能であり得る。支援付きチェックアウトプロセスは、自動チェックアウトシステム110によってもたらされる顧客のカートの部分的認識を活用し得る。支援付きチェックアウトプロセスは、店員ステーションによって、又はセルフチェックアウトステーションによって用いられ得る。一変形例では、加速されたセルフチェックアウトプロセスは、品物スキャンプロセスの間に品物をより容易に、又は正確にスキャンするために、仮想カートの部分を用いることができる。例えば、品物の大部分が既知であるため、図9に示されるように、かごはテーブル上、又は別のカート内に空けられてもよく、その間に品物の補足データが収集される。未知の品物は移動の間に究明のために指示されてもよい。このプロセスは、品物を個々にスキャンする必要性を回避する。別の変形例では、支援付きチェックアウトプロセスは、全ての農産物又は任意の飲料をスキャンするなど、特定の品物をスキャンすることを求め得る。
促進チェックアウトをトリガする査定は、追加的に、店員に、特定の顧客を誘導し直すよう、又は特定の顧客の促進チェックアウトを支援するよう合図し得る。変形例によっては、店員によって用いられるアプリは、その特定の顧客のために支援付きチェックアウトプロセスを実行することができるモードに自動的に移行され得る。アプリ内の質問票が、店員によって記入されるべき、生成されたチェックを提示してもよく、チェックへの応答が仮想カートの把握を変更し得る。促進チェックアウトをトリガすることは、代替的に、顧客を適切なチェックアウト領域へ誘導するためのデジタルサイン、ターンスタイル、又は他の店舗インフラストラクチャを起動することを含み得る。
代替又は追加の査定出力結果が生成されてもよい。一変形例では、異なる品物又は品物の集合は、カスタマイズされた処理規則を有し得る。例えば、アルコールなどの一部の製品は年齢確認を必要とする場合がある。店員又は顧客は、自動チェックアウトプロセスを利用する際に、IDを提示するように通知され得る。そうしなければ、アラートがトリガされ得る。店員による承認は、自動チェックアウトプロセスが進むことを可能にすることができる。場合によっては、年齢確認は、自己申告の消費者応答から生じるスマートフォンアプリによって伝えられるか、又はTSA−pre画面などの、監督された1度の確認プロセスであり得る。
顧客評価エンジン210は、チェックアウトに備えて顧客又はカートのために起動され得る。一変形例では、顧客がチェックアウト領域に接近するか、又はそこに入った時に、顧客評価エンジン210が起動され、査定が生成される。別の変形例では、顧客評価エンジン210は顧客のための査定の状態を継続的又は定期的に更新していてもよい。場合によっては、状態の悪い(例えば、顧客によって選択された可能な品物の不確実性が高い)仮想カートのための修正アクションが、買物環境内に分布した修正ツールを用いることによって、チェックアウト領域に接近する前に対処されてもよい。
チェックアウト領域
チェックアウト領域は、好ましくは、チェックアウトプロセスが起こる領域である。チェックアウト領域は、好ましくは、買物環境の出口に近いか、又はそこに都合が良い。チェックアウト領域は、好ましくは、チェックアウトプロセスが完遂されるか、又は完了を初期化する場所に近接している。場合によっては、チェックアウトプロセスは、自動チェックアウトの場合には、顧客が店舗を出るまで完了しなくてもよい。
一変形例では、チェックアウト領域は、別個の自動チェックアウト領域及び促進チェックアウト領域(例えば、店員及び販売時点管理デバイスを有する従来のチェックアウト通路)を含む。代替的に、異なる種類のチェックアウトプロセスは別個の領域に隔離されていなくてもよい。例えば、顧客は、従来のチェックアウト通路を通り抜けるが、自動チェックアウトプロセスを用いて通り抜けることを可能にされてもよい。
例示的な一実装では、自動チェックアウト領域及び促進チェックアウト領域は隣り合うか、又は近接していてもよいが、代替的に、自動チェックアウト領域及び促進チェックアウト領域は別個の領域にあってもよい。例えば、自動チェックアウトは、建物の一方の側に出口を有し、促進チェックアウトは別の側の近くに有し得る。追加的に、複数のチェックアウト領域が存在してもよい。自動チェックアウト領域は、複数の顧客を同時に通すことを可能にすることによって特徴付けられる開放領域であることができる。自動チェックアウト領域は、代替的に、顧客を、より制御された出口を通過するよう制限するために、様々なインフラストラクチャ部分を用いて通路形成されてもよい。異なる種類の自動チェックアウト領域は、異なる買物環境のためによりうまく機能し得る。
チェックアウト領域は、好ましくは、通路、看板、ターンスタイル、仕切り、ゲート、及び/又は他の要素などの、顧客を案内するための様々なインフラストラクチャ部分を含むことになる。顧客誘導インフラストラクチャの配置及びレイアウトは、個々に決定されたチェックアウトプロセスに基づいて顧客の選択的誘導を促進する構成を含み得る。例えば、自動チェックアウトを利用したいと欲する顧客は自動チェックアウト領域へ進むことになり、その一方で、従来のチェックアウトプロセスを利用するつもりの者は従来のチェックアウト領域へ進むことになる。別の変形例では、顧客は混合領域を通過させられ、その後、適切に誘導される。他の好適な構成が代替的に用いられてもよい。
チェックアウト領域及びその様々な小領域のレイアウトは、追加的に、異なるシステム対話を連係させるために用いられてもよい。顧客がチェックアウト領域にわたって追跡される際に、異なるアクションが異なる時又は位置においてトリガされ得る。例えば、チェックアウト領域は、顧客が自動チェックアウトへ誘導される時の領域、及びチェックアウトプロセスが実行され、顧客が購入の代金を請求されるか、若しくは貸方に記入される領域を有し得る。追加的に、例えば、無許可の顧客が自動チェックアウト通路を通って出場しようと試みる場合に、店員の介入がトリガされる領域が存在してもよい。
加えて、他の特別な領域は、顧客が入場時に何らかの対話を有し得る入場領域又はチェックイン領域を含むことができるであろう。例えば、支払い機構に登録された顧客が期限切れを通知される場合がある。別の変形例では、チェックインゲートが、顧客に、アプリケーション又は何らかの他の機構を用いてチェックインするよう求める場合がある。例えば、アプリケーションは、チェックアウト処理に用いるためのアカウントを検出するためにチェックインゲートによって読み込まれ得るQRコードを表示し得る。場合によっては、顧客の一部の集団はチェックインゲートを利用しないことがある。例えば、一部の顧客は、チェックインを通じて提供される機能を用いないことを選ぶことがある。このようなチェックインステーションは、追加的に、入口以外の環境内の場所に分布していてもよい。
一部の実装は、領域に対するエージェントの位置が対話を変更する、このような個別の領域及び異なる種類の領域を利用し得る。しかし、他の実装は、全て又はいずれかの形態の領域固有の挙動を利用しなくてもよい。例えば、一実装は、顧客が、チェックアウトプロセスを済ませる選択肢を選択した時などの、代替的な外部トリガに応じて査定及びチェックアウト処理をトリガし得る。
異なる環境及び異なる店舗形式は、チェックアウト領域の異なる構成を促し得る。システムは、好ましくは、食品雑貨店、コンビニエンスストア、バルク商品店、薬局、書店、卸売り店、ショッピングモール、市場、及び/又は商品の交易若しくは交換を促進する任意の好適な環境などの多種多様の買物環境のために機能させることができる。
第1の例として、店舗は、全ての顧客がチェックアウトへ移動する際に通過する領域を有し得る。適格である顧客は、自動チェックアウトのために開放出口を通るよう誘導することができ、その一方で、不適格である顧客(例えば、自動チェックアウトを利用したくない顧客、未登録の顧客、仮想カートの問題がある顧客、及び同様のもの)は他のチェックアウト選択肢へ進むことができる。
図1に示されるように、自動チェックアウト領域は、複数の人を同時に通すことを可能にする開放領域であってもよい。自動チェックアウト領域は、代替的に、整理された仕方で(例えば、1列になって)顧客を通過させるように構成されていてもよい。一変形例では、全ての顧客、又は少なくとも、支援付き若しくは促進チェックアウトのための選択肢を望む者は、通路形成された処理ラインを通って進んでもよい。処理ラインは自動チェックアウトシステム110の補足感知能力を含み得る。例えば、顧客は、複数の角度で設置された高解像度カメラ、及び任意選択的に、他のセンサを有するゲートを通って進み得る。
エージェント処理システム
好ましい一実施形態のエージェント処理システム300は、評価エンジン200の出力に部分的に基づいて何らかのアクションを遂行するように機能する。いくつかの好ましい実装では、エージェント処理システム300によって実行されるアクションは、評価エンジン200に部分的に基づくアクションが適切な時にトリガされるよう、顧客の位置と連係させられる。チェックアウト処理の文脈において、エージェント処理システム300は、より具体的に、チェックアウトプロセスの何らかの態様を何らかの仕方で促進、調節、又は管理するために用いられる、チェックアウト処理システム310として説明され得る。チェックアウト処理システム310は、チェックアウト処理システム310のサブシステムとして機能し得る、1つ以上のチェックアウト案内ツール320であるか、又はそれらを含み得る。
好ましくは、チェックアウト案内ツール320は、顧客のチェックアウトプロセスを誘導するのを支援するように機能する。システムは、査定の通信、顧客の誘導、及び問題の解決のためのものを含む異なる目的に向けられた1つ以上のチェックアウト案内ツール320を含み得る。複数の目的は1つのチェックアウト案内ツール320によって対処されてもよいが、異なるチェックアウト案内ツール320が異なる目的を果たしてもよい。加えて、目的の冗長性が存在してもよい。例えば、デジタルサインが、顧客を自動的に誘導するために用いられてもよいが、店員アプリケーションが、店員が支援することができるよう、顧客がどのように誘導されるべきであるかについての案内を同様に提供してもよい。チェックアウト案内ツール320は、査定上の一部に基づいてチェックアウト動作モードを動的に設定するように構成することができる。
チェックアウト案内ツール320の一部の変形例は店員によって利用可能であり得る。チェックアウト案内ツール320の他の変形例は顧客によって利用可能であり得る。ユーザアプリケーション及び/又はハンドヘルドコンピューティングデバイスがチェックアウト案内ツールの一形態であり得る。チェックアウト案内ツール320の他の変形例は、サイン、ディスプレイ、ターンスタイル、チェックアウトステーション、及び同様のものなどの店舗インフラストラクチャ内に統合されてもよい。
一変形例として、チェックアウト案内ツール320は、顧客に動的に合図又は通信するように機能する、顧客誘導インフラストラクチャを含み得る。顧客誘導インフラストラクチャは、査定及び/又は他の条件に基づいて情報の提示又は通信を更新するように構成することができる。顧客誘導インフラストラクチャのアクションに応じて、顧客は、自動チェックアウトプロセスを利用することができるのはいつか、従来のチェックアウトプロセスを利用するべきであるのはいつか、支援付きチェックアウトプロセスを利用することができるのはいつか、自動チェックアウトの前に店員に相談するべきであるのはいつか、及び/又は任意の好適な情報に基づいて、通知され、誘導され得る。
顧客誘導インフラストラクチャは、好ましくは、通信のために用いることができる少なくとも1つの動的要素を含む。一変形例では、顧客誘導インフラストラクチャは制御可能サイン又はディスプレイである。一例として、サインは、自動又は促進チェックアウト領域の方を指し示し、接近する顧客の査定に応じて明るくなる矢印を有し得る。別の例では、グラフィカルディスプレイを、接近する顧客に伝えるために更新することができる。同様の一変形例では、制御可能な床又は経路インジケータを照明することができる。
別の変形例では、オーバーヘッドプロジェクタが、説明を顧客、カート、又は地面上に投影するために用いられてもよい。顧客の追跡をプロジェクタと組み合わせて用いることができる。この変形例では、図10に示されるように、複数の顧客が、広い区域にわたって、個人に合わせた指示を受けることができる。
別の変形例では、指向性の音声が顧客のために流されてもよい。音声は、好ましくは、限定されたゾーン内の顧客が、個人化された指示を聞くことができるように指向させられる。顧客誘導インフラストラクチャは、指示を顧客へ伝える音声を流す音声システムを含むことができるであろう。一実装では、音声システムは、音声の起動が、顧客の位置が、対象とする音声システムの可聴領域内に入ることと連係した、指向性音声システムである。代替的に、パーソナルコンピューティングの音声を、可聴指示を伝えるために用いることができるであろう。
別の変形例では、ターンスタイル又は制御可能なゲートが、顧客を誘導するか、又はチェックアウトプロセスのうちの1つへの開口を作り出すために作動させられてもよい。図11に示される一例として、制御可能なターンスタイルは、適格の顧客が接近すると、自動チェックアウト領域へのアクセス路を開き、閉じることができる。
一変形例では、顧客によって用いられるカート又はかごが、顧客を誘導するために用いることができるユーザインターフェース要素を有し得る。例えば、インジケータライトが、自動チェックアウトが利用可能な時には、緑色になり、従来のチェックアウトプロセスが利用されるべき時には、赤色になることができる。
チェックアウト案内ツール320はまた、店員専用ユーザアプリケーションとして機能する、店員アプリケーションを含むこともできるであろう。店員アプリケーションは、1人以上の顧客の査定を提示するように構成することができる。好ましくは、図12に示されるように、報告される顧客はチェックアウト領域及び/又は店員アプリケーション/デバイスの近くにいる。店員アプリケーションは、1人以上の店員がチェックアウト領域を監督することを促進するためのダッシュボードの役割を果たすことができる。店員アプリケーションは、電話、タブレット、スマートグラス、又は他の好適なコンピューティングデバイスなどのコンピューティングデバイス内にインストールされたアプリケーションインスタンスであり得る。店員アプリケーションは、追加的に、又は代替的に、顧客を検査するための専用ハンドヘルドデバイスなどの特別設計されたコンピューティングデバイスであってもよい。例えば、専用店員デバイスは、チェックアウト査定が、店員デバイスを顧客において誘導することによって読み取ることを可能にすることができるであろう。
店員アプリケーションは、顧客及び/又は仮想カートに関する情報を提示する顧客インスペクタモジュールを含み得る。顧客インスペクタモジュールは、自動チェックアウト領域に接近する、そこに入場する、又はそこから出場する顧客についてのリアルタイム情報を提供し得る。一実装では、顧客インスペクタモジュールは、査定及び/又は他の特性に基づいて異なる顧客を選択的に強調するように構成された、レンダリングされた拡張現実感インターフェースである。顧客インスペクタモジュールは、追加的に、店員が、顧客が仮想カートを解決又は調整するのを支援することができるよう、コントローラを見せることができるであろう。例えば、品物は、店員アプリケーションを通じて任意の好適な仕方で取り除かれるか、追加されるか、価格調整されるか、値引きされるか、返金されるか、又は変更され得る。
店員アプリケーションは、追加的に、顧客をどのように扱うべきかについての通知、アラート、又は説明を受け取り得る。例えば、資格のない顧客が自動チェックアウト領域を通っている時に、アラートが店員アプリケーション上でトリガされてもよい。
店員アプリケーションは、追加的に、又は代替的に、後述されるとおりのカート問題解決ツールを含み得る。
チェックアウト案内ツール320は、代替的に、情報及び特定のアクションを顧客に見せるように機能する顧客アプリケーションであることができるであろう。顧客アプリケーションは、好ましくは、自動チェックアウトシステム110と統合されており、これにより、顧客の仮想店舗は、買物客が品物を選択するとリアルタイムで更新され得る。顧客アプリケーションは、顧客が仮想カートを吟味し、仮想カートの承認された編集を行うことを可能にする仮想カートインスペクタを含むことができる。場合によっては、カート問題解決ツールは、後述されるように、顧客が仮想カートの問題の解決を支援することができるよう、顧客アプリケーション内に統合することができる。加えて、顧客アプリケーションはプッシュ通知を受け取ることができる。好ましくは、顧客アプリケーションは、図13A及び図13Bに示されるように、チェックアウト処理ステータスを提示するように構成されている。顧客は、顧客が、自動チェックアウトプロセスを利用することを許された(又は許されなかった)時に、自動チェックアウトの成功の確認として、システムが品物の解決に支援を必要とする時に、或いは任意の好適なイベントのために、通知を受け取ることができる。
カート問題解決ツールは、仮想カートにおける問題を解決するように機能する。問題を解決することは、概して、1つ以上の品物のために仮想カートの正確さの信頼度を高めることを含む。カート問題解決ツールの異なる変形例が、店員及び顧客などの異なるグループによって利用可能であり得る。
第1の変形例では、カート問題解決ツールは、図14に示されるように、店員アプリケーション及び/又は顧客アプリケーション上に提示され得る、生成された質問票を提示する構成を含む。生成された質問票は、好ましくは、顧客によって選択された品物に関連する1つ以上のチェックを含む。チェックは、選択された品物の数、特定の品物のどのバージョンが選択されたのか、品物が選択されたことの確認、及び/又は任意の好適な質問のためのものであることができるであろう。チェックは、好ましくは、査定において指示された不備に基づいて生成される。加えて、仮想カートの把握の現在のレベルに基づいて、収集された情報が調整され得るよう、チェックは、応答が収集されるにつれて動的に生成されてもよい。
顧客は、部分的に信頼されないグループであり、そのため、生成された質問票の顧客バージョンは顧客の応答の信用性も査定し得る。一実装では、回答のいくらかの部分は高い信頼度にて既知であり、それらの既知のチェックに対する顧客の応答を、顧客の応答に置かれるべき信頼の量を採点するために用いることができる。他のチェックは、仮想カートの特定の問題を解決するために依然として用いることができる。顧客が信頼されない時には、システムは、仮想カートの問題を解決するための顧客質問票の選択肢を妨げる、又は回避し得る。信用性チェックは、追加的に、信頼性を定期的に確認するために店員に用いることができる。
別の変形例では、カート問題解決ツールは、カート内の特定の品物をスキャン又は識別するための機構を含むことができる。カートの解決における1つの潜在的問題は、カートのかなりの部分が十分把握され得、確実性が低い1つ以上の品物を見つけることが困難になり得ることである。カート問題解決ツールの拡張現実感(AR(augmented reality))バージョンが、好ましくは、問題のある品物を識別し、それに関するデータを収集する際の案内を提供することができる。ARベースのカート問題解決ツールの変形例を有するユーザアプリケーションは、ディスプレイ及び少なくとも1つのカメラを含むハンドヘルドコンピューティングデバイス上で動作可能であることができる。カメラは、カートのCVベースの分析を補足するために用いることができる画像を収集するために用いられ得る。ディスプレイ及びカメラは、図15に示されるようにアクションを必要とする特定の品物を強調する拡張現実感インターフェースを提供するように連係して動作し得る。一実装では、識別されていない品物はカメラ画像のディスプレイ内で強調されてもよく、その一方で、識別された品物は肯定的に標識するか、又は標識しないままにしておくことができる。これは、店員によって、識別されていない品物を識別するべく顧客のカート又はかごを迅速に「スキャンする」ために用いられ得る。したがって、店員は、カートを検査し、品物をふるいにかけ、次に、以前に不適切に識別された品物を識別するための画像データの収集を支援することによって、カート問題解決ツールを用い得る。ARベースのカート問題解決ツールの代替的な一実装は、プロジェクタと組み合わせて用いられるカメラを有する投影拡張現実感デバイスであることができるであろう。このようなデバイスは、ハンドヘルド懐中電灯のような、問題を有するカートに向けられると、図16に示されるように、問題を解決するべく店員を案内するためにカートの異なる区分を照明するフォームファクタを有し得る。
チェックアウト案内ツール320は、代替的に、チェックアウト取引を処理するための専用デバイスとなるように機能する、チェックアウトステーションであることができるであろう。チェックアウトステーションは、店員配置チェックアウトステーション又はセルフチェックアウトステーションであり得る。チェックアウトステーションは、概して、少なくとも1つのコンピューティングユニット、スクリーン、少なくとも1つの形式の支払い機構(例えば、クレジットカード読み取り器、現金受け取り器、釣銭生成器)、及び/又はレシート印刷機を含むことになる。チェックアウトステーションは、追加的に、バーコードスキャナ、秤、及び/又は他の要素を含み得る。好ましい一実装では、品物の入力をシステムによって補強することができる。他の変形例は、チェックアウトステーションの動作を他の仕方で補強し得る。例えば、支払い機構、ポイントカード、デジタルクーポン、並びに/或いはエージェント監視システム100及び/又は査定に基づく他の機能がチェックアウトステーションに選択的に適用され得る。
変形例によっては、チェックアウト案内ツール310は、外部のチェックアウトステーションとのインターフェースをとるように機能するチェックアウトステーションインターフェースデバイスであり得る。サードパーティのチェックアウトステーションは、インターフェースデバイスがチェックアウトステーションと対話することができるデータプロトコルを提供し得る。他の変形例では、インターフェースデバイスは、期待される形式のデータ入力に扮し得る。例えば、インターフェースデバイスは、通信モジュール及び製品入力モジュールを含むキーボード又はバーコードスキャナエミュレータ(すなわち、製品入力エミュレータ)であることができるであろう。製品入力エミュレータは、USBインターフェースのような標準的な電気インターフェースを用いてチェックアウトステーションに接続し得る。通信モジュールは、デバイスがリモート制御されることを可能にするように機能する。システムは、製品入力エミュレータを、仮想カートからの品物を自動的に入力するために、いくつかの製品コードを入力するように無線誘導し得る。製品入力モジュールは、チェックアウトステーションと通信するための適切な電気信号を生成する。これは、概して、一連の模擬キーボードキー入力である。実装によっては、このようなデバイスはUSB又は他のデータポートを通じて接続し、製品識別子のパターンのキーボードキー入力列を模擬し得る。製品入力エミュレータは、(バーコードスキャナ又はキーボードのような)1つ以上の製品入力デバイスへのインターフェースを追加的に含み得、これにより、図17に示されるように、製品入力エミュレータをこのような入力デバイスと調和して用いることができる。
チェックアウトステーションは、好ましくは、1つ以上の動作モードで動作することができる。チェックアウトステーションは、好ましくは、仮想カートからの品物を自動的に入力するように構成された自動チェックアウトモードである動作モードを有する。自動チェックアウトモードは、仮想カート及びその査定が適格である時に関与するのが好ましい。チェックアウトステーションは手動モードを含み得る。手動モードは、品物が手動で入力されるデフォルトモードであることができるであろう。チェックアウトステーションは何らかの形式の支援付きモードを追加的に含み得る。環境内のチェックアウトステーションは、顧客及び仮想カートに基づいてモードを切り替えるように構成され得る。チェックアウトステーションのセットは、代替的に、単一のモードで動作するように構成されてもよく、顧客は適切なチェックアウトステーションへ選択的に誘導される。
支援付きチェックアウトステーションは代替的な種類のチェックアウトステーションであることができる。支援付きチェックアウトステーションは、好ましくは、仮想カートと連係して用いられる品物識別システムを含むチェックアウトステーションである。時として、仮想カート内の多数の品物が高い信頼レベルにて既知である場合があろう。また、仮想カートを自動チェックアウトのために不適格とする品物のサブセットが予測されるが、信頼レベルが理想よりも低い場合もあり得る。それゆえ、支援付きチェックアウトステーションは、品物をスキャンする代替的な道を開くことによって(店員又は顧客によって遂行される)チェックアウトプロセスを加速することができる。一変形例では、品物は、図9に示されるように、単に、カート、かご、又はバッグから取り出され、プラットフォーム上、又は別のカート内に降ろされる。別の変形例では、品物を、品物を運んでいるものから別のものへ(1つのかごから別のかごへ)移すことができる。一連のセンサが、プラットフォーム上の品物を識別するためにプラットフォームに位置付けられている。CVベースのシステムでは、1つ以上のカメラが品物の視覚データを収集する。支援付きチェックアウトステーションが利用されると、仮想カートの査定が更新され得る。査定が自動チェックアウトのために満足の行くものになると、信号がトリガされ得る。一変形例では、支援付きチェックアウトステーションは、追加的に、チェックインする顧客をサポートし(アカウントを仮想カートとリンク付けする)、及び/又はなどのより従来型の支払い技法を利用して仮想カートのための支払いを受け付け得る。この変形例では、顧客は、問題のない仮想カートを有するが、支払いを完了するために支援付きチェックアウトステーションを利用するか、或いはクーポン、ギフトカード、商品券を入力すること、直前になっての変更のゆえに仮想カートを編集すること、又は任意の好適なカスタマイゼーション作業などの、何らかの代替的なチェックアウト選択肢を利用し得る。
場合によっては、支援付きチェックアウトステーションは、プロセスを誘導することができるユーザインターフェースを含み得る。例えば、ユーザインターフェースは、店員又は顧客に、確認を必要とする特定の品物をプラットフォーム上に最初に置くように知らせ得る。
システムは、本明細書において説明されるサブシステムの複数の組み合わせを含み得る。代替的に、1つ以上の変形例は単独で実装することができるであろう。例えば、システムは、チェックアウトステーション、顧客誘導インフラストラクチャ、店員アプリケーション、又は顧客アプリケーションの形態であり得る。
システムの例示的な一実装では、システムは、自動チェックアウトステーションと通信するチェックアウトステーションとして実施され得る。チェックアウトステーションは、すぐ近くにいる顧客の仮想カートがチェックアウトステーション内に自動的に入力される少なくとも1つの自動チェックアウトモードを有し得る。
システムの別の実装では、システムは、デジタルサイン、音声システム、ディスプレイ、又は他の好適なシステムが、顧客を動的に誘導するために更新される、顧客誘導インフラストラクチャとして実施され得る。
システムの別の実装では、システムは、近くにいる顧客に関するデータが店員アプリケーションに自動的に同期させられ得る、店員アプリケーションとして実施され得る。店員アプリケーションは、追加的に、顧客に関連付けられた仮想カートの査定及び条件に基づいて、異なるチェックアウト処理機能に更新し得る。店員アプリケーションは、好ましくは、異なる時に複数の顧客の関連データを示すように更新される。複数の顧客のためのデータは、追加的に、同時に提示することができる。
3.方法
図18に示されるように、エージェントの対話体験を動的に変更するための方法は、環境内で対話するエージェントの活動を監視することS10と、エージェントの活動の査定を生成することS30と、査定に基づいて処理モードを選択し、少なくとも1つのコンピューティングデバイス内で処理モードを実行することS40と、を含むことができる。本方法のいくつかの変形例は、エージェントの位置を追跡することS20と、エージェントの位置と連係して少なくとも1つのコンピューティングデバイス内で処理モードを実行することと、をさらに含み得る。
本方法は、好ましくは、感知若しくは検出された属性、及びより具体的には、環境内における対話の履歴に基づいて、カスタマイズされた対話を異なるエージェントに送るように機能する。本方法は、好ましくは、エージェントが顧客であり、本方法がチェックアウトプロセスを変更するために用いられる買物環境内で用いられる。本方法は、代替的に、任意の好適な環境内で適用され、スペースの使用、品物の貸し出し、店員の作業、及び他のコンピュータ使用可能体験などの任意の好適な種類の体験を変更するために用いられ得る。
したがって、本方法の例示的な一実装は、環境内の第1のエージェントの活動を監視し、環境内の第2のエージェントの活動を監視することS10と、第1のエージェントの位置及び第2のエージェントの位置を追跡することS20と、第1のエージェントの活動の査定を生成し、第2のエージェントの活動の第2の査定を生成することS30と、第1の査定に基づいて第1のエージェントのための処理モードを選択し、第1のコンピューティングデバイス内で処理モードを実行し、第2の査定に基づいて第2のエージェントのための第2の処理モードを選択し、第2のコンピューティングデバイス内で第2の処理モードを実行することS40と、を含み得る。第1及び第2のコンピューティングデバイスは同じデバイスであり得るが、代替的に、別個のデバイスであることができるであろう。加えて、第1及び第2のエージェントのための処理モードの選択は、追加的に、他の連想特性に基づいてもよく、場合によっては、第1及び第2のエージェントが、融合された対話を有する、共有処理モードをもたらす処理モードの選択をもたらし得る。自動チェックアウトの場合には、第1及び第2のエージェントの仮想カートは、チェックアウトプロセスにおいて融合されて用いられ、及び/又はチェックアウトステーションへ通信され得るであろう。例えば、カップルによって選択された品物は、彼らが同じチェックアウトステーションに接近するとグループ化され、単一の取引として請求され得るであろう。加えて、物理カートに関連付けられた状態で追跡されている製品、及びバッグに関連付けられるか、若しくは人間によって保持された状態で追跡されている製品は、単一のチェックアウトプロセスのために融合される2つの仮想カートであり得る。チェックアウトステーション内において、顧客は、追加的に、各顧客が自分のそれぞれの品物の代金を支払うべく、品物のリストを分割するよう、チェックアウトプロセスを再構成することができるであろう。
本明細書において、本方法は、主として、買物アプリケーションに適用されるものとして説明されているが、代替的に、環境内外における商品の交換を監視することを含む任意のアプリケーションにおいて用いられ得る。
図19に示されるように、好ましい一実施形態の自動化買物環境内における顧客のチェックアウト体験を動的に誘導するための方法の一変形例は、より具体的には、自動チェックアウト買物システムを通じて顧客のための仮想カートを生成することS110と、顧客の位置を追跡することS120と、仮想カートの査定を生成することS130と、査定に部分的に基づいて顧客のための処理モードを選択し、実体の位置と連係して少なくとも1つのコンピューティングデバイス内で処理モードを実行することS140と、を含み得る。本方法の自動チェックアウトの変形例は、買物環境内のチェックアウトプロセスの間における顧客の処理を補強するように機能する。これは、自動チェックアウト若しくは促進チェックアウトを完了すること、又は他の形態の支援を提供するアクションをトリガすることを含み得る。図20及び図21に示され、本明細書において説明されるように、本方法の様々な実装は、顧客を誘導及び指導し、仮想カートの修正可能な問題を解決し、応答が早く、信頼できる体験(例えば、オンデマンドのチェックアウト概要)を顧客に提供し、店舗に、不適切な利用に対して注意を喚起し、自動チェックアウトの利用に関連する他の問題に対処するために用いることができる。本方法は、好ましくは、買物環境内における活動状態の顧客のセットにわたって実施される。本明細書において、本方法の自動チェックアウトの変形例は、理解しやすいように顧客に言及するが、当業者は、顧客は、追加的に、又は代替的に、カート又はかごなどの環境内の他の形態のエージェントであり得ることを理解することができるであろう。
自動チェックアウト買物システムを通じて顧客のための仮想カートを生成することを含む、ブロックS110は、チェックアウト領域に入る前に顧客によって選択された品物のリストを構築するように機能する。仮想カートは、顧客によって選択された品物の予測モデルであることができ、品物の識別に加えて、仮想カートは、仮想カート及び/又は個々の品物のための信頼レベルを含み得る。仮想カートは、好ましくは、予測又は感知された対話のデータモデルである。本方法の他の変形例は、仮想カートを、顧客によって所持された品物の数の追跡、又は特定の品物の種類(例えば、アルコールのような統制品、若しくは自動チェックアウトに適格の商品)のみの検出にさせ得る。図7に示されるように、顧客がチェックアウト領域に入る時に、顧客によって選択された品物のための予測又は予想がモデリングされるよう、仮想カートは、好ましくは、買物体験の間に生成される。
自動チェックアウト買物システムは、CV監視システム、無線品物タグ付けシステム、スマートシェルビングシステム、スマートカートシステム、センサフュージョンシステム、ユーザアプリケーション(例えば、買物領域内の顧客支援入力のためのスキャンシステム)、人間参加型処理、及び/又は買物中に購入するべき品物のレコードを生成するための、チェックアウト領域において実行されるアプローチ若しくはアプローチの組み合わせを含み得る、上述されたシステムなどの様々な種類の自動チェックアウトシステムから生成することができる仮想カートモデルを出力又は管理し得る。
CV監視システムの変形例では、仮想カートを生成することは、画像データを収集し、画像データに基づいて品物及び顧客の対話のコンピュータビジョンモデリングを適用し、顧客−品物の対話を検出したことに応じて、仮想カートを更新することを含むことができる。スマートシェルビングシステムにおいては、秤又は他の棚ベースのセンサが、品物取り出しイベントを品物の顧客選択に貸記するために用いることができる在庫状態の変化を検出し得る。
顧客のための仮想カートを生成することは、検出された顧客を連想要素と同期させることを含み得る。CV監視システムにおいては、これは、好ましくは、CV人物をユーザレコード及び/又はユーザアカウントと関連付けることを含む。主として、連想要素を同期させることは、買物環境内の追跡されている実体を、支払い明細書、買物履歴、買物リスト、アカウント設定、及び/他のアカウントレコードに関連付けられ得るレコードにリンク付けするように機能する。別の選択肢として、連想要素を同期させることは、ユーザアプリケーションインスタンス(例えば、顧客アプリ若しくは店員アプリ)及び/又はコンピューティングデバイス(例えば、チェックアウトステーション若しくは顧客誘導インフラストラクチャ)の状態の更新を連係させるために用いられ得る。
検出された顧客を連想要素と同期させることは、顧客チェックインイベントをトリガすることを含むことができる。チェックインイベントは、顧客が初めに買物環境に入った時など、顧客を追跡のために最初に検出した時に生じることができる。チェックインイベントは、代替的に、顧客が買物をしている間に生じ得る。同様に、チェックインイベントは、チェックアウト領域に接近するか、若しくはその内部にいる時、又は自動チェックアウトプロセスの最中に生じ得る。
一変形例では、顧客チェックインイベントは、モバイルコンピューティングデバイス(例えば、スマートフォン、スマートウォッチ、スマートウェラブル、及び同様のもの)上で動作するアプリケーションを通じて顧客によって手動でトリガされ得る。アプリケーションによって開始されたチェックインは、好ましくは、インターネットを通じて無線で通信される。他の形式のチェックインは、自動チェックアウト買物システムに接続されたステーションにおいてチェックインすることを通じたものであり得る。例えば、ステーションは、顧客をチェックインさせるために、NFC、RFIDタグ、QR若しくは機械可読コード読み取り器、生体スキャン、又は他の好適なチェックイン機構を用いることができるであろう。クレジットカードをスワイプすること、又は他の支払い情報を入力することもチェックインイベントとして同様に用いることができるであろう。チェックインステーションは、買物環境の入口、買物環境全体、及び/又はチェックアウト領域に位置付けることができる。
顧客がチェックインイベントの前に品物を選択した変形例では、仮想カートが先を見越して生成され、追跡されてもよい。仮想カートは、好ましくは、CV人物に関連付けることができるユーザレコードの一部である。ユーザレコードは一時的なアカウントとして機能することができる。実装によっては、チェックインする顧客のみが仮想カートの生成のために追跡され、監視され得るが、他の実装は全ての顧客を自動的に追跡し得る。エージェント(例えば、人物、カート、集合又は選択された品物)のために生成され、ユーザレコードに関連付けられた仮想カートは、後に、チェックイン時にユーザアカウントに関連付けられてもよい。仮想カートは、代替的に、たとえ、顧客がチェックインプロセスを遂行している場合であっても、顧客のチェックアウトプロセスを変更するために用いることができるであろう。例えば、チェックアウトステーションを、近接条件を通じてCV人物(例えば、チェックアウトステーションに最も近いCV人物)に関連付けることができ、仮想カートは、品物の手動入力を回避するために、チェックアウトステーションに自動的に入力される。
一実装として、「匿名の」仮想カートをユーザレコード及び/又はユーザアカウントに関連付けることは、CVベースの処理を通じたリンク付けを含むことができる。匿名の仮想カートは、本明細書において、識別された顧客との明示的な関連付けを有することなく、又はそれを有する前に、顧客及び/又は他の種類のエージェントによる商品の選択を追跡することによって生成された仮想カートを指す。CVベースのリンク付けは、ユーザレコード又はユーザアカウントのアプリケーションセッションを、カート、又は品物の選択の物理的な追跡を表現する仮想カートにリンク付けするために用いることができる。
一変形例では、CVベースの処理を通じたリンク付けは、顧客の現在のカート又は品物選択の画像を要求し、顧客の現在のカート又は品物選択の、顧客によって供給された画像を受け取り、顧客によって供給された画像を、自動チェックアウトシステムにおいて生成された仮想カートと照合することを含み得る。カートは、概して、カートの内容をペアリング機構として用いることができるよう、実質的に一意的なものであることになる。例えば、買物をしている最中に、顧客が、自動チェックアウトを可能にすることに決める場合がある。顧客はアプリを通じてチェックインし、自分のカメラを自分のカートの方へ向けることができる。次に、ユーザレコードに関連付けられ、自動チェックアウトシステムによって生成された対応する仮想カートとペアリングされるよう、内容のいくらかの部分を識別するために、そのカートの視覚画像を処理することができる。別の変形例では、リンク付けを完了するために、他のアクションが指示されてもよい。例えば、顧客は、(好ましくは、ユーザレコード又はユーザアカウントに関連付けられた)アプリケーションを通じて、手を振ることなどのジェスチャを遂行するように指示されてもよい。観察されているCV人物によるそのジェスチャが識別されると、その結果、そのアカウントを、近くの、又は関連付けられた仮想カートにリンク付けすることができる。指示されるジェスチャは、仮想カートとリンクすることを試みる他の顧客に基づいて変更されてもよい。
別の変形例では、生体CVベースのリンク付けが利用され得る。好ましくは、生体署名、又は生体署名を形成するための視覚情報をアカウントのために確立することができる。その後、買物環境内の撮像システムは、顧客及びアカウントの生体識別及び照合を遂行することができる。このように、ユーザの生体CV識別を利用することによって、店舗位置にチェックインする顧客を、追跡されている仮想カートにリンク付けすることができる。例えば、顧客のプロフィール写真に基づく顧客の顔認識が利用されてもよい。ゲート(gate)分析などの追加的又は代替的な形式の生体識別が利用されてもよい。生体識別は、ユーザアカウントに関連付けるために用いることができるが、追加的に、又は代替的に、店舗にわたるCV人物の追跡を促進し、それにより、単一のユーザレコードをそのCV人物のために維持することができるようにするために用いられてもよい。生体特性、並びに衣服、歩行分析、及び/又は他の特性などの個人識別特徴を、顧客の追跡を統一するために用いることができる。
別の変形例では、モバイルデバイスによって伝送されるローカルデータ通信が、アプリケーションセッション及びアカウントを特定の仮想カートにリンク付けするために用いられる機構となることができる。一実装では、無線データ伝送をスマートカートの受信器へ送信することができるか、又は他のデバイスが自動チェックアウトシステムによって用いられてもよい。例えば、モバイルデバイスは、スマートカートにおいてチェックインするために、NFC、RFIDタグ、及び/又は音声トーンidを用いることが可能であり得る。QRコードをスマートカートのカメラに対して表示することを同様に用いることもできるであろう。別の限定では、視覚的信号がCVベースの自動チェックアウトシステムの撮像システム(例えば、サーベイランス)へ伝送されてもよい。例えば、モバイルアプリは、買物環境の撮像システムによって識別され得る識別可能なパターンでライトを点滅させてもよい。同様に、音声トーンが流され、買物環境のシステムによって検出されてもよい。
代替的な一実装では、測位システムを用いて顧客の位置が検出されてもよく、その位置を、CV人物の位置、及び/又は仮想カートに関連付けられた品物の検出された位置と比較することができる。仮想カート及び顧客を同期させるための様々な代替的なアプローチが用いられ得る。実装によっては、リンク付けのための複数のアプローチを組み合わせて用いることができるであろう。
顧客は、追加的に、上述されたものなどの様々なアプローチを用いて自動的にチェックインさせられてもよい。場合によっては、ジオフェンシング、モバイルデバイス検出、生体検出、及び/又は他の技法が用いられてもよい。場合によっては、自動チェックインは、アカウントの構成可能な設定であることができるであろう。例えば、或るアカウントは自動チェックインを可能にし得るが、他のものは、それらのアカウントを、顧客による明示的なチェックインを必要とするように設定し得る。
本方法は仮想カートの生成を、アカウントにうまく関連付けられた顧客に限定してもよい。例えば、入場時にアプリ上でチェックインした顧客、或いは(例えば、ジオフェンシング、生体感知、NFC、及び同様のものを介した)自動チェックインに登録した顧客は追跡され、自動チェックアウト処理のために適格になり、チェックインしない顧客は能動的に追跡されず、自動チェックアウト処理のために適格にならない。より好ましくは、各顧客は、買物環境内にいる間に自動的に追跡される。これは、買物体験の間、及び/又は自動チェックアウトプロセスの間に、追跡されている顧客をアカウントに関連付けることを可能にすることができる。存在する全ての顧客の自動追跡は、顧客が、単に、生成された仮想カートの代金を支払うことによって、アカウントを開設することなく、自動チェックアウトを利用することをさらに可能にすることができる。この場合、顧客は、チェックアウトステーションにおいて、現金による支払い又はクレジットカードによる支払いなどの既存のチャンネルを通じて代金を支払う。
顧客の位置を追跡することを含むブロックS120は、査定、及び/又はチェックアウトプロセスの処理を同期させることを支援するように機能する。好ましくは、顧客の位置を追跡することは、チェックアウト領域内の顧客を検出することを含むことができる。これは、顧客と対話し、全ての顧客のために円滑なチェックアウト体験を完了するべく様々な構成要素を誘導するプロセスを開始するために用いることができる。可能なチェックアウト体験のいくつかの変形例は明示的なチェックアウト領域に依存しない場合があるため、位置は環境のいたる所で追跡され、チェックアウト処理が開始された時に用いられてもよい。
チェックアウト領域は、好ましくは、買物環境内、又はその付近に規定された領域である。チェックアウト領域は、好ましくは、チェックアウトプロセスを実行することができる領域として区別される。単純なバージョンでは、チェックアウトプロセスは、顧客がチェックアウト領域に入ると開始される。より大きなチェックアウト領域を有する代替的なバージョンでは、顧客がチェックアウト領域に入場したこと、その近くにいること、及び/又はその中にいることを検出することによって、チェックアウトプロセスの異なる段階をトリガすることができる。
本明細書において、我々は、顧客を、追跡されるエージェントとして説明しているが、カート、かご、製品の集合、又は任意の好適な代替的な物体(単数又は複数)が同様に追跡され得ることを理解することができる。店舗にわたって顧客又は品物を追跡することは、CVベースの追跡を用いることができるが、代替的に、様々な位置測位システム、このようなRF三角測量、GPS、音声ベースの位置検出、及び/又は他の好適なシステムを用い得る。シナリオによっては、追跡される顧客はユーザアカウントに関連付けられ得るが、代替的に、ユーザレコードのみを有する匿名の仮想カートとして扱われてもよい。
一変形例では、システムは、デフォルトで、顧客を従来のチェックアウト通路へ誘導することができる−システムは、適格である、追跡されている顧客のためにのみ自動チェックアウト選択肢を起動し得る。このように、全ての顧客が常に能動的に追跡されなければならないわけではなく、チェックアウト領域内で識別された、追跡されている顧客のサブセットのみが、自動チェックアウト領域へのアクセスのために分析されてもよい。場合によっては、顧客は、自動チェックアウトのために適格であるが、アカウントを全く作成したことがないか、又はシステムを以前に利用したことさえないことがある。このような顧客は、制御可能なサインを起動すること、顧客に通知するよう店員に指示すること、生成された仮想カートを従来の促進チェックアウトステーションへ通信すること、及び/又は代替的な通信アプローチを用いることによって、自動チェックアウト選択肢について通知を受けることができる。このような顧客は代金の支払いによって自動チェックアウトプロセスを完了することができるであろう。一実装では、このような顧客が、単に、ペイメントカードを入れるか、又は現金で支払うことによって代金を支払うためのキオスクが自動チェックアウト領域内で利用可能である。同様の一実装では、自動チェックアウトシステムは、いかなる形のユーザアカウントを有せずとも、買物環境内で操作することができ、仮想カートはチェックアウトステーション内に自動的に入力され、これにより、適格である顧客/仮想カートは、品物が自動的に入力されることによって、より迅速なチェックアウトプロセスを体験することができる。全自動チェックアウトを有せずにエージェント監視が適用される別の例では、本方法は、チェックアウトステーションの待ち行列、顧客の待ち時間、及び/又は店員の作業負荷のバランスをとるチェックアウトステーションへ顧客を動的に誘導することに適用され得る。
場合によっては、顧客の位置を検出することは、単に、特定の顧客がチェックアウト領域の付近にいることを指示する信号を検出することを含み得る。例えば、スマートカートは、チェックアウト領域内の受信器によって検出される信号(RF、IR、音声等)を発し得る。逆に、チェックアウト領域における伝送器が、スマートカート又は他の好適なデバイスによって検出される信号を発してもよい。
仮想カートの査定を生成することを含むブロックS130は、仮想カートに関連する条件を分析し、顧客のチェックアウトプロセスをどのように誘導するかを決定するように機能する。査定は、好ましくは、仮想カートに基づくが、追加的に、購入履歴、顧客プロフィール、費用便益分析、品物条件、及び/又は他の因子に基づくことができる。査定は、顧客がチェックアウト領域又はその付近にいる時に遂行され得るが、代替的に、仮想カートを生成することと組み合わせて定期的又は継続的に更新されてもよい。
査定の範囲は、特定の仮想カート及び/又は顧客に関連するデータ入力を受け取ることを含むことができる。しかし、査定の範囲は、追加的に、又は代替的に、他の現在若しくは以前の仮想カート、現在若しくは以前の項目別購入レコード、他の現在存在するものの顧客データ、店舗の顧客データ、店舗データ、店舗チェーンデータ、及び/又は任意の好適な範囲のデータを入力として用いてもよい。このように、様々な因子を考慮する査定が構成又は適用されてもよい。例えば、仮想カートは、最初に、自動チェックアウトシステムの信頼度に従って処理され、次に、全ての購入レコードの履歴レコードに基づく異常検出のために処理されてもよい。
仮想カートの査定を生成することは、図7に示されるように、仮想カートの信頼レベルを処理することを含むことができる。仮想カートの信頼レベルを処理することは、特定の品物のための信頼レベルを処理し、及び/又は仮想カート全体のための信頼レベルを処理することを含むことができる。一変形例では、仮想カートは、いずれか1つの品物のための信頼レベルが閾値未満である場合に、自動チェックアウトのために適格でないと査定され得る。異なる品物のために、異なる信頼レベル閾値を設定することができる。別の変形例では、仮想カート全体のために信頼レベルを生成することができる。
仮想カートの査定を生成することは、仮想カートの信頼度を補うことを含み得る。これは、顧客忠誠心のための1つ以上の信頼レベル、顧客の買物履歴、様々な顧客集団(例えば、同様の顧客、店舗の全ての位置からの全ての顧客、特定の店舗位置における顧客等)の買物履歴を調整することを含み得る。
仮想カートの査定を生成することは、顧客体験及び顧客維持の価値を考慮に入れるように機能する、仮想カートの問題の費用便益影響を処理することを追加的に含み得る。本方法の1つのあり得る動機は、顧客が、購入のために選択された品物の代金を請求される信頼度を確実にすることであるが、仮想カートの特定の問題は、自動チェックアウトプロセスを乱すことを正当化するのに足るほどささいなものである場合がある。費用便益影響の処理は、本方法が、経済的影響、及び少なくとも、顧客の長期的価値などの別のメトリックの関係に基づいて査定を調整することを可能にすることができる。費用便益影響の処理は、構成された経験則ベースの規則に基づく条件であり得る。例えば、顧客が昨年中に少なくとも特定の回数、買物をしたことがあり、あり得る財務上の損失が特定の量未満である場合には、この時、自動チェックアウトが許されてもよい。費用便益影響を処理することは、代替的に、機械学習、統計、又は他のアルゴリズムアプローチを用いてもよい。
費用便益影響は、好ましくは、顧客履歴に少なくとも部分的に依存することになるが、追加的に、又は代替的に、問題の品物の種類、店舗内の混み合いレベル、及び/又は他の因子に依存してもよい。常連の買物客は1つの形式の査定の方へバイアスをかけられてもよく、新しい買物客は別の形式の査定の方へバイアスをかけられてもよい。同様に、価値が高い買物客は1つの形式の査定の方へバイアスをかけられてもよく、価値が低い買物客は別の形式の査定の方へバイアスをかけられてもよい。
加えて、費用便益影響の処理は、費用便益分析の結論に基づいて仮想カートを更新することをトリガし得る。これは、仮想カート内の特定の品物又は品物価格を、それらの購入がどのように処理されたのかを反映するように設定することを含み得る。一例では、自動チェックアウト買物システムは、瓶が2つの異なる種類のうちの一方であるかどうかを判定することができない場合がある。一方は若干より高いものであり得る。費用便益影響の処理が、価格の差が、自動チェックアウトを妨げるのに足るほど大きくはないことを指示した場合には、この時、2つの種類のうちのより安いものが選択されてもよく、(たとえ、ユーザが実際にはより高価なバージョンを有し得るとしても)その価格が用いられる。仮想カート査定に基づく価格の設定は、価格を(例えば、過剰請求を回避するために)下げるか、(例えば、収益の損失を回避するために)上げるか、又は任意の好適な仕方で設定するために用いることができる。
査定に部分的に基づいて顧客のための処理モードを選択し、エージェントの位置と連係して少なくとも1つのコンピューティングデバイス内で処理モードを実行することを含む、ブロックS140は、顧客のためのチェックアウトプロセスの少なくともいくらかの部分を誘導又は制御するように機能する。好ましくは、ブロックS140は、顧客の仮想カートの状態に基づいて少なくとも1つのチェックアウト案内ツールを起動することを含む。チェックアウト案内ツールは、好ましくは、図22に示されるように、チェックアウト領域内の顧客の検出と連係して起動される。チェックアウトプロセスに関わる異なる種類のコンピューティングデバイスは、顧客誘導、店員誘導、購入のための品物入力、チェックアウト関連取引の実行、及び/又は他の態様などの異なる態様を促進する異なる仕方で制御することができる。
処理モードは、好ましくは、少なくとも、自動処理モード及び促進処理モードを含む。変形例によっては、処理モードは、自動処理モード、半自動モード、及び/又は従来のチェックアウトモードを含むことができるが、処理モードの任意の好適な組み合わせ及びセットが代替的に用いられ得る。査定及び選択された処理モードに依存して、顧客を少なくとも2つの可能なチェックアウトプロセスのうちの1つへ誘導すること、カート問題解決ツールをトリガすること、及び/又は自動チェックアウトを処理することを含む様々なアクションがトリガされ得る。
処理モードを選択することは、好ましくは、査定の条件をチェックし、現在の条件に対応付けられた処理モードを選択することを含む。追加の態様が条件において考慮されてもよい。例えば、顧客の数及び/又は位置、チェックアウトステーションを現在利用している顧客の数、店員の数及び/又は位置、並びに/或いは他の因子である。
処理モードを選択し、処理モードを実行することは、チェックアウトプロセスを補強するために、種々の仕方で適用することができる。変形例によっては、ブロックS140は、図23に示されるように、顧客をチェックアウト位置へ誘導することS141、チェックアウトステーションを、選択された処理モードで動作させることS142、カート問題解決ツールをトリガすることS143、店員アプリケーション内の顧客インスペクタモジュールのステータスを更新することS144、及び/又は顧客に関連付けられた顧客アプリケーション内のチェックアウト処理ステータスを更新することS145を含み得る。変形例によっては、チェックアウトプロセスは1つのモードのみで補強されてもよい。代替的に、複数のモードが補強されてもよい。例えば、チェックアウト案内ツールを起動することは、顧客誘導インフラストラクチャを通じて顧客をチェックアウト位置へ誘導し、チェックアウトステーション内の処理モードを起動し、店員アプリケーションを更新することを含む。
一変形例では、処理モードを実行することは、指示を顧客へ通信するように機能する、顧客をチェックアウト位置へ誘導することS141を含む。顧客を誘導することは、好ましくは、チェックアウトプロセスを完了するためにどこへ行くべきかを顧客に教えるために用いられる。好ましくは、少なくとも2つの可能なチェックアウト位置が存在する。場合によっては、これは特定のデバイス又はチェックアウト通路への誘導であり得る。他の場合には、これは、適格のチェックアウト選択肢の種類を識別することであり得る。顧客を少なくとも2つの可能なチェックアウトプロセスのうちの1つへ誘導することは、好ましくは、査定に基づいて適格となる顧客を自動チェックアウト領域へ誘導するか、又は顧客を促進チェックアウトプロセスへ誘導することを含む。自動チェックアウト領域は、支払い及び他の機能性を促進することができうるチェックアウトステーションを含み得るが、場合によっては、自動チェックアウト領域は、関連付けられたユーザアカウント及び支払い機構を有する顧客が、購入を完了するために店舗から出ることを可能にすることができる。顧客を誘導することは、サイン、ターンスタイル、経路、又は任意の好適なインフラストラクチャ要素などの制御可能なインフラストラクチャ要素(すなわち、顧客誘導インフラストラクチャ)を起動することを含むことができる。したがって、顧客を誘導することは、視覚表示を更新すること、音声指示を流すこと、又は任意の好適な仕方で指示を伝達することを含むことができる。顧客を誘導することは、代替的に、アプリケーション内で店員又は顧客に通知することを含むことができる。一実装では、店員が自動チェックアウト領域の入口付近に常駐させられ、店員アプリケーションを通じて、顧客をどのように誘導するべきかを指示される。
顧客を誘導することは、好ましくは、顧客の一部分は自動チェックアウトのために適格となり、別の部分は(選択によって、又は問題のゆえに)適格とならない、店舗の顧客の管理を支援するために用いられる。明確な誘導は、自動チェックアウトの利用にまつわる顧客の混乱を取り除き得る。自動チェックアウトプロセスのための使用に加えて、又はその代替として、本方法は、促進チェックアウトプロセスの効率を最適化する、又は向上させる試みとして、顧客を特定の通路へ誘導するために用いられてもよい。この顧客誘導は、従来の促進チェックアウトプロセスのみを用いる店舗環境内で適用することができる。2つの一般的アプローチが、顧客を整理するために今日一般的に用いられている。第1のものは、顧客が通路を自己選択するためのものである(この場合、彼らは、通例、最速の通路を推測しようと試みる)。第2のものは、顧客が1列に並び、次に、店員が顧客を彼らのチェックアウトステーションへ1人ずつ呼ぶためのものである。本方法は、先を見越して異なるチェックアウトステーションにわたって顧客のバランスをとるべく、所持されている品物、顧客履歴、及び他の因子の把握に基づいてユーザを誘導するために用いられてもよい。
一変形例では、コンピューティングデバイスにおいて処理モードを実行することは、チェックアウトステーションを、選択された処理モードで動作させることS142を含み得る。仮想カート、又は自動チェックアウトシステムによって収集された他のデータは、店員及び/又は顧客のためにチェックアウトステーションの利用を向上させるために用いることができる。
仮想カートの査定に基づくチェックアウトステーションによる顧客の動的処理を可能にする一実装は、自動チェックアウトがより透過的に実施される状況において特に関連性を有し得る。例えば、このような実装は、ユーザによって管理されるユーザアカウント又は顧客対応アプリケーションを用いずに実施され得る。条件を満たした仮想カートを検出された、店舗における顧客は、より迅速なチェックアウト体験を体験することができるであろう。適格な査定を有する顧客のために、チェックアウトプロセスは、示される図24のように、チェックアウトステーションへの品物の自動入力、及び/又は支払い機構の自動入力を通じて強化され得る。1人の顧客のより迅速なチェックアウトは、他の顧客の待ち時間が短くなるため、他の顧客のチェックアウト体験も改善し得る。
一変形例では、顧客の仮想カートを特定の支援付きチェックアウトステーションのための待ち行列に入れることができる。代替的に、自動チェックアウトシステム又は代替的なシステムは、ユーザ又はかごを、それらが支援付きチェックアウトステーションに接近する際に追跡してもよい。仮想カートの現在の状態はチェックアウトステーションと同期させられる。その後、チェックアウトステーションにおいて収集された情報は自動チェックアウトシステム及び/又は仮想カートのものと組み合わせて用いられる。
チェックアウトステーションを、選択された処理モードで動作させることは、追加的に、顧客及びそのそれぞれの仮想カートを特定のチェックアウトステーションの制御と同期させることを含み得る。店舗は、概して、複数のチェックアウトステーション及び複数の顧客を有することになり、したがって、本方法は、適切な顧客を適切なチェックアウトステーションに対応付けることを促進することができる。一変形例では、顧客の仮想カートを特定の支援付きチェックアウトステーションのための待ち行列に入れることができる。代替的に、自動チェックアウトシステム又は代替的なシステムは、顧客又はかごを、それらが支援付きチェックアウトステーションに接近する際に追跡してもよい。近接性、接触、対話(例えば、顧客がチェックアウトステーションに触れること)又は他の物理的属性に基づいて確立されるチェックアウトステーションデバイスとCV人物との間の関連付けを確立し、選択されたチェックアウトステーションの制御を適切な仮想カートと連係させるために用いることができるであろう。別の変形例では、可能な仮想カートのセット(例えば、並んで待っている顧客の5つの仮想カート)をチェックアウトステーションのユーザインターフェース内に提示することができ、店員が現在の仮想カートを選択することができるであろう。
処理モードは、好ましくは、少なくとも自動チェックアウトモードを含む処理モードのセットから選択される。チェックアウトステーション内で実行される自動チェックアウトモードは、好ましくは、少なくとも、仮想カートの品物をチェックアウトステーションに自動的に入力することを含む。一実装では、チェックアウトステーションは、直接制御されるデバイスである。別の実装では、チェックアウトステーションへのインターフェースが、仮想カートの品物を自動的に入力することを促進する。例えば、模擬バーコードスキャナが各品物の製品コードを高速に連続的に順次入力することができるであろう。製品コードは、チェックアウトステーションによって高速な一連のバーコードスキャンとして解釈され得る。自動チェックアウトモードは、追加的に、自動チェックアウトプロセスの取引を処理するための、関連付けられた支払い機構の適用を含み得る。例えば、ユーザアカウントに関連付けられたクレジットカードレコードが、仮想カートの品物の代金を支払うために用いられてもよい。クレジットカードレコードをチェックアウトステーションに通信することができるであろう。代替的に、このような取引はリモートで行われてもよい。現金、クレジットカード、デビットカード、及びチェックアウトステーションにおいて一般的に受け付けられる他のものなどの他の支払い方法も用いられ得る。
処理モードのセットは、追加的に、仮想カートが用いられないか、又は利用可能でなくてもよい手動チェックアウト処理モードを含み得る。このモードでは、チェックアウトステーションは、チェックアウト処理のための品物の手動入力を可能にすることなどの、従来の仕方で動作することができる。
処理モードのセットは、追加的に、又は代替的に、支援付きチェックアウト処理モードを含み得る。支援付きチェックアウト処理モードは仮想カートに基づいて品物の入力を少なくとも部分的に補強し得る。これは、品物の部分リストを入力すること、チェックするべき品物のサブセットを強調すること、品物の入力に、それがより効率的になるようバイアスをかけること、顧客の支払い機構を自動的に提供すること、顧客のユーザアカウントに基づいてロイヤルティプログラム顧客識別子を自動的に提供すること、又はチェックアウトプロセスを任意の好適な仕方で補強することを含むことができる。支援付きチェックアウト処理モードは、部分的に手動のチェックアウトプロセスを加速するように機能することができる。
支援付きチェックアウトに関連して、変形例によっては、顧客は、支援付きチェックアウトステーション(例えば、仮想カート問題の解決の使用専用のもの)を用いるように誘導されてもよい。いくつかのチェックアウトステーションは特定の種類のチェックアウトプロセス専用であってもよい。例示的な一実装では、顧客は支援付きチェックアウト処理のためにチェックアウトステーションへ誘導されてもよく、顧客は、品物を彼らのカートから第2のカート内へ移すように求められてもよい。支援付きチェックアウトステーションは、品物が移される際の情報を収集するための多数のカメラ又は他の要素を含み得る。一例では、支援付きチェックアウトステーションは、遮断された高低線、品物の低劣な画像品質、カート内の顧客の所持品(例えば、ジャケット)周辺の混乱、及び/又はセルフチェックアウトシステムへ問題を提示し得る他の条件の可能性を取り除くことによって、顧客によって選択された品物を自動的に検出するための理想条件を助長することができる。
顧客によって選択された品物の少なくともサブセットを再スキャンすることができる。仮想カートの査定はチェックアウトプロセスの間に更新され、仮想カートが、チェックアウトプロセスを完了するために適格であると合図することができる。例えば、仮想カートは、10個の選択された品物のうち3つのみについて低い信頼度を有し得る。顧客又は店員は、10個の選択された品物のスキャンを促進し得るが、チェックアウトプロセスは、低い信頼度を有する3つの品物がスキャンされた後に完了することができる。
一変形例では、コンピューティングデバイス内で処理モードを実行することは、顧客によって選択された1つ以上の品物を識別することに関わる仮想カートにおける問題の解決を初期化するように機能する、カート問題解決ツールをトリガすることS143を含み得る。カート問題解決ツールをトリガすることは、店員に、顧客のカートの検査を促進するよう促すことを含み得る。一変形例では、カート問題解決ツールをトリガすることは、物理的な品物の検査を案内することを含み得る。通知が店員アプリケーション/デバイスへ通信されてもよい。店員アプリケーションは、識別された顧客のカートに関わる問題の特徴付けを表示してもよい。問題は、カート内に未知の品物があること、特定の品物の量が未知であること、品物の識別に関する混乱、追加の店員アクション(例えば、農産物の計量、IDのチェック等)の必要性、及び/又は任意の適当な問題を含み得る。カート問題解決ツールは、店員によって記入されるべき特定のチェックを有する質問票を生成し得る。自動チェックアウト買物システムは、好ましくは、質問票を通じて提供された情報に基づいて仮想カートを更新することを促進する。チェックのセットは、査定要件を満足するために最小限に抑えられた数のチェックであり得る。チェックのセットは、追加的に、仮想カートの再処理に基づいて検査プロセスの間に更新され得る。生成される質問票の顧客バージョンは、顧客アプリケーション内で顧客によって記入されるべき多数のチェックを同様に提供することができるであろう。顧客は、信頼されないグループであり得るため、顧客バージョンは、仮想カートにおける信頼度を改善するための品物情報を収集するためのチェックの第1のセット、及び顧客の応答に置くべき信用のレベルを確認するためのチェックの第2のセットを含み得る。加えて、顧客は、品物を持つこと、品物を表面上に置くこと、及び/又は他のアクションであって、エージェント監視システムが、それらのアクションの間に収集された追加データを用いて仮想カートを更新することを促進する、他のアクションなどのアクションを遂行するように誘導され得る。
一変形例では、カート問題解決ツールをトリガすることは、追加的に、情報を拡張現実感形式で提示するように機能する、拡張現実感検査ツールを起動することを含み得る。拡張現実感検査ツールは、好ましくは、店員によって、カートの問題を目視検査し、解決するために用いられる。例えば、カート内の識別されていない品物は、ディスプレイベース、ウェラブル型、又はプロジェクタベースの拡張現実感デバイス内で強調されてもよい。拡張現実感検査ツールは、追加的に、仮想カートの信頼度を改善するためにCVベースの自動チェックアウトシステムによって用いられる追加の視覚データの収集を促進することができるであろう。
一変形例では、処理モードを実行することは、店員アプリケーション内の顧客インスペクタモジュールのステータスを更新することS144を含むことができる。顧客インスペクタモジュールは、好ましくは、仮想カート、及び顧客のための処理モードを通信するか、又は他の様態でそれらを反映する。例えば、顧客インスペクタモジュールは、顧客が店員に接近すると、チェックアウトステータス及び/又は任意のチェックアウト問題を示すように更新し得る。これは、自動チェックアウトを利用するべきでない顧客を強調するために用いることができる。これは、店員が顧客を適切に誘導することを可能にするために用いられ得る。これは、店員が顧客のチェックアウトプロセスを支援することを可能にするために用いられ得る。
別の変形例では、処理モードを実行することは、顧客に関連付けられた顧客アプリケーション内のチェックアウト処理ステータスを更新することS145を含むことができる。顧客アプリケーションは、好ましくは、スマートフォン、スマートウェラブル、及び同様のものなどの、顧客により管理されるコンピューティングデバイス上にアプリケーションインスタンスとしてインストールされる。顧客アプリケーションは仮想カートの現在の状態を反映し得る。場合によっては、仮想カートの問題は強調されてもよく、顧客アプリケーション内で対処されてもよい。他の場合には、顧客アプリケーションは様々な誘導を伝えてもよい。例えば、顧客アプリケーションは、顧客が、チェックアウトを完了するために、顧客ケア店員に相談するか、又はチェックアウトステーションへ行くべきであると指定してもよい。
本方法は、取引を完了するように機能する顧客のための自動チェックアウトを処理することS150を追加的に含み得る。本方法は、好ましくは、商品の代金の顧客への請求を促進するために用いられる。ここで、請求は、好ましくは、クレジットカート、デビットカードに請求すること、仮想通貨を差し引くこと、又は好適なアカウントに請求することを含む。本方法は、保留中又は実行された取引を顧客に通知することを含むことができる。取引は、合計、及び合計に含まれる品物のセットのリストを含み得る。費用便益分析に基づいて行われた調整又は仮定が要約内に指示されてもよい。一変形例では、チェックアウト要約は、顧客が自動チェックアウト領域を出る時、又はその後に、顧客へ送られてもよい。いくらかの期間によって定義された待ち期間内において、及び/又はジオフェンス領域内において、調整又は問題が要約において解決されてもよい。実際の金融請求は待ち期間の後に開始されてもよい。本方法は、非金融取引のためのアカウントを管理するか、又はそれに貸記するために同様に適用され得る。例えば、図書館、卸売り店、設備施設、又は任意の好適な保管庫施設が、品物の取り出し(及び追加)を考慮するために、システムを利用し得る。変形例によっては、アカウントチェックインイベントがチェックアウトの間の完了のために保存しておかれる。したがって、本方法は、チェックインすることによって、顧客を、自動チェックアウトプロセスを完了するよう誘導することをサポートすることができる。一実装では、ユーザが(NFC、RFIDタグ付け、アカウント情報の入力、生体認識、及び同様のものを用いて)チェックインし、及び/又は単に、仮想カートの合計の代金を支払うことができる、自動チェックアウトステーション(支援付きチェックアウトステーションとしても動作し得る)である。特定のユーザにとっては、アカウントの開設を行わない単純な支払いのためのサポートが魅力的であり得る。店員ベースのステーションもこのような支払い及び自動チェックアウトを同様に促進することができるであろう。
諸実施形態のシステム及び方法は、コンピュータ可読命令を記憶するコンピュータ可読媒体を受けるように構成された機械として少なくとも部分的に具体化及び/又は実施することができる。命令は、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インターフェース、ユーザコンピュータ又はモバイルデバイスのハードウェア/ファームウェア/ソフトウェア要素、リストバンド、スマートフォン、或いはこれらの任意の好適な組み合わせに統合されたコンピュータ実行可能構成要素によって実行され得る。実施形態の他のシステム及び方法は、コンピュータ可読命令を記憶するコンピュータ可読媒体を受けるように構成された機械として少なくとも部分的に具体化及び/又は実施することができる。命令は、上述された種類の装置及びネットワークに統合されたコンピュータ実行可能構成要素によって実行され得る。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光デバイス(CD若しくはDVD)、ハードドライブ、又は任意の好適なデバイスなどの任意の好適なコンピュータ可読媒体上に記憶され得る。コンピュータ実行可能構成要素はプロセッサであることができるが、任意の好適な専用ハードウェアデバイスが(代替的に、又は追加的に)命令を実行することができる。
当業者が、以前の詳細な説明、並びに図及び請求項から認識することになるとおり、本発明の諸実施形態に対して、添付の請求項において定義されるとおりの本発明の範囲から逸脱することなく、修正及び変更を行うことができる。

Claims (27)

  1. 環境内にいる間における顧客のためのチェックアウト取引を処理するための方法であって、
    ・ 自動チェックアウトシステムを通じて前記顧客のための仮想カートを生成することと、
    ・ 前記顧客の位置を追跡することと、
    ・ 前記仮想カートの査定を生成することと、
    ・ 前記査定に部分的に基づいて前記顧客のための処理モードを選択し、前記実体の前記位置と連係して少なくとも1つのコンピューティングデバイス内で前記処理モードを実行することと、
    を含む、方法。
  2. 前記自動チェックアウトシステムがコンピュータビジョン監視システムを備え、仮想カートを生成することが、画像データを収集し、前記画像データに基づいて品物及び顧客の対話のコンピュータビジョンモデリングを適用し、顧客−品物の対話を検出したことに応じて、仮想カートを更新することを含む、請求項1に記載の方法。
  3. 前記自動チェックアウトシステムがスマートシェルビングシステムを備える、請求項1に記載の方法。
  4. 前記仮想カートの査定を生成することが、前記仮想カートの信頼レベルを処理することを含む、請求項1に記載の方法。
  5. 前記仮想カートの査定を生成することが、仮想カートにおける問題の費用便益影響を処理することを含む、請求項1に記載の方法。
  6. 前記処理モードを実行することが、前記仮想カートの前記査定に基づいて少なくとも1つの顧客案内ツールを起動することを含み、前記顧客案内ツールが、前記チェックアウト領域内における顧客の検出と連係して起動される、請求項1に記載の方法。
  7. 少なくとも1つの顧客案内ツールを起動することが、顧客誘導インフラストラクチャを通じて顧客をチェックアウト位置へ誘導し、チェックアウトステーション内の処理モードを起動し、店員アプリケーションを更新することを含む、請求項6に記載の方法。
  8. 前記処理モードが、少なくとも自動チェックアウト処理モード、及び少なくとも1つの種類の促進チェックアウト処理モードを含むセットから選択される、請求項1に記載の方法。
  9. ・ 前記自動チェックアウトシステムを通じて第2の顧客のための第2の仮想カートを生成することと、
    ・ 前記第2の顧客の位置を追跡することと、
    ・ 前記第2の仮想カートの第2の査定を生成することと、
    をさらに含み、
    ・ 前記第1の顧客のための前記処理モードを選択し、前記処理モードを実行することが、前記第1の実体及び前記第2の実体のためのグループ処理モードを選択し、前記第1の顧客の前記仮想カート及び前記第2の実体の前記仮想カートを組み合わせたチェックアウトプロセスを実行することを含む、請求項1に記載の方法。
  10. 前記処理モードを実行することが、チェックアウトステーションを、前記選択された処理モードで動作させることを含む、請求項1に記載の方法。
  11. 処理モードを選択することが、少なくとも自動チェックアウトモードを含む処理モードのセットから選択することを含む、請求項10に記載の方法。
  12. 前記自動チェックアウトモード時には、前記処理モードを実行することが、前記チェックアウトステーションにおいて、前記仮想カートの品物を自動的に入力することを含む、請求項11に記載の方法。
  13. 処理モードの前記セットが支援付きチェックアウトモードを追加的に含み、前記支援付きチェックアウトモード時には、前記チェックアウトステーションを動作させることが、前記仮想カートに基づいて品物の入力を少なくとも部分的に補強することを含む、請求項11に記載の方法。
  14. 処理モードの前記セットが手動チェックアウトモードを追加的に含み、前記手動チェックアウトモード時には、前記チェックアウトステーションを動作させることが、チェックアウト処理のための品物の手動入力を受けることを含む、請求項11に記載の方法。
  15. 前記処理モードを実行することが、前記顧客を少なくとも2つの位置のうちの1つへ誘導することを含む、請求項1に記載の方法。
  16. 前記顧客を少なくとも2つの位置のうちの1つへ誘導することが、前記顧客を自動チェックアウト領域又は促進チェックアウトステーションへ誘導することをさらに含む、請求項15に記載の方法。
  17. 前記顧客を誘導することが、視覚表示を更新することを含む、請求項15に記載の方法。
  18. 前記顧客のための処理モードを選択し、前記処理モードを実行することが、店員アプリケーション内の顧客インスペクタモジュールのステータスを、前記顧客の前記仮想カート及び処理モードを反映するように更新することを含む、請求項1に記載の方法。
  19. 前記顧客のための処理モードを選択し、前記処理モードを実行することが、前記顧客に関連付けられた顧客アプリケーション内の前記チェックアウト処理ステータスを更新することを含む、請求項1に記載の方法。
  20. ・ 環境内の顧客の仮想カートを生成するように構成された自動チェックアウト監視システムと、
    ・ 前記仮想カートの査定を生成するように構成された評価エンジンと、
    ・ 前記査定に部分的に基づいてチェックアウト動作モードを動的に設定するように構成されたチェックアウト案内ツールと、
    を備えるシステム。
  21. 前記自動チェックアウト監視システムがコンピュータビジョン監視システムを備える、請求項20に記載のシステム。
  22. 前記自動チェックアウト監視システムがスマートシェルビング監視システムを備える、クラム20に記載のシステム。
  23. 前記チェックアウト案内ツールがチェックアウトステーションである、請求項20に記載のシステム。
  24. 前記チェックアウト処理ステーションの動作モードが、前記仮想カートからの品物を前記チェックアウトステーションに自動的に入力する構成を有する自動チェックアウトモードである、請求項23に記載のシステム。
  25. 前記チェックアウト案内ツールが、情報の提示を更新するように構成された顧客誘導インフラストラクチャである、請求項20に記載のシステム。
  26. 前記チェックアウト案内ツールが、前記環境内のチェックアウト領域の近くにいる複数の顧客のための査定を提示するように構成された店員アプリケーションである、請求項20に記載のシステム。
  27. 前記チェックアウト案内ツールが、チェックアウト処理ステータスを提示するように構成された顧客アプリケーションである、請求項20に記載のシステム。
JP2019541252A 2017-02-10 2018-02-10 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法 Active JP7093783B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022043213A JP2022091841A (ja) 2017-02-10 2022-03-17 自動化買物環境における動的な顧客チェックアウト体験

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762457656P 2017-02-10 2017-02-10
US62/457,656 2017-02-10
US201762523183P 2017-06-21 2017-06-21
US62/523,183 2017-06-21
PCT/US2018/017721 WO2018148613A1 (en) 2017-02-10 2018-02-10 A dynamic customer checkout experience within an automated shopping environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022043213A Division JP2022091841A (ja) 2017-02-10 2022-03-17 自動化買物環境における動的な顧客チェックアウト体験

Publications (2)

Publication Number Publication Date
JP2020510900A true JP2020510900A (ja) 2020-04-09
JP7093783B2 JP7093783B2 (ja) 2022-06-30

Family

ID=63105287

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019541252A Active JP7093783B2 (ja) 2017-02-10 2018-02-10 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法
JP2022043213A Pending JP2022091841A (ja) 2017-02-10 2022-03-17 自動化買物環境における動的な顧客チェックアウト体験

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022043213A Pending JP2022091841A (ja) 2017-02-10 2022-03-17 自動化買物環境における動的な顧客チェックアウト体験

Country Status (6)

Country Link
US (3) US11132737B2 (ja)
EP (1) EP3580717A4 (ja)
JP (2) JP7093783B2 (ja)
CN (1) CN110462669B (ja)
CA (1) CA3052292A1 (ja)
WO (1) WO2018148613A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315096B2 (en) * 2020-05-14 2022-04-26 Gurunavi, Inc. Payment support system, payment support method, and non-transitory recording medium

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4410155A1 (en) 2016-05-09 2024-08-07 Grabango Co. System and method for computer vision driven applications within an environment
WO2018013439A1 (en) 2016-07-09 2018-01-18 Grabango Co. Remote state following devices
FR3069685B1 (fr) 2017-07-26 2019-08-16 Jes Labs Installation et procede de gestion de donnees de produits
US10970701B2 (en) * 2016-10-20 2021-04-06 Jes Labs System for identifying or assisting the identification of a product or set of products
CN110462669B (zh) 2017-02-10 2023-08-11 格拉班谷公司 自动化购物环境内的动态顾客结账体验
US10929829B1 (en) * 2017-05-04 2021-02-23 Amazon Technologies, Inc. User identification and account access using gait analysis
EP3610469A4 (en) 2017-05-10 2021-04-28 Grabango Co. SERIES CONFIGURED CAMERA ARRANGEMENT FOR EFFICIENT USE
IL271528B2 (en) 2017-06-21 2024-08-01 Grabango Co Observed link of human activity in the video to a user account
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US20190079591A1 (en) 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
JP6562474B2 (ja) * 2017-12-20 2019-08-21 Necプラットフォームズ株式会社 販売分析装置、販売管理システム、販売分析方法、及びプログラム
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
JP6548279B1 (ja) * 2018-02-28 2019-07-24 Necプラットフォームズ株式会社 セルフpos端末装置
JP7248009B2 (ja) * 2018-03-22 2023-03-29 日本電気株式会社 登録システム、登録方法及びプログラム
US11295566B2 (en) * 2018-05-01 2022-04-05 Alclear, Llc Biometric exit with an asset
US11030441B2 (en) * 2018-05-25 2021-06-08 International Business Machines Corporation Customer tracking and inventory management in a smart store
EP3815022A4 (en) * 2018-06-29 2022-03-09 Ghost House Technology, LLC SYSTEM, APPARATUS AND METHOD FOR ITEM LOCATION, LIST CREATION, ROUTING, IMAGING AND DETECTION
EP3608861A1 (de) 2018-08-06 2020-02-12 Skidata Ag Verfahren zum erwerb von waren, zugangsberechtigungen oder berechtigungen zur inanspruchnahme einer leistung oder dienstleistung aus einer mehrzahl angebotener waren, zugangsberechtigungen oder berechtigungen zur inanspruchnahme einer leistung oder dienstleistung
TWI675331B (zh) * 2018-08-31 2019-10-21 財團法人工業技術研究院 儲物裝置及儲物方法
WO2020051359A1 (en) 2018-09-07 2020-03-12 Gatekeeper Systems, Inc. Shopping basket monitoring using computer vision and machine learning
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
CN109147183A (zh) * 2018-10-31 2019-01-04 苏州小玉米网络科技有限公司 一种无人超市自助结款购物柜
US10943128B2 (en) * 2018-11-01 2021-03-09 Ncr Corporation Constructing shopper carts using video surveillance
US10891586B1 (en) 2018-11-23 2021-01-12 Smart Supervision System LLC Systems and methods of detecting, identifying and classifying objects positioned on a surface
US20200175516A1 (en) * 2018-11-29 2020-06-04 International Business Machines Corporation Frictionless payment authorization
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
EP3890563A4 (en) * 2018-12-07 2022-10-05 Ghost House Technology, LLC SYSTEM, DEVICE AND METHOD FOR ARTICLE LOCATION, LISTING, ROUTING, IMAGING AND DETECTION
JP7391513B2 (ja) * 2019-01-17 2023-12-05 東芝テック株式会社 商品登録装置及び情報処理プログラム
US20200265494A1 (en) * 2019-02-17 2020-08-20 Grabango Co. Remote sku on-boarding of products for subsequent video identification and sale
US20200279238A1 (en) * 2019-03-01 2020-09-03 Eaton Intelligent Power Limited Automated Store Checkout
US11507933B2 (en) 2019-03-01 2022-11-22 Grabango Co. Cashier interface for linking customers to virtual data
US11558539B2 (en) 2019-03-13 2023-01-17 Smart Supervision System LLC Systems and methods of detecting and identifying an object
US11393301B1 (en) * 2019-03-25 2022-07-19 Amazon Technologies, Inc. Hybrid retail environments
US11501346B2 (en) * 2019-03-26 2022-11-15 Toshiba Global Commerce Solutions Holdings Corporation System and method for facilitating seamless commerce
US11244543B2 (en) 2019-03-27 2022-02-08 Toshiba Global Commerce Solutions Holdings Corporation Operating a self-checkout station
EP3948742A1 (en) 2019-04-01 2022-02-09 Starship Technologies OÜ System and method for vending items
US20200349820A1 (en) * 2019-04-13 2020-11-05 Michael A. Speagle Theft monitoring and identification system for self-service point of sale
US11829982B2 (en) * 2019-04-15 2023-11-28 Jes Labs System for identifying or assisting the identification of a product or set of products
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
JP7408300B2 (ja) * 2019-06-04 2024-01-05 東芝テック株式会社 店舗管理装置、電子レシートシステム及び制御プログラム
US11580785B1 (en) 2019-06-10 2023-02-14 Amazon Technologies, Inc. Detecting interactions with non-discretized items and associating interactions with actors using digital images
JP7308681B2 (ja) * 2019-07-12 2023-07-14 東芝テック株式会社 商品登録装置及びプログラム
EP4000051A1 (en) * 2019-07-17 2022-05-25 Ahold Delhaize Licensing Sarl Integrated autonomous checkout system
US11966900B2 (en) 2019-07-19 2024-04-23 Walmart Apollo, Llc System and method for detecting unpaid items in retail store transactions
US10977717B2 (en) * 2019-07-22 2021-04-13 Pickey Solutions Ltd. Hand actions monitoring device
JP7381268B2 (ja) * 2019-09-19 2023-11-15 東芝テック株式会社 取引処理システム
JP2021047731A (ja) * 2019-09-19 2021-03-25 東芝テック株式会社 取引処理システム、取引処理装置及び情報処理プログラム
US10607080B1 (en) * 2019-10-25 2020-03-31 7-Eleven, Inc. Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
MX2022004899A (es) * 2019-10-25 2022-05-16 7 Eleven Inc Sistema y metodo para llenar un carrito de compras virtual basado en un video de una sesion de compra de un cliente en una tienda fisica.
WO2021097019A1 (en) * 2019-11-12 2021-05-20 Walmart Apollo, Llc Systems and methods for checking and confirming the purchase of merchandise items
JP7456764B2 (ja) * 2019-12-10 2024-03-27 東芝テック株式会社 店舗システム
JP7510753B2 (ja) * 2019-12-19 2024-07-04 東芝テック株式会社 取引処理システム
WO2021150976A1 (en) 2020-01-24 2021-07-29 Synchrony Bank Systems and methods for machine vision based object recognition
JP6982109B2 (ja) * 2020-02-05 2021-12-17 東芝テック株式会社 買物支援装置及び買物支援プログラム
US11651664B2 (en) 2020-02-10 2023-05-16 Nec Corporation Neural network classifier trained for purchasing differentiation
CN111369317B (zh) * 2020-02-27 2023-08-18 创新奇智(上海)科技有限公司 订单生成方法、装置、电子设备及存储介质
WO2021176401A1 (en) * 2020-03-05 2021-09-10 Cleper Yair Systems and methods for generating shopping checkout lists
US11208134B2 (en) * 2020-03-11 2021-12-28 Gatekeeper Systems, Inc. Monitoring system capable of classifying items added to a shopping cart
US11049170B1 (en) * 2020-03-15 2021-06-29 Inokyo, Inc. Checkout flows for autonomous stores
WO2021202847A1 (en) * 2020-04-01 2021-10-07 Nec Laboratories America, Inc. Rfid-based self-checkout systems using cycle counting
CN111540106A (zh) * 2020-04-14 2020-08-14 合肥工业大学 一种无人超市系统
IL274127B2 (en) * 2020-04-22 2024-06-01 Ben Moshe Amnon A method and device for automating the identification, payment, packaging and delivery of items purchased in a physical store
US11423470B1 (en) * 2020-04-24 2022-08-23 StoreEase, LLC Systems and methods for enabling remote management of storage facilities
NL2025889B1 (en) * 2020-06-23 2022-02-21 Ing Bank N V Systems, methods, computer program product and interfaces for controlling authorizations to access and/or use a physical space by a person, and spaces controlled thereby
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
EP4179490A4 (en) * 2020-07-07 2024-06-19 Omni Consumer Products, LLC SYSTEMS AND METHODS FOR INTEGRATING PHYSICAL AND VIRTUAL PURCHASING
US11829990B2 (en) * 2020-09-11 2023-11-28 Sensormatic Electronics, LLC Method and system for self-checkout in a retail environment
US11455869B2 (en) 2020-10-13 2022-09-27 Trax Technology Solutions Pte Ltd. Updating shopping list based on analysis of images
WO2022081518A2 (en) * 2020-10-13 2022-04-21 Trax Technology Solutions Pte Ltd. Methods and systems for retail environments
TWI771790B (zh) * 2020-11-03 2022-07-21 財團法人工業技術研究院 智慧商店系統及智慧商店方法
US20220156822A1 (en) * 2020-11-13 2022-05-19 Trax Technology Solutions Pte Ltd. Triggering image processing based on infrared data analysis
EP4020417A1 (de) * 2020-12-27 2022-06-29 Bizerba SE & Co. KG Self-checkout store
JP2022132770A (ja) * 2021-03-01 2022-09-13 東芝テック株式会社 セルフ式商品販売データ処理装置およびプログラム
US20220344019A1 (en) * 2021-04-21 2022-10-27 Britta Kay Carlson Media and medical device ecommerce system and methods
WO2022235637A1 (en) * 2021-05-04 2022-11-10 Trax Technology Solutions Pte Ltd. Methods and systems for retail environments
JP7318684B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CA3231848A1 (en) * 2021-09-17 2023-03-23 Kevin MALGARINI Contactless checkout system with theft detection
US20230098243A1 (en) * 2021-09-29 2023-03-30 Amazon Technologies, Inc. Third-party retailer delegation for automated-checkout retail environments
US20230140194A1 (en) * 2021-10-28 2023-05-04 Ncr Corporation Augmented reality (ar) self checkout attendant
US11935374B2 (en) 2021-11-05 2024-03-19 Target Brands, Inc. Verification of items by automated checkout system
TWI841884B (zh) * 2021-12-01 2024-05-11 財團法人工業技術研究院 智慧商店的選品規劃方法、選品規劃系統及其處理設備
CN114282963A (zh) * 2021-12-14 2022-04-05 Oppo广东移动通信有限公司 购物服务方法及装置、电子设备及计算机可读存储介质
US20230252442A1 (en) * 2022-01-18 2023-08-10 Bank Of America Corporation Smart contact lens for point of sale ("pos") transaction validation using object detection and image classification
NL2030820B1 (en) * 2022-02-04 2023-08-11 Nedap Nv Tracking identifiable assets
WO2023154061A1 (en) * 2022-02-14 2023-08-17 Google Llc Systems and methods for object specific audience servicing
WO2023154058A1 (en) * 2022-02-14 2023-08-17 Google Llc Systems and methods for generating insights based on physical signals
WO2023154063A1 (en) * 2022-02-14 2023-08-17 Google Llc Systems and methods for inferring user intent based on physical signals
CA3204742A1 (en) * 2022-06-27 2023-12-27 Mars, Incorporated Systems and methods for service location optimization
JP2024013129A (ja) * 2022-07-19 2024-01-31 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
US20120173351A1 (en) * 2010-12-29 2012-07-05 Qthru, Llc Mobile Electronic Shopping
US20130103537A1 (en) * 2011-10-14 2013-04-25 Spencer Thornton Hewett Interactive consumer self-service shopping system
US20140279191A1 (en) * 2013-03-14 2014-09-18 Sears Brands, L.L.C. Checkout and/or ordering systems and methods
JP2015099441A (ja) * 2013-11-18 2015-05-28 株式会社イシダ 会員管理システム

Family Cites Families (226)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5254853A (en) 1990-02-14 1993-10-19 Stefan Reich Optical sensing device
US5418567A (en) 1993-01-29 1995-05-23 Bayport Controls, Inc. Surveillance camera system
US5502564A (en) 1994-09-13 1996-03-26 Hughes Aircraft Company Substrate thickness measurement using oblique incidence multispectral interferometry
US6837436B2 (en) 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7107110B2 (en) 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
US20040201754A1 (en) 2001-10-12 2004-10-14 Mcalister Micheal J. Dual camera mounting arrangement for a wide screen imaging system
US8321302B2 (en) 2002-01-23 2012-11-27 Sensormatic Electronics, LLC Inventory management system
US7274803B1 (en) 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7921036B1 (en) 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US20030210340A1 (en) 2002-05-07 2003-11-13 John Frederick Romanowich Camera with a mechanical and electrical interface for couplable engagement with a standard lampholder
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US8351647B2 (en) 2002-07-29 2013-01-08 Videomining Corporation Automatic detection and aggregation of demographics and behavior of people
US7053915B1 (en) 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
US8010402B1 (en) 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US6996460B1 (en) 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
US7912246B1 (en) 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US7283650B1 (en) 2002-11-27 2007-10-16 Video Mining Corporation Method and system for printing of automatically captured facial images augmented with promotional content
US7734070B1 (en) 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
US20040260513A1 (en) 2003-02-26 2004-12-23 Fitzpatrick Kerien W. Real-time prediction and management of food product demand
US7711155B1 (en) 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7590261B1 (en) 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
US7505621B1 (en) 2003-10-24 2009-03-17 Videomining Corporation Demographic classification using image components
US20050096997A1 (en) * 2003-10-31 2005-05-05 Vivek Jain Targeting shoppers in an online shopping environment
US7319779B1 (en) 2003-12-08 2008-01-15 Videomining Corporation Classification of humans into multiple age categories from digital images
US7100824B2 (en) 2004-02-27 2006-09-05 Evolution Robotics, Inc. System and methods for merchandise checkout
US7168618B2 (en) 2004-08-12 2007-01-30 International Business Machines Corporation Retail store method and system
US20060036485A1 (en) 2004-08-13 2006-02-16 International Business Machines Corporation Methods and apparatus for presenting personalized information to consumers in a retail environment
US7646887B2 (en) 2005-01-04 2010-01-12 Evolution Robotics Retail, Inc. Optical flow for object recognition
US9609287B2 (en) 2005-03-02 2017-03-28 En-Gauge, Inc. Remote monitoring
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US20070091177A1 (en) 2005-10-24 2007-04-26 The Regents Of The University Of California Remote unattended camera and computer integrated security system
US20070126871A1 (en) 2005-12-06 2007-06-07 Henninger Paul E Iii Modular surveillance camera system with self-identification capability
WO2007067999A2 (en) 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
US7911482B1 (en) 2006-01-06 2011-03-22 Videomining Corporation Method and system for efficient annotation of object trajectories in image sequences
JP4125328B2 (ja) 2006-04-17 2008-07-30 キヤノン株式会社 電子機器、電子機器による周辺機器の制御方法、プログラム及び記憶媒体
US7681790B2 (en) * 2006-06-09 2010-03-23 The Container Store Computer supported retail shopping systems and methods
US7930204B1 (en) 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US7974869B1 (en) 2006-09-20 2011-07-05 Videomining Corporation Method and system for automatically measuring and forecasting the behavioral characterization of customers to help customize programming contents in a media network
US7987111B1 (en) 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US8380558B1 (en) 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US8189926B2 (en) 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US8146811B2 (en) 2007-03-12 2012-04-03 Stoplift, Inc. Cart inspection for suspicious items
US8295597B1 (en) 2007-03-14 2012-10-23 Videomining Corporation Method and system for segmenting people in a physical space based on automatic behavior analysis
US7957565B1 (en) 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
US9565419B2 (en) 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
US7848548B1 (en) 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
US7909248B1 (en) 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
US10296936B1 (en) 2007-09-26 2019-05-21 Videomining Corporation Method and system for measuring effectiveness of a marketing campaign on digital signage
US20090158309A1 (en) 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
EP2240915A1 (en) 2007-12-26 2010-10-20 Johnson Controls Technology Company Systems and methods for conducting commerce in a vehicle
US8098888B1 (en) 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
CN102016496A (zh) 2008-02-04 2011-04-13 Fps食品加工系统股份有限公司 用于探测蛋表面上的污物和其他瑕疵的带有软件控制的图像系统
US8746557B2 (en) * 2008-02-26 2014-06-10 Toshiba Global Commerce Solutions Holding Corporation Secure self-checkout
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
US8027521B1 (en) 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
US8433612B1 (en) 2008-03-27 2013-04-30 Videomining Corporation Method and system for measuring packaging effectiveness using video-based analysis of in-store shopper response
US8009863B1 (en) 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8219438B1 (en) 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
DE202008009834U1 (de) 2008-07-22 2009-12-10 Liebherr-Elektronik Gmbh Kamera zum Einsatz in einem digitalen Netzwerk
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
US8379937B1 (en) 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
JP5451033B2 (ja) * 2008-11-06 2014-03-26 株式会社エヌ・ティ・ティ・データ ショッピングシステム及び方法ならびにコンピュータプログラム
US8577705B1 (en) 2008-12-30 2013-11-05 Videomining Corporation Method and system for rating the role of a product category in the performance of a store area
US8175388B1 (en) 2009-01-30 2012-05-08 Adobe Systems Incorporated Recognizing text at multiple orientations
EP2401865B1 (en) 2009-02-27 2020-07-15 Foundation Productions, Llc Headset-based telecommunications platform
US8892469B2 (en) 2009-04-01 2014-11-18 Igt Gaming device security mechanism
US9747497B1 (en) 2009-04-21 2017-08-29 Videomining Corporation Method and system for rating in-store media elements
US8254633B1 (en) 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US8872964B2 (en) 2009-05-20 2014-10-28 Express Imaging Systems, Llc Long-range motion detection for illumination control
US9740977B1 (en) 2009-05-29 2017-08-22 Videomining Corporation Method and system for recognizing the intentions of shoppers in retail aisles based on their trajectories
US8812344B1 (en) 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
US8325982B1 (en) 2009-07-23 2012-12-04 Videomining Corporation Method and system for detecting and tracking shopping carts from videos
US8412656B1 (en) 2009-08-13 2013-04-02 Videomining Corporation Method and system for building a consumer decision tree in a hierarchical decision tree structure based on in-store behavior analysis
JP5257335B2 (ja) 2009-11-24 2013-08-07 オムロン株式会社 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
US20110145051A1 (en) * 2009-12-13 2011-06-16 AisleBuyer LLC Systems and methods for suggesting products for purchase from a retail establishment using a mobile device
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US20130262269A1 (en) * 2010-07-06 2013-10-03 James Shaun O'Leary System for electronic transactions
JP2012028015A (ja) 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法
US8488881B2 (en) 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
US8615254B2 (en) 2010-08-18 2013-12-24 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US8652033B2 (en) 2010-09-23 2014-02-18 Karl Storz Endovision, Inc. Video stylet with directable tip
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
WO2013059716A2 (en) * 2011-10-19 2013-04-25 Ran Margalit Automated purchasing system
US10326921B2 (en) 2011-11-14 2019-06-18 Tseng-Lu Chien Light device has built-in camera and related digital data device's functions
WO2013103912A1 (en) 2012-01-05 2013-07-11 Visa International Service Association Transaction visual capturing apparatuses, methods and systems
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20150095189A1 (en) * 2012-03-16 2015-04-02 In Situ Media Corporation System and method for scanning, tracking and collating customer shopping selections
US9661047B2 (en) 2012-04-30 2017-05-23 Mobilatv Ltd. Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US9892438B1 (en) 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
US9378747B2 (en) 2012-05-07 2016-06-28 Dolby International Ab Method and apparatus for layout and format independent 3D audio reproduction
US9147114B2 (en) 2012-06-19 2015-09-29 Honeywell International Inc. Vision based target tracking for constrained environments
US9774459B2 (en) 2012-06-22 2017-09-26 Sensormatic Electronics, LLC Security system and method using wireless adapters and PoE cameras
US9288299B2 (en) 2012-09-14 2016-03-15 Dewmobile, Inc. Method and apparatus for file sharing in a network
US20140082610A1 (en) 2012-09-14 2014-03-20 DewMobile Inc. Mesh network and mesh network node application
US9647906B2 (en) 2012-11-02 2017-05-09 Rockwell Automation Technologies, Inc. Cloud based drive monitoring solution
JP6058982B2 (ja) * 2012-11-26 2017-01-11 株式会社日立システムズ 消費者ニーズ分析システム及び消費者ニーズ分析方法
US20140155022A1 (en) 2012-12-05 2014-06-05 Anil Kandregula Methods and apparatus to monitor usage of mobile devices
US20140188601A1 (en) * 2013-01-03 2014-07-03 International Business Machines Corporation Integration between brick-and-mortar establishments and web based establishments
US10062066B2 (en) * 2013-01-30 2018-08-28 Walmart Apollo, Llc Systems and methods for retrieving items for a customer at checkout
US20140214564A1 (en) * 2013-01-31 2014-07-31 Wal-Mart Stores, Inc. Method to allow two or more mobile devices to contribute items to the same virtual shopping cart in mobile self checkout software
US20140245160A1 (en) 2013-02-22 2014-08-28 Ubiquiti Networks, Inc. Mobile application for monitoring and controlling devices
US10198080B1 (en) 2013-03-11 2019-02-05 Amazon Technologies, Inc. Virtual user interface
US9392675B2 (en) 2013-03-14 2016-07-12 Lutron Electronics Co., Inc. Digital load control system providing power and communication via existing power wiring
US20140270711A1 (en) 2013-03-15 2014-09-18 FitStar, Inc. Generating a custom exercise video
US8915429B2 (en) 2013-03-15 2014-12-23 Ncr Corporation Methods of mobile self-checkout shopping for produce items in a retail grocery store
US9098825B2 (en) 2013-03-26 2015-08-04 Leonard Bashkin Storage container with inventory control
CN103236006A (zh) * 2013-04-18 2013-08-07 战国新 超市新型自助购物结账系统及方法
WO2014179707A1 (en) 2013-05-02 2014-11-06 Rolley David System and method for collecting, analyzing and reporting fitness activity data
US9412099B1 (en) * 2013-05-09 2016-08-09 Ca, Inc. Automated item recognition for retail checkout systems
US20140365334A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US20140363059A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176456B2 (en) * 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10217133B2 (en) 2013-07-19 2019-02-26 Paypal, Inc. Reverse showrooming and merchant-customer engagement system
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US9473747B2 (en) * 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US20150046213A1 (en) * 2013-08-07 2015-02-12 Motorola Solutions, Inc. Method for identifying a shopping group in a store
US10841668B2 (en) 2013-08-09 2020-11-17 Icn Acquisition, Llc System, method and apparatus for remote monitoring
CN105580040A (zh) * 2013-09-06 2016-05-11 日本电气株式会社 销售促进系统、销售促进方法、非瞬时计算机可读介质和货架系统
JP5920299B2 (ja) 2013-09-17 2016-05-18 コニカミノルタ株式会社 画像形成装置、遠隔制御方法、および遠隔制御プログラム
JP6361103B2 (ja) 2013-09-17 2018-07-25 株式会社リコー 管理装置、管理システム、物体管理方法、及びプログラム
US9984352B2 (en) 2013-09-26 2018-05-29 Amazon Technologies, Inc. Kiosk network in a kiosk management system
US9141931B2 (en) 2013-09-26 2015-09-22 Amazon Technologies, Inc. Inventory distribution method and system
US9474934B1 (en) 2013-10-11 2016-10-25 Fit Intuition, LLC Biometric assessment in fitness improvement
US10366445B2 (en) 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
US9772612B2 (en) 2013-12-11 2017-09-26 Echostar Technologies International Corporation Home monitoring and control
CN106062842B (zh) 2014-01-30 2019-11-05 飞利浦灯具控股公司 照明系统以及用于控制其的控制器和移动用户终端
US20150227890A1 (en) 2014-02-07 2015-08-13 Kristin Kaye Bednarek Communications system and smart device apps supporting segmented order distributed distribution system
US9948902B1 (en) 2014-03-07 2018-04-17 Alarm.Com Incorporated Video camera and sensor integration
US20150310601A1 (en) 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
US9120621B1 (en) 2014-03-25 2015-09-01 Amazon Technologies, Inc. Verifying bin content in an automated materials handling facility
US9317785B1 (en) 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
US9918213B2 (en) 2014-05-07 2018-03-13 DewMobile Inc. Discovery and networking of proximate wireless devices by acoustic messaging
US20150373509A1 (en) 2014-06-19 2015-12-24 Dewmobile, Inc. Group gaming platform for mobile devices in proximity
JP5866522B2 (ja) 2014-07-08 2016-02-17 パナソニックIpマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
US10129507B2 (en) 2014-07-15 2018-11-13 Toshiba Global Commerce Solutions Holdings Corporation System and method for self-checkout using product images
US9547964B2 (en) 2014-07-24 2017-01-17 Heathco, Llc Integrated home lighting and notification system
EP3009997B1 (en) 2014-10-15 2016-11-23 Axis AB Arrangement for a monitoring camera device
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10157379B2 (en) 2014-11-12 2018-12-18 Toshiba Global Commerce Solutions Holdings Corporation Self checkout with security checks based on categorized items
US9262681B1 (en) 2014-11-19 2016-02-16 Amazon Technologies, Inc. Probabilistic registration of interactions, actions or activities from multiple views
US10594983B2 (en) 2014-12-10 2020-03-17 Robert Bosch Gmbh Integrated camera awareness and wireless sensor system
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
US20160189162A1 (en) * 2014-12-29 2016-06-30 Toshiba Tec Kabushiki Kaisha Information processing system, and storage medium which stores information processing program
WO2016108197A1 (en) 2014-12-30 2016-07-07 Ergoview S.R.L. Method and system for biomechanical analysis of the posture of a cyclist and automatic customized manufacture of bicycle parts
US9990587B2 (en) 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
US9412034B1 (en) 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
US9706619B2 (en) 2015-02-16 2017-07-11 Cree, Inc. Lighting fixture with image sensor
US9853730B2 (en) 2015-02-27 2017-12-26 Xicato, Inc. Lighting based authentication of a mobile electronic device
US9270634B1 (en) 2015-03-02 2016-02-23 Dewmobile, Inc. Building a proximate social networking database based on relative distance profiling of two or more operably coupled computers
CN110677957A (zh) 2015-03-13 2020-01-10 路创技术有限责任公司 具有响应于外部传感器受控的照亮部分的控制装置
US9250712B1 (en) 2015-03-20 2016-02-02 Hand Held Products, Inc. Method and application for scanning a barcode with a smart device while continuously running and displaying an application on the smart device display
US10089520B2 (en) 2015-03-26 2018-10-02 Krishna V Motukuri System for displaying the contents of a refrigerator
US20160289964A1 (en) 2015-04-02 2016-10-06 Shawn Engberg Suspended ceiling
JP2018513531A (ja) 2015-04-03 2018-05-24 ルシス テクノロジーズ ホールディングス リミティッドLucis Technologies Holdings Limited 環境制御システム
US10217120B1 (en) 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
US10565455B2 (en) 2015-04-30 2020-02-18 Ants Technology (Hk) Limited Methods and systems for audiovisual communication
US10037592B2 (en) 2015-06-05 2018-07-31 Mindaptiv LLC Digital quaternion logarithm signal processing system and method for images and other data types
JP6901412B2 (ja) * 2015-06-24 2021-07-14 マジック リープ, インコーポレイテッドMagic Leap,Inc. 購入のための拡張現実デバイス、システムおよび方法
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10318976B2 (en) 2015-07-28 2019-06-11 Walmart Apollo, Llc Methods for determining measurement data of an item
US20190054347A1 (en) 2015-08-18 2019-02-21 Michael Saigh Wearable sports guidance communication system and developers tool kit
US10180469B2 (en) 2015-10-28 2019-01-15 Siemens Healthcare Gmbh Gesture-controlled MR imaging system and method
CN105335509B (zh) 2015-10-29 2017-06-30 广州神马移动信息科技有限公司 一种推荐活动信息的方法、装置及服务器
MX2018006807A (es) 2015-12-03 2019-07-04 Walmart Apollo Llc Carrito inteligente para el pago automatico de mercancias de venta al menudeo.
US10915910B2 (en) 2015-12-09 2021-02-09 International Business Machines Corporation Passive analysis of shopping behavior in a physical shopping area using shopping carts and shopping trays
CA3008886A1 (en) 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
US10262331B1 (en) 2016-01-29 2019-04-16 Videomining Corporation Cross-channel in-store shopper behavior analysis
US20170216667A1 (en) 2016-02-02 2017-08-03 Gaming Grids Wearables, Llc Esports fitness and training system
CA3053106A1 (en) * 2016-02-26 2017-08-31 Imagr Limited Systems and methods for shopping in a physical store
WO2017149875A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
KR20170110824A (ko) 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10198625B1 (en) 2016-03-26 2019-02-05 Videomining Corporation Association of unique person to a mobile device using repeat face image matching
US10387896B1 (en) 2016-04-27 2019-08-20 Videomining Corporation At-shelf brand strength tracking and decision analytics
WO2017192457A1 (en) 2016-05-02 2017-11-09 Focal Systems, Inc. Expedited checkout system through portable checkout units
EP4410155A1 (en) 2016-05-09 2024-08-07 Grabango Co. System and method for computer vision driven applications within an environment
BR112018074740A2 (pt) 2016-05-31 2019-03-12 Theia Group, Incorporated sistema para transmissão e digitalização de telemetria de máquina
US10354262B1 (en) 2016-06-02 2019-07-16 Videomining Corporation Brand-switching analysis using longitudinal tracking of at-shelf shopper behavior
US10380814B1 (en) * 2016-06-27 2019-08-13 Amazon Technologies, Inc. System for determining entry of user to an automated facility
WO2018013439A1 (en) 2016-07-09 2018-01-18 Grabango Co. Remote state following devices
US10083358B1 (en) 2016-07-26 2018-09-25 Videomining Corporation Association of unique person to point-of-sale transaction data
BR102016019151A2 (pt) 2016-08-18 2018-03-06 De Souza Lopes Roberto Método e sistema computadorizado de visualização e identificação de veículos através de câmeras aplicadas em postos de combustível e lojas de conveniência
US10409548B2 (en) 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
US10825010B2 (en) 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
US10665051B2 (en) 2017-02-02 2020-05-26 Smartbins Inc. Bulk food integrated scale system
CN110462669B (zh) 2017-02-10 2023-08-11 格拉班谷公司 自动化购物环境内的动态顾客结账体验
US20180240180A1 (en) 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
US10458595B2 (en) 2017-02-28 2019-10-29 Cisco Technology, Inc. Smart Power over Ethernet lift
US10997421B2 (en) 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
EP3610469A4 (en) 2017-05-10 2021-04-28 Grabango Co. SERIES CONFIGURED CAMERA ARRANGEMENT FOR EFFICIENT USE
IL271528B2 (en) 2017-06-21 2024-08-01 Grabango Co Observed link of human activity in the video to a user account
JP7208974B2 (ja) 2017-08-07 2023-01-19 スタンダード コグニション コーポレーション 画像認識を用いた商品を置くこと及び取ることの検出
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US10133933B1 (en) 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10127438B1 (en) 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10055853B1 (en) 2017-08-07 2018-08-21 Standard Cognition, Corp Subject identification and tracking using image recognition
US20190079591A1 (en) 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10469768B2 (en) 2017-10-13 2019-11-05 Fyusion, Inc. Skeleton-based effects and background replacement
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
US20190244161A1 (en) 2018-02-02 2019-08-08 Microsoft Technology Licensing, Llc Inventory control
US20190333039A1 (en) 2018-04-27 2019-10-31 Grabango Co. Produce and bulk good management within an automated shopping environment
US10282852B1 (en) 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
US10282720B1 (en) 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
US11087539B2 (en) 2018-08-21 2021-08-10 Mastercard International Incorporated Systems and methods for generating augmented reality-based profiles
WO2020051359A1 (en) 2018-09-07 2020-03-12 Gatekeeper Systems, Inc. Shopping basket monitoring using computer vision and machine learning
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
US10347009B1 (en) 2018-11-21 2019-07-09 Juan Ramon Terven Self callbrating camera system
US10943204B2 (en) 2019-01-16 2021-03-09 International Business Machines Corporation Realtime video monitoring applied to reduce customer wait times
US20200265494A1 (en) 2019-02-17 2020-08-20 Grabango Co. Remote sku on-boarding of products for subsequent video identification and sale
US11507933B2 (en) 2019-03-01 2022-11-22 Grabango Co. Cashier interface for linking customers to virtual data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
US20120173351A1 (en) * 2010-12-29 2012-07-05 Qthru, Llc Mobile Electronic Shopping
US20130103537A1 (en) * 2011-10-14 2013-04-25 Spencer Thornton Hewett Interactive consumer self-service shopping system
US20140279191A1 (en) * 2013-03-14 2014-09-18 Sears Brands, L.L.C. Checkout and/or ordering systems and methods
JP2015099441A (ja) * 2013-11-18 2015-05-28 株式会社イシダ 会員管理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315096B2 (en) * 2020-05-14 2022-04-26 Gurunavi, Inc. Payment support system, payment support method, and non-transitory recording medium

Also Published As

Publication number Publication date
JP7093783B2 (ja) 2022-06-30
US20240144352A1 (en) 2024-05-02
CN110462669B (zh) 2023-08-11
WO2018148613A1 (en) 2018-08-16
US20180232796A1 (en) 2018-08-16
US11132737B2 (en) 2021-09-28
CN110462669A (zh) 2019-11-15
EP3580717A4 (en) 2020-07-29
JP2022091841A (ja) 2022-06-21
EP3580717A1 (en) 2019-12-18
CA3052292A1 (en) 2018-08-16
US11847689B2 (en) 2023-12-19
US20220044305A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11847689B2 (en) Dynamic customer checkout experience within an automated shopping environment
US11948364B2 (en) Portable computing device installed in or mountable to a shopping cart
US11587061B2 (en) System and method for beacon based navigation to offer based transactions and beacon based digital transactions with multiple layer authentication
US11127061B2 (en) Method, product, and system for identifying items for transactions
JP5967553B2 (ja) 店舗内又は店舗間における顧客の購買行動を推定する方法、並びに、そのコンピュータ・システム及びコンピュータ・プログラム
US20130282533A1 (en) Providing an online consumer shopping experience in-store
US11049170B1 (en) Checkout flows for autonomous stores
CN107431898A (zh) 销售点终端地理位置
US20140046831A1 (en) Transaction system and method
JP6580651B2 (ja) 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システム
US20170364889A1 (en) Retail checkout systems and methods
US20150379497A1 (en) System, device, and method for self-checkout shopping
CN110610384A (zh) 用户画像生成方法、信息推荐方法、设备和可读介质
JP7508220B2 (ja) 販促システム
US11010742B2 (en) System, method, and computer program product for augmented reality point-of-sale
JP7181766B2 (ja) 商品決済システム、商品運搬カート及び商品決済方法
Kumar et al. Advanced Smart Shopping Cart with Integration of AI and IoT
US20230091825A1 (en) Checkout apparatus and checkout method
Bozdag Market analysis of smart checkout systems and iot payments
JP2023127257A (ja) 販売情報処理システム
JP2022098820A (ja) 商品販売データ処理システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220317

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220317

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220426

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7093783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150