JP2019527865A - 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 - Google Patents

環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 Download PDF

Info

Publication number
JP2019527865A
JP2019527865A JP2018557901A JP2018557901A JP2019527865A JP 2019527865 A JP2019527865 A JP 2019527865A JP 2018557901 A JP2018557901 A JP 2018557901A JP 2018557901 A JP2018557901 A JP 2018557901A JP 2019527865 A JP2019527865 A JP 2019527865A
Authority
JP
Japan
Prior art keywords
shopper
checkout
eog
objects
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018557901A
Other languages
English (en)
Other versions
JP7009389B2 (ja
Inventor
グレーサー，ウィリアム
オスドル，ブライアン ヴァン
オスドル，ブライアン ヴァン
Original Assignee
グラバンゴ コーポレイション
グラバンゴ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グラバンゴ コーポレイション, グラバンゴ コーポレイション filed Critical グラバンゴ コーポレイション
Publication of JP2019527865A publication Critical patent/JP2019527865A/ja
Priority to JP2022003274A priority Critical patent/JP7422792B2/ja
Application granted granted Critical
Publication of JP7009389B2 publication Critical patent/JP7009389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Abstract

環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法は、環境全体にわたって画像データを収集することと；画像データから環境オブジェクトグラフを維持することとを含み得、環境オブジェクトグラフを維持することは、オブジェクトを分類し、オブジェクト位置を追跡し、相互作用事象を検知し、環境オブジェクトグラフ内のオブジェクト関連性をインスタンス化し、少なくとも１つのオブジェクトインスタンスの変更をオブジェクト関連性全体にわたって伝播することにより環境オブジェクトグラフを更新することと；環境オブジェクトグラフ内の少なくとも１つのオブジェクトインスタンスのオブジェクト状態を検査し、オブジェクト状態に関連付けられた行為を実行することとを含む反復プロセスである。本システムおよび方法は、自動チェックアウト、在庫管理、および／または他のシステムインテグレーションへ適用され得る。

Description

関連出願の相互参照
本出願は参照のため本明細書に援用される２０１６年５月９日出願の米国仮特許出願第６２／３３３，６６８号からの優先権を主張する。
技術分野
本発明は、一般的には商行為および在庫管理の分野に関し、具体的には、環境内のコンピュータビジョン駆動型アプリケーションのための新しくかつ有用なシステムおよび方法に関する。
背景
店および倉庫は通常、在庫を管理するチャレンジに直面している。運営的観点から、多くの洗練された事業運営はかなりの時間および資源を在庫の手動計数に注ぎ込む。このようなプロセスは、誤りに脆弱であり、在庫の状態に関する定期的見解を提供するだけである。
顧客向き態様に関する在庫管理に関連して、店は、それらの製品および／またはサービスに対し顧客へ課金するための伝統的ツールおよびシステムに大いに依存する。伝統的販売時点情報管理（point of sale）システムとさらにはセルフチェックアウト選択肢は通常、長い列を生じ、買物経験に不満な顧客を残し得る。これは、物理的ショッピングがオンラインショッピング選択肢により脅かされる場合には特に有害であり得る。
したがって、商行為および在庫管理分野において、環境内のコンピュータビジョン駆動型アプリケーションのための新しく有用なシステムおよび方法を生成する必要性がある。本発明はこのような新しく有用なシステムおよび方法を提供する。
図面の簡単な説明
好適な実施形態のシステムの概略図である。 好適な実施形態の例示的システムの概略図である。 ＥＯＧが環境の様々な領域内のアプリケーションに適用される例示的シナリオの概略図である。 本システムおよび方法を実現する際に使用される単一画像捕捉装置の概略図である。 本システムの例示的画像捕捉装置構成の概略図である。 本システムの例示的画像捕捉装置構成の概略図である。 本システムの例示的画像捕捉装置構成の概略図である。 本システムの例示的画像捕捉装置構成の概略図である。 買物客の例示的経路の相互作用モデリングの概略図である。 オブジェクト変換の概略図である。 好適な実施形態の方法のフローチャート表現である。 補足データ入力との例示的相互作用の概略図である。 ＥＯＧを維持することに関与する反復プロセスの概略図である。 アイテム計数推定によるオブジェクト分類と複合オブジェクトモデリングの例示的概略図である。 オブジェクト経路と、オブジェクト経路の終端点における関連する様々なオブジェクト経路セグメントとの概略図である。 オブジェクト経路と、オブジェクト経路の終端点における関連する様々なオブジェクト経路セグメントとの概略図である。 以前のオブジェクト分類を変更するために、更新されたオブジェクト状態を運動経路全体にわたって伝播する概略図である。 複合オブジェクトモデリングおよび相互作用事象を含む例示的シナリオの概略図である。 複合オブジェクトモデリングおよび相互作用事象を含む例示的シナリオの概略図である。 相互作用事象による複合オブジェクトモデリングおよびマルチステートモデリングを含む例示的シーケンスの概略図である。 複合オブジェクトモデリングと確率的マルチステートモデリングとを使用することによる様々なオブジェクト間の相互作用の概略図である。 複合オブジェクトモデリングと確率的マルチステートモデリングとを使用することによる様々なオブジェクト間の相互作用の概略図であり、図１９Ｂではオブジェクト状態更新を伝播し図１９Ａのマルチステートモデリングを解決する； ＥＯＧに対する更新の概略図である。 ＥＯＧに対する更新の概略図である。 自動チェックアウトへ適用される方法のフローチャート表現である。 チェックアウト処理システムとの統合に適用される方法のフローチャート表現である。 チェックアウトリストを伝達する概略図である。 買物客関連オブジェクトをチェックアウトリストへ分割する概略図である。 校正事象の概略図である。 メディアをＥＯＧに従ってメタメディアストレージフォーマットで保管する概略図である。 チェックアウトリストを生成することへ適用される方法のフローチャート表現である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。 ＥＯＧを維持する際の例示的プロセスインスタンスの概略図である。
実施形態の説明
本発明の実施形態の以下の説明は、本発明をこれらの実施形態に限定するようには意図されておらず、むしろ当業者が本発明をなし、利用することを可能にするように意図されている。
１．概要
好適な実施形態の環境内のコンピュータビジョン（ＣＶ：computer vision）駆動型アプリケーションのためのシステムおよび方法は、観測空間内のオブジェクトをシームレスに監視、追跡、および考慮するように機能する。本システムおよび方法は好適には、統計ベース手法を介しオブジェクト状態を考慮する撮像システムおよび処理エンジンを利用する。本明細書において説明されるシステムおよび方法は、図１に示すように監視システムの運用能力を変換し、他のシステムとの新しいインテグレーションおよびアプリケーションを可能にし得る。
本システムおよび方法は、不完全な入力源および未知状態に対して弾性があり、好適には、時間と空間全体にわたって新しい画像データにより自己修正するために縦型モデリング（longitudinal modeling）を適用し得る。本システムおよび方法は特に、オブジェクトの相互作用および動きに関心がある人オブジェクトまたは装置オブジェクト（例えば買物客、従業員、カート、バッグ）のそばの複数のオブジェクト（例えば製品）の追跡に依存するＣＶ駆動型アプリケーションへ適用され得る。本システムおよび方法は、不完全な入力ソース下で動作し、新情報により理解を更新し得る。
好適には、本システムおよび方法はオブジェクトツーオブジェクト（object-to-object）関連性を監視するように機能する。オブジェクトツーオブジェクト関連性は、別のオブジェクトを保有するまたは含む１つのオブジェクト、または恐らく当該オブジェクトで構成される１つのオブジェクトに関係し得る。オブジェクトツーオブジェクト関連性を介し、オブジェクトの状態は、時間と空間の様々なインスタンスにおいて直接確認可能かつ観測可能画像データ無しに、時間と空間全体にわたって追跡され得る。例えば、人は、店内のアイテムを取り上げ、当該アイテムを自身のポケットに入れる可能性があり、本システムおよび方法は、人が店を離れるときに当該人により保有された当該アイテムを計上し得る。
本システムおよび方法は、環境内のオブジェクト内容、関連性、および／または有無の理解を更新するために、様々な点においてそして様々な時刻にコンピュータビジョン検知を使用し得る。視覚的識別可能製品を計上することに加え、不明瞭な目視観測物および視覚的に隠蔽されたオブジェクトは、上述のオブジェクトツーオブジェクト関連性などのオブジェクトおよび時間的関係を介したモデリングの定期的更新および伝播により計上され得る。物理的世界におけるオブジェクトのこの種の仮想表現は、在庫アイテム、従業員、買物客、コンテナ、保管要素（例えば棚）、異物、および／または任意の好適なタイプのオブジェクトなどのオブジェクトをモデリングすることを含み得る。
本システムおよび方法により適用されるモデリングは、モデル化されたオブジェクト状態および関連性を一貫して反映する環境オブジェクトグラフ（ＥＯＧ：environmental object graph）とここでは呼ばれるモデリングシステムを介し特徴付けられ得る。
本システムおよび方法は広範な様々な環境において用途を有し得る。１つの変形形態では、本システムおよび方法は、在庫相互作用が構造化されていないショッピングエリアまたは販売フロアなどの開放環境内で使用され得る。買物客は、製品検査、製品移動、アイテムをカートまたはバッグへ追加すること、および／または他の相互作用を含む様々なやり方で在庫と相互作用し得る。例えば、本システムおよび方法は、食料雑貨店、大型箱型店、書店、コンビニエンスストア、ドラッグストア、靴店、および／または任意の好適なタイプのショッピング環境などの店内で使用され得る。ショッピング環境内で使用される際、本システムおよび方法は、より速くかついくつかのケースでは自動であり得る別のチェックアウトプロセスを容易にし得る。
本システムおよび方法は代案として、製品との相互作用がより制約されかつ規定従業員相互作用へ概して限定される構造化された産業環境内で使用され得る。いくつかの産業環境は、構造化されたエンティティ在庫相互作用により主として特徴付けられ得る。エンティティは、人であってもよいし、ロボットアイテム移動機などの自動システムであってもよい。人およびロボットは両方とも、アイテムを環境へ追加するまたは環境から取り去る際、またはアイテムを移動する際に利用され得る。例えば、本システムおよび／または方法は、倉庫、保管設備、店のバックルーム、キャビネット、製造環境、および／または任意の好適な産業環境において使用され得る。
本システムおよび方法は代替的に、私物を追跡するために自家内などの他のタイプの環境またはアプリケーション内で使用され得る。
本システムおよび方法は好適には、図２に示すように撮像装置の分散ネットワークを含む撮像システムと組み合わせて使用される。この撮像システムは店または隔離環境内に設置され得る。例えば、本システムおよび方法は、店先における在庫および買物客を監視し、保管および装填エリア内に保管された在庫を監視するために店環境内に配備され得る。本システムおよび方法の様々なインスタンス化は、様々なサイトにおける複数の店または位置が、協調的に作用し、管理者同士を繋ぐために高いレベルの洞察を提供し、および／または様々な位置全体にわたってデータ洞察をてこ入れし得るように、ネットワークアクセス可能コンピューティングプラットフォームに接続して使用され得る。
本システムおよび方法は追加的に、より広い分散型システムにおいて実装される可能性があり、本システムおよび方法の運用論理は、撮像装置のネットワークにより１つの環境全体にわたって実行され得る。様々なＣＶベースアプリケーションが、様々な連続的または不連続的領域内で実行され得る。これは、内部領域ＣＶベースアプリケーションおよび領域間ＣＶベースアプリケーションを開始し得る地域的固有ＣＶ駆動型アプリケーションを可能にし得る。これは、複数の店が本システムおよび方法を使用するモールのような環境において使用される可能性がある。モールにおける本システムおよび方法は、各店領域内の自動チェックアウトのような店固有ＣＶ駆動型アプリケーションを可能にし得るが、また図３に示すように店間またはモールレベル相互作用を可能にする可能性がある。
本システムおよび方法は同様に、小規模で適用される可能性があり、ＥＯＧモデリングをカメラの視野内の様々な領域全体にわたって適用する単一カメラと共に働く可能性がある。一実施形態では、１つの位置における顧客によるオブジェクト相互作用は、顧客が別の領域に入るとシステム運用へ適用され得る。例えば、小さな棚のアイテムは、買物客によるアイテム選択が追跡され得るように監視される可能性があり、次に、自動チェックアウトプロセスは、図４に示すように買物客が視野から離れるまたは出口を通ると、実行し得る。
本システムおよび方法は、広範な様々なアプリケーションを有し、他の部品と組み合わせて使用され得る。１つの主アプリケーションとして、本システムおよび方法は自動セルフチェックに適用され得る。自動セルフチェックアウトは主として、顧客が店を離れるときの保有アイテムを知る目的を有するショッピングプロセス中に仮想カート（またはチェックアウトリスト）を生成または維持するシステムまたは方法により特徴付けられる。本システムおよび方法は、仮想カートの全体に対して顧客の口座へ自動的に課金するために使用されてもよいし、直接支払い（例えば現金による支払い、クレジット／デビットカードなど）のためのチェックアウト処理システム（例えば販売時点情報管理（ＰＯＳ：point of sale）装置またはパーソナルコンピューティング装置上の顧客アプリケーション）へ伝達され得る明細概要書を生成するために使用されてもよい。いくつかのケースでは、本システムおよび方法は、買物客の仮想カートまたは監視情報がチェックアウト処理システムを強化する際に使用され得る支援型チェックアウトにおいて使用され得る。
本システムおよび方法は代替的に、図書館、レンタル店、倉庫または任意の好適なアイテム保管設備などにおける顧客によるアイテムの取り去りを考慮するように使用され得る。本システムおよび方法は代替的に、いくつかの位置へのアクセスを許可または制限するまたは空港、遊園地または体育館などにおけるこのようなアクセスに課金するために使用され得る。本システムは、食料雑貨店、コンビニエンスストア、マイクロコマース＆無人店、バルクアイテム店、薬屋、書店、倉庫、モール、マーケット、カフェテリア、および／または商品またはサービスの商行為または交換を促進する任意の好適な環境などの広範な様々なショッピング環境に役立つように作られ得る。本明細書では、一組の累積アイテムのための自動セルフチェックアウトが本システムおよび方法の主例示的アプリケーションとして使用されるが、任意の好適なアプリケーションが使用され得る。
実際のシステムおよび方法の例示的シナリオとして、本システムおよび方法は、買物客がシリアルアイルから箱をショッピングカート内へ追加することを検知し得る。カート内の箱の数はカメラの現在視野のために観測可能ではないかもしれない。しかし、本システムおよび方法は、様々な要因（例えば店内の買物客の位置）に基づくある確率的結果を有するある相互作用に基づきＥＯＧ内の在庫の内部表現を更新し得る。本システムおよび方法は例えば、棚が９つの箱を保持する９０％の確率、棚が８つの箱を有する８％の確率、および７以下の箱を保持する２％の確率で予測するようにその理解を更新する。買物客のカートは同様に、ある組の内容を有する確率的分布を割り当てられ得る。ある将来時点で、買物客のカートは３つの可視シリアル箱を含むものと観測され得る。このような情報は、ショッピングカート内容が３つの箱を有する８０％確率および４以上の箱を有する２０％確率で予測されるように、ＥＯＧ内の在庫表現を更新するために使用される。棚卸しが同様に調整される。他の将来観測が同様に、在庫表現をさらに更新するために使用され得る。ＰＯＳチェックアウト、または手動棚卸しなどの他のオブジェクト入力もまた、確率を更新するために使用され得る。本システムおよび方法は好適には、様々な入力からのフィードバックに基づき物理的世界のシステムの内部表現の質を能動的に改善する動的人工知能を利用する。
本システムおよび方法は追加的にまたは代替的に、在庫管理へ適用可能であり得る。伝統的に、在庫管理は、在庫の計数ベース理解を維持するために、入荷量、チェックアウト処理システム、明細領収書、および定期的手動棚卸資産会計を利用する。しかし、このような伝統的手法は、在庫のその理解において厳しく制限され得る。例えば、このような伝統的システムは製品「シュリンケージ（shrinkage）」（例えば、期待されたアイテム計数と実際の計数との相違はしばしば、盗難、製品誤配置、または不正棚卸資産会計から生じる）を考慮し得ない。一般的に、伝統的在庫管理システムはまた、店内に存在する間アイテムの信頼できる情報を提供し、その代わりに、店内のすべてのアイテムを計数する従業員をしばしば巻き込む時間がかかりかつ手動の在庫プロセスに依存し得る。本システムおよび方法は好適には、計数期待値だけを含む在庫状態のリアルタイム理解を提供し得るが、追加的にアイテム位置、アイテム相互作用履歴、棚保管期間監視、メディア、メタデータ、および／または他の情報を提供し得る。
本システムおよび方法は追加的にまたは代替的に、セキュリティ、監査、分析、および／または視覚的監視に使用される監視へ適用可能であり得る。メディアとの相互作用、メディアおよびメディア情報の保管、および／またはメディアの内容への応答は本システムおよび方法の実施形態を介し対処され得る。
本システムおよび方法は追加的にまたは代替的に、警告をトリガすること、および／または環境内の従業員またはシステムに指示することへ適用可能である可能性がある。いくつかの変形形態では、カスタム化されたオブジェクト規則が、様々なタスクの実行をトリガするように構成され得る。例えば、従業員警告は、冷凍オブジェクトが取り去られ冷凍庫の外の棚上に残されるとトリガされる可能性がある。
関連拡張として、本システムおよび方法は、特定／カスタムアプリケーションのカスタム化運用論理用に実現され得る、および／または外部システムと一体化され得る。例えば、プログラマティックインターフェースは、他のシステムが本システムおよび方法のオブジェクトモデリング能力をてこ入れし得るように使用可能にされる可能性がある。本システムおよび方法は同様に、別のアプリケーションに使用される可能性がある。
本システムおよび方法は多様な潜在的恩恵をもたらし得る。１つの潜在的恩恵として、本システムおよび方法は、散らかった環境に対しロバストな監視能力を提供し得る。本システムおよび方法は構造化されずかつ予期されないオブジェクト相互作用を考慮し得る。本システムおよび方法は好適には、自己修正するように、および不完全検知のシナリオを考慮するように様々な手法を利用する。この潜在的恩恵に関連して、本システムおよび方法は、誤りを起こしがちでありかつ正規使用においてロバストでないかもしれない複雑なオブジェクト相互作用の視覚的検知への依存性を回避し得る。本システムおよび方法は、可能であればいくつかの実施形態では相互作用検知手法を使用し得るが、好適には、このような検知が失敗するかまたは直接観測可能でない場合に補正し得る。様々なＣＶアルゴリズム手法へ一般化され得るシステムおよび方法として、本システムおよび方法のアーキテクチャは、特定ＣＶアルゴリズムへ限定されることなく実現され得、産業の進歩に伴ってシームレスに改善し得る。
別の関連潜在的恩恵として、本システムおよび方法は観測の穴に対処し得る。他のオブジェクト内のオブジェクトの妨害、不鮮明な視野、および隠蔽はすべて、既存手法がロバストなオブジェクト追跡を提供するのを妨げてきた要因である。本システムおよび方法は、間接的検知、オブジェクトモデリングの伝播、および／または反事実的予測など様々な手法を採用することによりこのような状況下で動作し得る。
別の潜在的恩恵として、本システムおよび方法は多様な監視システムインフラストラクチャに対処し得る。本システムおよび方法は、任意の数の撮像装置と任意の質の撮像装置とを有し得る様々な監視システムと共に使用され得る。いくつかのケースでは、単一カメラを有する実施形態を含む限定数のバジェット（budget）撮像装置が低コスト解決策として使用され得る。他のケースでは、環境は、様々な角度から画像データを提供する様々な撮像装置のネットワークを有し得る。いくつかのケースでは、既存監視システムが、システムを実現する際に利用され得る。さらに他のケースでは、可視光、赤外線、ライダー、レーザ、レーダ、ソナー、音響センサ、電磁気信号マッピングシステム、および他のセンサの組み合せが使用され得る。これに関係して、本システムおよび方法は好適には、撮像装置の精密かつ時間がかかる校正に依存すること無く動作し得る。
自動セルフチェックアウトおよび他のアプリケーションにおいて利用され得る別の潜在的恩恵として、本システムおよび方法は、買物客巡回を介した製品との買物客相互作用の検知および監視を可能にし得る。ショッピング経路、アイテムがカートへ追加された順番、棚からアイテムを選択するための時間（例えば棚検査時間）、棚から離れる時のカートの最終内容、および／または他の要因が、本システムおよび方法を介し検知可能であり得る。１つの変形形態では、本システムは、チェックアウトプロセスの自動化部分に使用され得る。例えば、顧客または従業員チェックアウトキオスクまたは他のチェックアウト処理システムが機能強化のために本システムおよび方法を使用し得る。別の変形形態では、本システムは、製品が支払い無しに店から取り去られなかったということを検証する際に使用され得る。
１つの潜在的恩恵として、本システムおよび方法は棚卸資産会計に対処し得る。店および管理者は製品の在庫範囲をより効率的に知り得る。製品発注、在庫寿命または「健康」（例えば保管の期間、個々のアイテムの有効期限）の監視、および／または在庫の処理もまた、本システムおよび方法を介し容易にされ得る。
関連潜在的恩恵として、本システムおよび方法は、アイテムの位置が照査され得るように、店内のアイテムを追跡する際に使用され得る。加えて、本システムおよび方法はオブジェクト関係を監視する際に使用され得る。オブジェクト関係は、どのオブジェクトが別のオブジェクトを保管するために使用されたか、特定オブジェクトの接触／近接性、および／または他のオブジェクト関係などの関連性および相互作用を含み得る。警告、または特定条件のための他の行為をトリガするための方針が設定され得る。例えば、アイスクリームカートンが冷凍庫から取り去られ、次に棚上に放置されれば、アイスクリームカートンが設定時間量の間冷凍庫の外にあり、静止しているものとして検知されたので警告が発せられる可能性がある。
別の潜在的恩恵として、本システムおよび方法は、視覚的監視システムの代わりにまたはそれを支援するために使用され得るデータ駆動型監視手法を提供し得る。データ駆動型監視手法は、より広い時間枠の店監視を可能にする恩恵および／または特定状況におけるメディア品質を選択的に優先付けする恩恵を有し得る。
本システムおよび方法は同様に、多種多様のアプリケーションのためにてこ入れされ得る環境内の詳細なオブジェクト監視のレベルを高めることにより他のアプリケーションにおいて恩恵を発揮し得る。
環境オブジェクトグラフモデリング概要
本システムおよび方法は好適には、環境全体にわたって時間および空間内でオブジェクトを確率的に検知、追跡、およびモデル化するために使用され得る環境オブジェクトグラフ（ＥＯＧ：environmental object graph）モデリングシステムを適用する。
ＥＯＧは通常、環境内の物理的アイテムをオブジェクトとして表す手法であって、アイテムとしての当該仮想表現が移動、追加、除去、および変更されるのを維持する手法を記述する。ＥＯＧは好適には、分類されたオブジェクトのデータ表現構造であり、ここでは、ＥＯＧ内のオブジェクトのインスタンスが様々な確率的オブジェクト関連性を有し得る。ＥＯＧ内のオブジェクト表現は、新情報の流れに従って連続的にまたは定期的に更新される。新情報は、新たに分類されたオブジェクト、オブジェクト間の相互作用、オブジェクトの追跡、および／またはチェックアウト処理システムからのトランザクションデータのような補足データ入力などの他の入力を通して発生し得る。
ＥＯＧは特に、ユビキタス撮像システムを有する環境と組み合わせて適用可能であり得る。ＥＯＧシステムは、環境内のオブジェクトの表現およびオブジェクトの関係を構築するために様々な視点からおよび／または様々なインスタンスにおいて複数の画像ベース観測結果を利用し得る。
確率的オブジェクトモデリングは、複合オブジェクトモデリング、マルチステートの確率的モデリング、および／またはＥＯＧを介したモデリングの伝播のためにＥＯＧ内で適用され得る。
複合オブジェクトモデリングでは、ＥＯＧシステムは好適には、含まれたオブジェクトの確率を予測またはモデリングすることを可能にする。相互作用事象検知と組み合わされると、これは、オブジェクトの知覚された外観、オブジェクトの消失、オブジェクトの分割、またはオブジェクトのマージを考慮する際に使用され得る。
複数状態の確率的モデリングは、潜在的な現実の複数のオブジェクト状態を維持することを容易にする。例えば、オブジェクトは、ある尤度で買物客により選択されたものとして、および観測されないように棚の中のさらに奥に押し込まれものとしてモデル化され得る。確率的モデリングは、最も可能性の高い状態をより自信を持って識別するために、および／またはアプリケーション動作が要求されるとモデリングを予測状態へ分割するために、更新通知を通じて更新され得る。
モデリングの伝播では、異なる時点におけるおよび／または異なるカメラからの更新オブジェクト分類情報などの新情報が、関連オブジェクト全体にわたって伝播され得る。モデル伝播は、オブジェクト分類、オブジェクト追跡、オブジェクト関連性、複合オブジェクトモデリング、および／またはマルチステートモデリングを更新するために使用され得る。
一実施形態では、ＥＯＧ内のオブジェクトの表現は、分類と、恐らく一組の含まれたまたは関連付けられたオブジェクトとを含み得る。分類は、ＳＫＵ（最小在庫管理単位：stock keeping unitまたはグローバル一意識別子）、一般的オブジェクト（例えばリンゴ箱、買物客、棚、大量の商品）、または今のところ未知なオブジェクトとしてのものであり得る。分類は通常、信頼水準と恐らく一組の他の分類選択肢とを伴うことになる。１つの変形形態では、モデル化された一組の含まれたオブジェクトが、零を含む任意の数のオブジェクトを含み得る。含まれたオブジェクトは、ある確率で内容の一部であるとして表される。含まれたオブジェクトは、延いては、その中に含まれた別のオブジェクトを有する等々、再帰的であり得る。
オブジェクトは追加的に、関連付けられた他の特性を含んでもよいし、他の特性に関連付けられても良い。例えば、ＳＫＵ分類を有するオブジェクトは、価格、名称、重さ、サイズ寸法、および／または他の特性を有する在庫アイテムに関連付けられ得る。コマースアプリケーションでは、オブジェクトは、製品人気、関連製品、マージン／利益、製造者／配給者、販売優先度、および／または他の運営関連特性などの事業運営特性を含み得る。ＥＯＧは、在庫が追跡される環境内で使用される際に、在庫状態を予測するために使用され得る。在庫状態は、計数、位置、オブジェクト関連性（例えば、アイテムが特定箱の内部にある）、在庫履歴、および／または他の特性を含み得る。ＥＯＧは追加的に、買物客または従業員により取り上げられたアイテム、オブジェクトの保管技術、および／または他の情報を予測するために使用され得る。
先に述べたように、オブジェクトは、在庫アイテムに一致するかもしれないＳＫＵオブジェクトとして分類され得る。ＳＫＵオブジェクトは好適には、特定識別子を有する単一アイテムに関係するとして特徴付けられる。価格、寸法、重さ、製品メディア（例えば分類において使用される製品写真の履歴）および他の特性などの特性を含み得る識別子が、好適には、製品（例えば製品オブジェクト）に関連付けられる。本明細書では、アイテムは通常、別途規定しない限り、物理的製品、アーティファクト、またはＥＯＧのオブジェクトに対応する表示を指し得る。ＳＫＵオブジェクトは実質的に不可分であり得る。本明細書では、不可分性は通常、環境という文脈の中のものである。例えば、特定のシリアル箱は、現実ではそれが通常は箱と個々のシリアルとから構成されるであろうとしても店という文脈内では不可分であると考えられ得、依然として、１つの箱として保管され販売される。いくつかのシナリオでは、ＳＫＵオブジェクトは、ＥＯＧ内で分割され得（例えば６パックの飲料）、時折異なるやり方で特徴付けられたオブジェクトを生じる。
ＥＯＧは追加的に、特殊特性に関連付けられ得る他のタイプのオブジェクト分類を含み得る。環境内の他のタイプのオブジェクトは、買物客、従業員、ショッピングカート、保管装置（例えば棚）、製品移動装置（例えばフォークリフト）、および／または他の好適なオブジェクトを含み得る。
２．システム
図１に示すように、好適な実施形態のシステムは撮像システム１００およびＥＯＧシステム２００を含み得る。本システムは第１には、環境内の物理的アイテムを追跡および考慮するように機能する。ＥＯＧシステムは、環境の内容のコンピュータベース表現を構築する際に画像ベースオブジェクト検知を利用するように機能する。ＥＯＧシステムは、オブジェクトのその表現を構築する際に多様な手法を利用し得る。本システムは追加的に、仮想カート管理システム、チェックアウト処理システム、在庫管理システム、および／または他の補足的システム部品を含んでもよいし、これらと組み合わせて使用されてもよい。本システムは好適には、撮像システム１００と組み合わせて使用されるが、本システムは同様に、外部撮像システムからの画像データにより駆動されるＥＯＧシステム２００であり得る。
撮像システム
撮像システム１００は図２に示すように環境内のメディアを収集するように機能する。撮像システム１００は好適には、一組の画像捕捉装置１１０（例えばディジタルカメラ）を含む。画像捕捉装置１００は、可視光像、赤外線像、深さベース像、ライダー像、レーダ像、ソナー像、および／または他のタイプの像のいくつかの組み合せを収集する可能性がある。変形形態では、撮像システム１００は、環境内に分散されるとともにある範囲の別個の視点に位置する多数の画像捕捉装置１１０である。好適には、撮像システム１００は高密度撮像システムである。高密度撮像システムは好適には、画像捕捉装置により通常は観測される環境の関連部分の大部分により特徴付けられる。大部分は、一例では、関心表面積の９５％より大きいものとして特徴付けられ得る。高密度は追加的に、冗長カバレッジを有するものとして特徴付けられ得る。一例では、高密度撮像システムは１００平方フィートの関心表面積（例えば地上、製品保管面などの）毎の１台のカメラにより特徴付けられ得る。小さな食料雑貨店のような環境では、これは、２０００平方フィートの関心表面積のカバレッジのために分散された２０台のカメラであり得る。撮像装置１２０対環境空間比は任意の好適な比であり得る。別の変形形態では、撮像システム１００は単一画像捕捉装置だけを含み得る。
画像データは好適には映像であるが、代替的には一組の定期的静止画像であり得る。一実施形態では、撮像システム１００は既存監視システムまたはビデオシステムから画像データを収集し得る。画像捕捉装置１１０は固定位置に恒久的に位置し得る。代替的に、画像捕捉装置１１０または画像捕捉装置のサブセットは、より変化に富む遠近視界を取得するために施設全体にわたって移動、パン、ズーム、または運搬され得る。
本システムは、広範な様々な撮像システム１００セットアップを収容し得、安価な市販品画像捕捉装置１１０を使用する一方でロバストであり得る。画像捕捉装置１１０は画像捕捉構成で設定され得る。一実施形態では、撮像システム１００は様々な画像捕捉構成の一組の画像捕捉装置１１０を含み得る。様々な画像捕捉構成は、様々なシステムが視点を特定タイプのオブジェクト情報へ提供することに注力することを可能にするように機能する。例えば、一組の画像捕捉構成は、在庫保管捕捉構成、相互作用捕捉構成、オブジェクト識別捕捉構成、および／または移動可能捕捉構成を含み得る。様々な構成は、特定タイプの画像捕捉装置１１０および／またはあるタイプの画像捕捉装置の使用に関わり得る。
在庫保管捕捉構成はそれらの期待保管位置における在庫を視るように機能する。在庫保管捕捉構成は、図５に示すように在庫アイテムを保持する棚またはストレージソリューションへ向けられたカメラを含み得る。通常、在庫保管捕捉構成の画像捕捉装置からの画像データは、保管在庫へ向けられた視野の大部分を有することになる。在庫保管捕捉構成は、相互作用前、相互作用中、および相互作用後の棚上のオブジェクトへの変更を検知する際に使用され得る。多様な在庫保管捕捉構成が使用され得る。例えば、オーバーヘッド在庫保管捕捉構成は、対角線方向下方の棚へ向けられた画像捕捉装置を有し得る。別の例では、直接在庫保管捕捉構成は、製品保管エリアへほぼ向けられた（例えばアイル全体にわたって取り付けられた）画像捕捉装置であり得る。別の変形形態では、在庫保管捕捉構成は、画像捕捉装置が保管要素の内部視点を有するように配置された内部在庫保管捕捉構成を含み得る。例えば、画像捕捉装置は、棚の後ろから製品を視るために棚の内側に配置され得る。
相互作用捕捉構成は、オブジェクト間の相互作用を検知し特徴付けることにより機能し得る。特に、相互作用構成は、図６に示すように人オブジェクトと棚オブジェクト間の相互作用を検知し特徴付けるように構成され得る。相互作用構成は、人と棚間の相互作用の性質を検知し得る。基本実施形態では、相互作用捕捉構成は、棚上のオブジェクトと相互作用するために棚の前面など製品周囲の規定面へ人が押し入るかどうかを検知する。相互作用捕捉構成は、どのように人が在庫保管複合と相互作用するかを示すように棚の面とほぼ同一平面である方向に向けられるビデオカメラを含み得る。例えば、店内で、相互作用捕捉構成のカメラはアイルに向かって下方向に向けられ得る。それぞれがアイルのサブセクションとの相互作用事象を検知するようにされた一連の撮像装置が、アイルに向かって定期的に下方向に配置され得る。
オブジェクト識別捕捉構成は、オブジェクトを特定アイテムとして一意的に識別する際に使用され得る。このようなオブジェクト識別捕捉構成は様々なシナリオ用にカスタム化され得る。人集中型（person-focused）変形形態が、人ベースオブジェクトを検査するために使用され得る。店内で、人集中型捕捉構成は、図７に示すように買物客のショッピングカート内のアイテムを検知するように上方から下方へ向けられた画像捕捉装置を含み得る。別の変形形態では、人集中型構成は、頭の高さ（例えば３フィート超〜９フィート未満）に取り付けられ、人をその顔特徴に基づき識別する際に使用され得る。チェックアウト集中型（checkout-focused）変形形態はチェックアウトプロセス中にオブジェクトを識別するように機能し得る。チェックアウトプロセスは、買物客または従業員が製品を検査領域内に物理的に提示することなど、より鮮明なアイテムの提示を含み得る。例えば、ユーザがアイテムをコンベヤベルト上に置くことを要求され得る。チェックアウト変形形態は、オブジェクトを検知しチェックアウト相互作用に基づきＥＯＧを更新するための１つまたは複数の撮像装置を含み得る。別のタイプの構成は、撮像装置がデータを収集するために特定オブジェクトまたは位置をターゲットとし得るように高精細度カメラと作動マウントとを使用することに関わり得る。
可動捕捉構成が、画像データを動的位置および／または配向から提供するように使用され得る。可動捕捉構成は動的状況に適応するように使用され得る。例えば、図８に示すように、１つまたは複数の撮像システム１００が、ロボットまたは人へ取り付けられ得、撮像装置が環境中を移動されるにつれて画像データを収集し得る。可動構成は、より高い解像度視点を収集する際にまたはそうでなければ妨害された視点を収集する際に使用され得る。可動捕捉構成は追加的に、モデリング問題を解決する際に使用される画像データを収集する際に校正ツールとして使用され得る。
一般的使用では、ほとんどの捕捉構成は、混合使用されるものとし、説明された状況のうちの１つまたは複数に関する情報を供給するものとする。
画像捕捉装置１１０からの画像データは好適には、ＥＯＧシステム２００の処理部品へストリームされるまたはそうでなければ伝達される。
ＥＯＧシステム
ＥＯＧシステム２００はＥＯＧモデル表現を生成し、実行し、および／またはそうでなければ維持するように機能する。ＥＯＧシステム２００は好適には、モデルを保管しそれと相互作用する際にＥＯＧおよびデータシステムを維持する際に使用される運用プロセスの組み合せである。様々なデータデータベースおよびモデリング実施形態がＥＯＧシステム２００を実現する際に使用され得る。ＥＯＧシステム２００は好適には、ＥＯＧデータシステムを管理するためにＥＯＧ処理エンジン２１０を使用する。ＥＯＧは好適には、撮像システム１００および／または外部画像データソース（例えば既存監視システム）からデータを受信するための撮像システムインターフェースを有する。ＥＯＧシステム２００は追加的に、データサービスからデータを収集するまたはデータサービスを更新する際に使用され得る１つまたは複数の補足データインタフェースを含む可能性がある。例示的補足データ入力は、購入パターンデータ、顧客購入履歴、製品価格データ、在庫データ（例えば出荷オーダ、在庫マップ／プラノグラムなど）、購入トランザクションデータ、および／または他のデータ入力を含み得る。加えて、ＥＯＧシステム２００は、ＥＯＧと相互作用することを容易にする検査または照会インターフェースを含み得る。上記検査インターフェースは、チェックアウト処理システムまたは在庫管理システムなど他のシステムを組み込むために使用され得る。上記検査インターフェースは、ＥＯＧ内のオブジェクト状態に応じて働くことを可能にし得るＥＯＧの単純または複雑な照会または解析を行う際に使用され得る。
ＥＯＧシステム２００はコンピューティングシステム内で動作可能であることが好ましい。１つの変形形態では、コンピューティングシステムは、視覚システムへ接続されるコンピュータ上で走るアプリケーションなどの構内（on-premise）コンピューティングソリューションである。別の変形形態では、コンピューティングシステムは、処理の一部またはすべてが離れた位置で行われるリモートコンピューティングソリューションである。例えば、クラウドまたは分散コンピューティングシステムが使用され得る。または、構内システムは、視覚システムからメディアストリームを収集するなど計算作業の一部を行い得、残りの計算作業は離れた位置で行われる。より好適には、ＥＯＧシステム２００は撮像システム１００の画像捕捉装置１１０と一体化される。ここでは、ＥＯＧを維持するプロセスは、撮像装置全体にわたって分散され、データ通信および／または保管期限またはチャレンジを軽減するように機能し得る。
ＥＯＧ処理エンジン２１０は、インバウンド／アウトバウンド製品発注、項目別ＰＯＳチェックアウト報告、手動在庫入力、および／または他のオブジェクト入力などの他のデータ入力だけでなくコンピュータビジョンシステムからの入力も利用する。環境の運営面に関係し得る補足データ入力が、分類を変更する際に、ＥＯＧにおけるモデリングの際に、および／またはＥＯＧを検査または解釈する際に使用され得る。
様々な入力が、ＥＯＧ処理エンジン２１０により処理され、情報を保管する際にまたはＥＯＧデータシステム内に保管されたＥＯＧ表現を更新する際に使用される。ＥＯＧシステム２００は、複合オブジェクトを階層順に特徴付け得る。オブジェクトは親と子の関係を有し得る。オブジェクトの親は通常、前者を含むオブジェクトである。オブジェクトの子は前者が含むオブジェクトである。例えば、林檎を含む箱は、親オブジェクトとして箱そして子オブジェクトとして林檎を有することになる。ＥＯＧは追加的に、オブジェクト関係に関連付けられた履歴データを表し得る。例えば、複数の買物客がそれぞれ箱からアイテムを取り去り得る。買物客により保有されたアイテムはその時点で知られていないかもしれない。１人の買物客による林檎のその後の識別は、林檎が含まれた箱の表現を更新するために使用され得、これは次に、他の買物客により保有された林檎と同じ箱からのこれらのアイテムの理解を更新するために使用され得る。この例では、オブジェクト関係を介した情報の伝播は同様に、箱が由来する枠箱の表現およびＥＯＧシステム２００内の他の様相を更新するために使用され得る。
ＥＯＧを維持するプロセスでは、ＥＯＧシステム２００は、環境内のアイテムの状態（例えば在庫）についての結論を引き出すために多様な手法を使用し得る。一実施形態では、ＥＯＧシステム２００は、静的プロセス、相互作用プロセス、および／または連想型伝播プロセスなどのプロセスを介し情報更新を引き出し得る。
ＥＯＧ処理エンジン２１０は好適には、所与インスタンスからのデータが当該インスタンスにおけるオブジェクトのＥＯＧの表現を更新するために部分的に使用される静的プロセスを実施する。静的プロセスは、オブジェクトセグメントテ−ション、分類、オブジェクト追跡、および／または画像データの他のアルゴリズム駆動型結論に関係し得る。静的プロセスは、データ入力のリアルタイムコンピュータビジョン解析であり得、これはＥＯＧの履歴ベースオブジェクト関連性を必ずしも考慮すること無く入手可能情報を利用する。静的プロセスは好適には、コンピュータビジョンシステムまたは撮像システムからの現画像データを使用する。静的プロセスの１つの変形形態では、コンピュータビジョンおよび他の手法が、オブジェクトを識別する際に使用され得る。オブジェクトの分類は、ＳＫＵオブジェクト識別、一意的買物客識別、一般的オブジェクト分類、または未確認オブジェクト分類を含み得る。
分類は、画像特徴抽出および分類、統計的機械学習、ニューラルネットワーク、発見的プロセス、および他の好適な手法の使用をてこ入れし得る。１つの変形形態では、視覚的ワードプロセス、一群の特徴分類プロセス、およびバグオブワード（bag-of-words）分類プロセスのようなプロセスを使用し得る画像特徴抽出および分類が、画像データ内に存在する複数のオブジェクトを分類する際に使用され得る。これらおよび他の分類技術は、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）、speeded up robust features（ＳＵＲＦ）、様々な特徴抽出技術カスケード分類子（feature extraction techniques cascade classifier）、Naive-Bayes、サポートベクターマシン、および／または他の好適な技術の使用を含み得る。別の変形形態では、Fast regional−ＣＮＮ（ｒ−ＣＮＮ）、Faster Ｒ−ＣＮＮ、Mask Ｒ−ＣＮＮ、および／または他のニューラルネットワーク変形形態および実施形態などのニューラルネットワークまたはＣＮＮがコンピュータビジョン駆動型オブジェクト分類プロセスとして実行され得る。
オブジェクトの追跡は同様に、生画像データに作用するプロセスであり得る。オブジェクト追跡は、オプティカルフロー、アルゴリズムターゲットロックおよびターゲット再取得（algorithmic target locking and target re-acquisition）、データ駆動型推論、発見的プロセス、および／または他の好適なオブジェクト追跡手法などの様々な技術を使用し得る。本明細書において論述されるように、ＥＯＧは追加的に、オブジェクトの分類および追跡を補完または容易にするために使用され得る。
静的プロセスは追加的に、文脈情報を収集または生成する際に使用され得る。オブジェクト分類に関係する文脈情報が、当該オブジェクトの表現を構築する際に使用され得る。文脈情報は、画像を捕捉したオブジェクトまたは撮像装置の位置、時刻、シードされたまたは既存在庫情報または規則、および／または他のタイプの文脈情報を含み得る。例えば、期待出荷納期の時刻前後に食料雑貨店の倉庫保管部内で検知された林檎枠箱として識別された箱は最初に、中程度に高い尤度で大箱の林檎（例えば４０個の林檎）を含むと想定され、そのように表され得る。
ＥＯＧ処理エンジン２１０は追加的に、オブジェクト相互作用に基づき環境内のアイテムの状態に関する結論を引き出すように機能する相互作用プロセスを含み得る。相互作用プロセスは、オブジェクト間のある領域内のオブジェクトの近接性、接触、および／または変化に一般的に関連付けられる２つ以上のオブジェクトを含み得る。例えば、２つのオブジェクトの表現は、オブジェクト同士が接触するまたは特定近傍内に移動されると更新され得る。図９に示すように、店内の買物客の経路は、店内の特定オブジェクトへの近接性に基づき買物客オブジェクトのＥＯＧを変更し得る。相互作用プロセスは多種多様のオブジェクト変換を含み得る。オブジェクト変換は通常、第１の組のオブジェクトの第２の組のオブジェクトへの移行を示す。相互作用プロセスは追加的に、一方または両方のオブジェクトの分類、識別、または確率的表現の変化を含み得る。図１０に示すように、相互作用事象に関係する基本オブジェクト変換の例は、オブジェクトの内容を露出すること、別のオブジェクトによりオブジェクトを隠蔽すること、オブジェクトを２つ以上のオブジェクトに分割すること、一組のオブジェクトをマージすること、オブジェクトの出現、およびオブジェクトの消失を含み得る。
ＥＯＧ処理エンジン２１０は追加的に、環境内のアイテムの状態に関する結論を観測の履歴全体に渡る観測に基づき引き出すように機能する連想型伝播プロセスを有し得る。上記伝播プロセスは通常、ＥＯＧを更新する際に相互作用または静的プロセスより長い時間にわたって収集された入力に依存する。伝播プロセスでは、ＥＯＧの一部に対する更新は、時間または空間における１つまたは複数の他のインスタンスにおいてＥＯＧの第２の部分を更新するために、歴史的オブジェクト関連性および関係を介し伝播し得る。伝播プロセスは好適には、静的プロセスおよび相互作用プロセスと組み合わせて使用される。
伝播プロセスの一般的例として、箱は当初、低確率でリンゴ箱として（誤って）特徴付けられ、したがって林檎を含むものと想定される。第１の買物客がアイテムを取り去るのが見られるが、当該アイテムは明確には特定されないので、第１の買物客は、林檎を取り去り、それをショッピングカートへ追加したものとして最初に更新される（誤って）。第２の買物客が同じ箱からあるオブジェクトを取り去るのがその後見られるが、当該オブジェクトははるかに高い確率でグレープフルーツとして分類される。ＥＯＧ内の箱はグレープフルーツを含む可能性がより高いとして更新され得る。加えて、ＥＯＧ内の第１の買物客はまた、ＥＯＧシステム２００の伝播プロセスを通じて、グレープフルーツを保有するとして更新され（例えば「含む」としてモデル化され）得る。初期静的プロセスにおいて誤りが犯され得るが、これらの誤りは好適には、後で補正され得るので、本システムにより十分に耐えられる。このようにして、ＥＯＧ全体の表された質は時間の経過とともにより正確となるように能動的に進化し得る。初めに正しく行う機会よりも、誤りを訂正するより多くの機会があるので、ＥＯＧシステム２００全体は非常に高い確実性で機能する。
本システムは追加的に、オブジェクト所有情報を提供するように機能する基準オブジェクトデータベースを含み得る。オブジェクト所有情報は、いくつかの変形形態では、ＥＯＧシステム２００を介しオブジェクトをモデリングする際に使用され得る。オブジェクト所有情報は代替的にまたは追加的に、いくつかのアプリケーションでは、モデル化されたオブジェクトを適用する際に使用され得る。
基準オブジェクトデータベースは好適には、少なくとも１つの在庫基準データベースを含む。在庫データベースは好適には、製品またはＳＫＵ情報、およびアイテム物理的特性などの特性、価格などのアイテム事業資産、購買人気、関連アイテム、および／または他の情報を含む。製品の一組のイメージトレーニングサンプルが追加的に、基準オブジェクトデータベースの一部であり得る。
基準オブジェクトデータベースは追加的に、人間特性に関係する情報を保管およびモデル化するように機能する人間基準データベースを含み得る。これは、バイオ識別モデルへの参照を含み得る。人間基準データベースは追加的に、個人的ショッピングパターン、欲しい物リスト、支払い情報、口座設定、および／または任意の好適な情報を含み得る。個人的ショッピングパターンは過去の購入の履歴を含み得る。個人的ショッピングパターンはまた、アレルギー、栄養制約またはゴールなどの個人的情報、およびまたはＥＯＧシステムに通知し得る他の個人的情報を含み得る。
他のオブジェクト基準データベース部品が他の情報へのアクセスを可能にし得る。例えば、環境オブジェクトデータベースは、棚、ビン、カート、バスケット、冷凍庫、フォークリフト、および／または環境内の他の一般的観測可能オブジェクトなどの他の存在するオブジェクトに関係する情報を保管し得る。
システムインテグレーション選択肢
本システムは好適には、ＥＯＧに部分的に基づき動作する１つまたは複数の追加システムと組み合わせて使用される。追加システムは好適には、ＥＯＧを介しオブジェクト状態を検査し、次に、当該オブジェクト状態に基づきいくつかの行為をトリガするように機能する。これらの行為は、環境を監視する際に、本システムの状態を変更する際に、および／またはある外部行為を行うために使用され得る。潜在的補足システム部品は、仮想カート管理システム３１０、チェックアウト処理システム３２０、在庫管理システム３３０、校正ツール３４０、通知システム３５０、メタメディア保管システム３６０、手動タスク管理システム３７０、管理システム３８０、および／または他の一体化システム部品を含み得る。
仮想カート管理システム
いくつかの変形形態では、本システムは、最終的トランザクションに関与し得る収集されたアイテムのコマースモデルを管理することを容易にするように機能する仮想カート管理システム３１０を含み得る。仮想カート管理システムは好適には、「仮想カート」またはチェックアウトリストへ割り当てられ得るＳＫＵオブジェクトの項目別リストを判断する際にＥＯＧモデルに作用する。仮想カートは、トランザクション（例えば購入トランザクション、レンタルトランザクション、使用トランザクションなど）のために選択された一組のアイテムを指す。ここで、アイテムの選択は、人間の買物客、カート、バスケット、バッグ、箱、および／またはより一般的にはチェックアウト領域内の一群のオブジェクトのうちの１つまたは複数であり得る分類された買物客オブジェクトに関連付けられるものと解釈される。例えば、仮想カートは、買物客により保有されるオブジェクトで構成され得るが、代替的に、カート、バスケット、および／または任意の好適なエンティティまたはエンティティの組み合せに含まれるアイテムである可能性がある。仮想カートは好適には、買物客オブジェクトにより「保有される」または「含まれる」としてモデル化されたオブジェクトを検知することによりＥＯＧシステム２００から部分的に生成される。仮想カート管理システム３１０は複数の仮想カートを同時に管理し得る。
仮想カート管理システム３１０は、当該オブジェクト状態情報のＥＯＧを検査し、ＥＯＧモデルからのオブジェクトを予測ＳＫＵオブジェクトのリストへ変換するカート解決プロセスを含む。例えば、仮想カート管理システム３１０は、買物客が店のチェックアウト領域内にいるときに、買物客により所有されるおよび／またはカート内に含まれる一組の予測オブジェクトを識別し、次に、一組の予測オブジェクトをチェックアウトリストに変換する構成を含み得る。この変換は、オブジェクトモデリング（例えば分類）の信頼性と、製品を含むまたは含まない運営費（例えば顧客満足度への影響、潜在的売り上げを失う財務コストなど）とを考慮し得る。加えて、補足データ入力は、ＣＶ駆動型モデルから運営コストを反映するチェックアウトリストへ変換する際に使用され得る。発見的方法、深層学習、および／または他の技術が変換プロセス中に適用され得る。一例では、ＳＫＵオブジェクトは分類信頼水準に基づきチェックアウトリストへ追加され、信頼水準閾値は、ＳＫＵオブジェクト価格、人気、および／または他の運用データ入力に基づき変えられ得る。いくつかのケースでは、上記解決プロセスは、当該オブジェクトのＥＯＧモデリングの信頼性が特定条件を満足しない場合に顧客に過課金するのを回避するためにまたは顧客に製品の課金をしないようにバイアスされ得る。これは、コンピュータ検知プロセスの上に業務運営目的をレイヤ化するように機能し得る。
ＥＯＧの複合オブジェクトモデリング様相は、１つの領域内の観測が、隠蔽オブジェクトを第２の領域内に存在するものとしてモデル化することに帰着し得るように使用され得る。上に論述されそして本明細書においてさらに説明されるように、ＥＯＧは、特定位置におけるオブジェクトの存在を維持する際に当該オブジェクトの直接観測に依存しない。このようにして、チェックアウト領域内で視界から隠蔽されたショッピングカート全体内のすべてのアイテムは、チェックアウトプロセス中に仮想カートに関連付けられ得る。
チェックアウト処理システム
いくつかの変形形態では、本システムは追加的に、チェックアウト処理システムとＥＯＧシステム２００の動作とを一体化するように機能するチェックアウト処理システム３２０を含み得る。チェックアウト処理システム３２０は、仮想カート管理システム３１０と組み合わせてまたはそれとは独立に使用され得る。チェックアウト処理システム３２０は、チェックアウトプロセスを容易にする販売時点情報管理（ＰＯＳ）キオスクのような物理的システムであり得る。チェックアウト処理システム３２０は、チェックアウト処理システムからデータ（例えばバーコードリーダデータ、トランザクションデータなど）に直接または間接的にアクセスするために、および／またはＰＯＳ装置にチェックアウトリストまたは製品予測データ入力を予め投入することなどによるチェックアウト処理システムの状態を更新することによりアクセスするために、システム内で使用されるインテグレーションシステムであり得る。代替的に、チェックアウト処理システム３２０は、支払い入力、ユーザインターフェース部品（例えばスクリーン、入力装置など）および／または他の基本部品を含むチェックアウト処理システム３２０であり得る。１つの変形形態では、チェックアウト処理システム３２０は、ＰＯＳ捕捉構成である画像捕捉装置１１０を含み得る。ＰＯＳ捕捉構成は、コンベヤベルト、バーコード走査領域、アイテムスケール、および／または物理的チェックアウト処理システムの任意の好適な領域などチェックアウト処理システム３２０のアイテム走査領域へ向けられたカメラであり得る。別の変形形態では、チェックアウト処理システム３２０は、スマートフォン、タブレット、ウェアラブルコンピュータまたは任意の好適なコンピューティング装置などのコンピューティング装置上で動作可能なアプリケーションであり得る。チェックアウト処理システム３２０のアプリケーション変形形態は、コンピューティング装置と一体化されたカメラを含み得、支払いカードリーダまたは他の好適な支払い入力装置などの支払い入力装置を含み得る。別の変形形態では、顧客向きアプリケーションは、チェックアウトプロセスを完了する際に顧客により精査され任意選択的に確認され得るチェックアウトリストを伝達し得る。
チェックアウト処理システム３２０は好適には、ＥＯＧシステム２００のトレーニング部品および／またはＥＯＧシステム２００の制御出力として使用され得る。
トレーニング動作モードでは、チェックアウト処理システム３２０は好適には、製品画像の追加のトレーニングデータを提供するように機能する。例えば、ＰＯＳ捕捉構成の画像捕捉装置１１０は製品画像を収集し得、一方、バーコードスキャナおよび／または他のＰＯＳ入力は製品識別情報を収集するために使用される。トレーニングデータのコーパスが、正常な製品チェックアウト処理を介し収集および維持され得る。チェックアウト処理システム３２０のトレーニング動作モードは、製品の一組のラベル付き画像データを生成することにより一意的組の製品を新しい店に搭載する際に使用され得る。同様に、新製品、または包装の変更は、チェックアウト処理システム３２０のトレーニング動作モードのおかげで自動的に登録され得る。
追加的にまたはその代わりに、トレーニング動作モードは、ＥＯＧシステム２００および仮想カート管理システム３１０の能動的使用と組み合わせて使用され得る。モデル化された仮想カートが、買物客オブジェクトのために生成され得る。次に、当該買物客オブジェクトが伝統的チェックアウトプロセスを使用すれば、伝統的チェックアウトプロセスの結果は仮想カートと比較され得る。この相違は、システムを更新およびトレーニングする際に使用され得る。加えてまたはその代わりに、伝統的チェックアウトプロセス中に確認された更新通知が、モデリングを強化するようにＥＯＧモデルを介し伝播され得る。
チェックアウト処理システム３２０の入力動作モードは好適には、ＥＯＧシステム２００がチェックアウト処理システム３２０を制御および／または強化することを可能にするように機能する。１つの変形形態では、支払うために従業員または顧客により使用されるチェックアウト処理システム３２０は、チェックアウトプロセスを早めるためにアイテムを自動的に追加させる可能性がある。例えば、顧客がチェックアウト処理システム３２０に近づけば、アイテムを能動的に走査すること無く、チェックアウト処理システム３２０は、買物客がチェックアウト処理システム３２０の近傍において仮想カート管理システム３１０により示されるように製品を仮想カート内に含めることを検知されると、更新される。チェックアウトのために自動的に装填されたアイテムはアイテムの全リストまたは部分的リストであり得る。例えば、閾値を越える予測信頼水準を有する製品は自動的に追加され得、閾値未満の予測信頼水準を有する製品は確認を必要とし得るおよび／または手動入力に依存し得る。別の変形形態では、入力動作モードは、あるアイテムの入力が促進され得るようにチェックアウト処理システム３２０をバイアスし得る。例えば、ＥＯＧは、一定量の多様な林檎が買物客により恐らく選択されるということを検知することができるかもしれない；すなわち、チェックアウトキオスク上のディスプレイは、従業員または顧客が製品を選択する選択肢のメニューをナビゲートする代わりに当該製品を迅速に選択し得るように、トップレベルメニュー上に林檎選択肢を表示する可能性がある。
在庫管理システム
いくつかの変形形態では、本システムは在庫状態を検査および観測するためのＥＯＧインターフェースとして機能する在庫管理システム３３０を含み得る。在庫管理システム３３０は好適には、在庫情報へアクセスするためのユーザアクセス可能ユーザインターフェースを含む。在庫管理システムは、在庫合計、在庫発注情報、在庫位置、在庫保管期間、在庫買物客相互作用、および／または任意の好適な情報に関係する報告を作製するための構成を含み得る。在庫管理システム３３０は追加的に、在庫発注を少なくとも部分的に自動化するために使用され得るように在庫発注システムを含み得る。
在庫管理システム３３０は追加的に、ＥＯＧモデルを更新する際にユーザ入力を適用するために使用され得る在庫状態情報を強化するためのインターフェースを含み得る。例えば、ＥＯＧモデルは、枠箱が受け取られたということと、枠箱が、一定信頼水準を有する一定数のアイテムを含むと予測されるということとを検知し得る。管理者は、枠箱の中身を確認する、含まれたアイテムの識別子を変更する、含まれたアイテムの計数を変更する、または何らかの調整を行う可能性がある。
校正ツール
校正ツール３４０は、オブジェクトモデリングの校正を可能にするおよび／またはモデル課題を解決するように機能する。校正ツール３４０は好適には、環境内のオブジェクトに関する更新された校正データ入力を提供するためにＥＯＧシステム２００と通信する。校正ツール３４０は好適には、ＳＫＵオブジェクト識別において、オブジェクトの計数において、オブジェクトの欠落の確認において、および／またはそうでなければＥＯＧモードの状態を高信頼入力により更新する際に、使用される入力を提供する。校正ツール３４０は好適には、システムの従業員または管理者により使用されるモバイル装置である。典型的利用では、従業員は環境内の様々な場所に行き入力を収集し得る。代替的に、校正ツールは、通常の使用を通じて消費者向けアプリケーションが、ＥＯＧシステム２００を校正する際に使用され得るようにバックグラウンドサービスとして同アプリケーションに組み込まれる可能性がある。
１つの変形形態では、入力の収集は、低信頼性モデリングを有する領域が解決され得るように指示され得る。例えば、買物客がアイテムをあちこち動かすことによりＥＯＧ内の低信頼性モデリングを生ずれば、従業員は、当該領域内のアイテムの識別子および数を判断するために当該領域において校正ツール３４０を使用するように通知および指示され得る。これにより、当該領域を高信頼モデリングへ戻し得る。モデル伝播と組み合わせて、１つの領域内のモデリングの変化は、別の領域内のオブジェクトのオブジェクト状態を変更するために更新を伝播することに帰し得る。校正ツールは追加的に、買物客により所有されるオブジェクトがより信頼性高くモデル化されるように校正ツール３４０からの更新通知がＥＯＧシステムにより伝播された場合に、買物客のモデル化を間接的に増強する際に使用され得る。
モバイル構成として働く画像捕捉装置は校正ツール３４０内に含まれ得る。代替的に、バーコードスキャナ、ＲＦＩＤタグリーダ、または任意の好適な製品識別入力装置が使用され得る。代替的に、ユーザインターフェース入力は、従業員が情報を手動で入力することを可能にし得る。
校正ツール３４０は、スマートフォン、タブレット、またはウェアラブルコンピューティング装置などのコンピューティング装置上で動作可能なアプリケーションであり得る。校正ツール３４０は代替的にカスタム装置である可能性がある。例えば、校正ツール３４０は、バーコードスキャナおよび任意選択的に集積化画像捕捉装置１１０も含むディスプレイとユーザ入力とを有するコンピューティング装置であり得る。カスタム校正ツール３４０は、ネットワークを介しまたは本システムの通信チャネルと直接通信することによりＥＯＧシステム２００と通信する可能性がある。
校正ツール３４０は追加的に、環境内の位置が確認され得るように測位要素を含み得る。測位要素は、撮像システム１００により収集された画像データを介した環境位置の検知を容易にし得る。例えば、視覚的ビーコンまたはマーカが校正ツール３４０により表示される可能性がある。ＲＦビーコン三角測量技術または他の測位システムなどの代替測位技術が使用され得る。
通知システム
通知システムは警告およびフィードバックの生成を可能にするように機能する。通知システム３５０は、様々な通信チャネル上の通知の送信のために構成されたインターフェースを含み得る。これは従業員へ警告を発する際に使用され得る。例えば、従業員は、従業員がある課題を解決するために校正ツール３４０を使用し得るように校正要求について通知され得る。別の例では、従業員は、低信頼性モデリング状態に関連する顧客を支援するために通知され得る。この低信頼性モデリング状態は、正常顧客行動の結果である可能性があるが、システムを混乱させることを目的としたユーザ行動を介したものである可能性もある。通知システム３５０は追加的に、様々な他のシステムおよびサービスがＥＯＧ内の様々な条件に応じて更新または組み込まれ得るようにプログラマティックインターフェースを含む可能性がある。
本システムは追加的に、特定条件のＥＯＧモデルを検査する規則エンジンであって様々な行為または事象をトリガする際に当該データを使用する規則エンジンを含む可能性がある。これらの行為は内部行為であり得るが、また外部システムとの行為である可能性がある。例えば、通知システム３５０のプログラマティックインターフェースは、外部サービスにおけるある行為をトリガする際に、または更新されたデータを外部サービスへ伝達する際に使用される可能性がある。
メタメディア保管システム
メタメディア保管システム３６０は、環境のメディアデータとメタデータ観測結果とを混合する動的フォーマットでメディアを保管するように機能する。メタメディア保管システム３６０は好適には、環境オブジェクトグラフと連携して動的メディアコンテンツ表現を保管するように構成される。捕捉されたメディアをメディアのオリジナルまたは圧縮バージョンで保管する伝統的監視システムとは対照的に、本システムおよび方法は、瞬間ごとに記録されたメディアファイルを維持することへの依存性を軽減するためにＥＯＧモデリングを使用し得る。好適には、メディアは、低信頼性でモデル化されたオブジェクトの画像観測のために保管される。加えて、メディア品質は追加的に、動的に調整され得る。例えば、極低い信頼性観測は高品質メディア保管を生じ得、中レベル信頼性観測は中品質メディア保管を生じ得、ＥＯＧモデリングの高信頼性はメタデータだけの保管を生じ得る。メディア品質に加えて、メディア表現は、低信頼性モデリングの目視観測に関係するメディアだけが保管され得るサブ領域の画像データへ動的に分離される可能性がある。
メタデータ保管システム３６０は追加的に、メタメディアデータを目視観測の表現へ合成するように構成されるメタメディアプレイヤシステムを含む可能性がある。メタデータモデリングは、手続きに従ってシミュレーションする、メディアを生成する、または既存メディアデータを強化するために使用され得る。
手動タスク管理システム
手動タスク管理システム３７０は、画像処理または解析を容易にする際に使用される手動オペレータによるシステムの動作を強化するように機能する。手動タスク管理システム３７０は好適には、従業員タスクを選択し、従業員タスクを従業員へ委任し、次に、適切な措置を取る際にＥＯＧシステム２００および／または通知システム３５０とインターフェースする。手動タスク管理システム３７０は好適には、オブジェクト分類および／またはＥＯＧモデリングが低信頼性を有するシナリオにおいて使用される。従業員は、画像データを検査しいくつかの解析結果を提供することによりプロセスを補足するために使用され得る。１つの変形形態では、手動タスク要求は、オブジェクトが確信を持って分類されることができないとトリガされ得る。手動タスク要求では、従業員は可能なオブジェクト選択肢から選択するように要求され得る。別の変形形態では、従業員はオブジェクトの分類（例えばＳＫＵの識別子、オブジェクトの記述など）を直接入力し得る。別の変形形態では、手動タスク要求は、オブジェクトに関わる事象に関連付けられた画像データの複数のインスタンスを収集し、一連の観測結果の解析を要求し得る。これは、精確なモデリングを妨げようとする人を検知する際に使用され得る。
手動タスク管理システムは、条件を満足するモデリング条件が、人に解析および入力を提供させる手動タスク要求をトリガし得るように、通知システムおよび規則エンジンと接続して働き得る。
手動タスク管理システム３７０は、従業員タスクを冗長的に委任し得るおよび／または従業員タスクを適切な従業員へ委任し得る。例えば、製品識別は若手の従業員へ委任され得、疑わしい買物客振る舞いを検証する従業員タスクは管理者へ委任され得る。
管理システム
本システムは追加的に、システム内の操作選択肢を検査および／または修正するためのインターフェースを管理者に提供するように機能する管理システム３８０を含み得る。管理システム３８０は、運用選択肢を設定してシステムを構成する際に使用され得る。
本システムは追加的にまたは代替的に、在庫管理、商行為、従業員管理、消費者向けサービスなどに関係する様々な他の部品を含む可能性があるまたはこれらと一体化される可能性がある。
３．方法
図１１に示すように、好適な実施形態の環境オブジェクトモデリング方法は、環境全体にわたって画像データを収集することＳ１００と、画像データからＥＯＧを維持することＳ２００と、環境オブジェクトグラフを検査し、関連付けられた行為を実行することＳ３００とを含み得る。ＥＯＧは好適には、環境全体にわたる時間および空間における分類されたオブジェクトのデータ表現であり、ＥＯＧは好適には、確率的オブジェクト関連性を有するオブジェクトインスタンスの少なくとも１つのサブセットを含む。ＥＯＧを維持することＳ２００は好適には、画像データからオブジェクトを分類することＳ２１０、環境内のオブジェクト位置を追跡することＳ２２０、相互作用事象を検知することＳ２３０、および／またはＥＯＧを更新することＳ２４０を含む複数のプロセスインスタンスからなる反復プロセスである。本方法は好適には、環境内の複数のオブジェクト全体にわたって適用され、本方法は好適には、環境内のオブジェクトの統計的に精確な表現を維持するために繰り返し行われる。本方法は上記システムまたは任意の好適な代替システムと組み合わせて実施され得る。
本方法は追加手法を様々なやり方で適用し得る。ＥＯＧを維持する実施形態は、複合オブジェクトモデリング、複数のオブジェクト状態の確率的モデリング、および縦方向オブジェクト追跡などのＥＯＧ関連プロセスを含み得る。本方法の追加プロセスは、範囲制限（scoped）オブジェクト分類と、運用バイアス（operational biasing）を適用することとを含み得る。
ＥＯＧを維持する際の複合オブジェクトモデリングは、分類と他のオブジェクトを含む確率とを有するものとしてオブジェクトを検知することを可能にし得る。複数のオブジェクト状態の確率的モデリングは、本方法が様々なオブジェクト状態を維持することを可能にし得る。縦方向オブジェクト追跡は、ＥＯＧ内のオブジェクト関連性全体にわりオブジェクト状態を伝播することにより容易にされ得、様々な時刻および場所における観測データはさらに、ＥＯＧ内のオブジェクトモデリングを精緻化し得る。範囲制限オブジェクト分類は、ＣＶベースオブジェクト検知に使用される一組の候補オブジェクトを文脈的に設定および調整することによりオブジェクト分類を強化し得る。運用バイアスは、他の感知された入力またはデータソースなどの他のデータ入力がＥＯＧの実行を変更することを可能にし得る。
本方法は、より多くの情報が取集されるにつれ、ＥＯＧを介し確実度を（例えば、時間的に後方へおよび時間的に前方へ）伝播し得る。ＥＯＧモデリング手法の使用は、入力の限定された、断続的、一時的に不明瞭な流れに応じ本方法をロバストにするように機能する。本方法は、その後の観測を介しその知識を改善しようとする一方で不完全な情報に作用し得る。精度の負担は、いくつかの領域では低減され得、他の多くの領域では遅延され得る。例えば、本方法は、買物客が店内を移動するにつれて買物客により選択され、次に買物客により保持され、バッグまたはカートへ追加された製品の運用的に信頼できる予測を維持し得る。次に、これは、チェックアウトプロセスを自動的に完了する際に使用され得る。チェックアウトプロセスでは、予測された製品は、買物客口座へ課金される、および／または予測された製品をチェックアウト処理システムに自動的に投入することにより課金される。別の例として、在庫追跡は、オブジェクトが棚上でまたは保管コンテナ内で隠蔽された場合ですら、使用可能精度で維持され得る。本方法は好適には、上述のシステムなどのシステムを介し実施されるが、任意の好適なタイプのシステムが代替的に使用され得る。
一実施形態では、本方法はショッピングチェックアウトプロセスを容易にするように機能し得る。１つの変形形態では、ショッピングチェックアウトプロセスを容易にすることは既存チェックアウトプロセスを支援することを含み得る。例えば、セルフチェックアウトキオスクは、アイテムの走査をさらに速くするために買物客保有アイテムの確率的理解を利用することにより、より効率的にされる可能性がある。別の変形形態では、本方法は買物客を自動的にチェックアウトさせるために使用され得る。例えば、本方法は、買物客により選択されたオブジェクトを検知し、買物客のショッピング口座を識別し、店を離れると、選択されたアイテムに対し買物口座に課金するために使用され得る。
本方法は追加的に、チェックアウト時の未知オブジェクトの識別を容易にするように機能し得る。今まで未知のオブジェクトがそのバーコードが走査されたということを観測されると、その結果のＳＫＵは、当該オブジェクトに断定的に関連付けられ得、同様な外観および／または特性を有する将来オブジェクトが、当該の同じバーコードおよびＳＫＵを担持するというより高い尤度を割り当てられ得る。多くのこのような走査事象後、はるかに高い尤度が、同じＳＫＵ番号を有する同様な外観を有するその後のオブジェクトへ割り当てられ得る。このようにして、機械深層学習、統計的モデリング、および／または他の人工知能戦略が、弱い領域を連続的に改善するために採用され得る。いくつかのケースでは、在庫アイテムは、新製品の手動登載が回避され得るように、このようなプロセスを通してシステム内へ自動的に登録される可能性がある。
本方法は、環境およびその内容の論理表現を構築し進化させることにより環境内の在庫を追跡し得る。一般的に、在庫の追跡は在庫アイテムを計数または推定することを含み得る。在庫の追跡は追加的に、在庫アイテムの位置を追跡することを含み得る。追跡は追加的に、オブジェクトグルーピングまたはオブジェクトツーオブジェクト関連性を監視することを含み得る。例えば、本システムは、１つのオブジェクトが棚上に置かれる前に買物客により持ち運ばれたということを追跡することができるかもしれない。オブジェクト関係追跡は、どのように保管または管理されるかに関する制約を有するオブジェクトのための特定アプリケーションを有し得る。例えば、特定期間中に冷凍庫から取り出されたアイスクリームが検知され得、従業員は、同アイテムを冷凍庫内に入れ戻すように通知され得る。
本方法は追加的に、セキュリティ監視または他の視覚的監視アプリケーションを補完するように機能し得る。１つの変形形態では、本方法は、人が未払いアイテムと共に店を離れようとすると警告をトリガし得る。別の変形形態では、本方法は、監視データを、長期的データ保管のためにより効率的であろうデータ表現へ変換する際に使用され得る。本方法は追加的に、メディア記録から恩恵を受け得る相互作用に関連付けられた監視メディアの長期的アーカイビングをトリガするためにトリアージ方式で使用され得る。
本方法は追加的にまたは代替的に、他のアプリケーションにおいて使用される。１つの変形形態では、本方法は在庫定位において使用され得る。従業員または買物客がアイテムの位置を探索することができるかもしれない。別の変形形態では、本方法は在庫ストック自動化において使用され得る。本方法は、製品を再発注する際にまたは傷みやすいアイテムの保管期間を監視する際に使用され得る。本方法は代替的に、カスタムアプリケーションおよびシステム／サービスインテグレーションが本方法と連携して動作し得るようにプログラマティックインターフェースを有する汎用型プラットフォームであり得る。
画像データの収集
環境全体にわたって画像データを収集することを含むブロックＳ１００は、関心のあるオブジェクト（例えば在庫アイテム）を含む領域の映像、画像または他の像を収集するように機能する。好適には、画像データを収集することは、多様な捕捉点から発生する。画像データを収集することは、環境内の別個の点に分散された複数画像捕捉装置（例えばカメラ）から画像データを収集することを含む。一組の捕捉点は、環境内の監視領域の重畳および／または非重畳視点を含み得る。一組の捕捉点は追加的に、環境内の高密度撮像システムを確立し得る。代替的に、本方法は単一撮像装置を利用し得る。画像データは好適には、連続的領域をほぼカバーする。しかし、本方法は、穴、隙間、未検査領域、および／または非接触領域に対処し得る。特に、本方法は、浴室および更衣室など画像ベース監視に不適切な領域を取り扱うことに対しロバストであり得る。これらのケースでは、ＥＯＧ実行中の統計的予測は観測不能事象を考慮し得る。
上述のように、本方法は精密で正確な情報に依存しなくてもよく、したがって、画像データの収集は既存映像監視システムからのものであり得る。画像データは、直接収集され得、適正処理システムへ伝達され得る。画像データは単一フォーマットのものであり得るが、画像データは代替的に一組の異なる画像データフォーマットを含み得る。画像データは、高解像度ビデオ、低解像度ビデオ、別個の時点からの写真、固定視点からの画像データ、作動型カメラからの画像データ、視覚的スペクトル画像データ、赤外線画像データ、３Ｄ深さ感知画像データ、視差、ライダー、レーダ、ソナー、受動的照明、能動的照明、および／または任意の好適なタイプの画像データを含み得る。
本方法は多様な撮像システムと共に使用され得、画像データを収集することは追加的に、一組の撮像装置から画像データを収集することを含み得る。各サブセットは、一組の構成のうちの少なくとも１つの構成の撮像装置により収集される。撮像装置構成は、在庫保管捕捉構成、相互作用捕捉構成、オブジェクト識別捕捉構成、可動構成、混合構成、および／または任意の好適な他のタイプの構成を含み得る。撮像装置は１つまたは複数の構成用に主として設定され得るが、撮像装置は任意の好適な目的のために使用され得る。
在庫保管捕捉構成の撮像装置からデータを収集することは、名目上の在庫保管位置へ向けられた画像データを収集するように機能する。例えば、在庫保管構成の専用カメラが保管棚に向けられ得る。在庫保管構成は特に、保管されたオブジェクトの変化を監視するのに適し得る。
相互作用捕捉構成の撮像装置からデータを収集することは、買物客と棚またはコンテナ間の相互作用などオブジェクト間の相互作用の性質を検知するように機能する。１つの変形形態では、撮像装置は相互作用の面に沿って向けられ得る。例えば、カメラは、買物客オブジェクトが棚上のアイテムと物理的相互作用する時を検知するようにアイルに真直ぐ沿った映像を捕捉し得る。いくつかのケースでは、複数の撮像装置が組み合わせて使用され得る。例えば、アイルに真直ぐ沿って向けられた撮像装置は、買物客が規定棚相互作用面を横切った時を検知し得、在庫保管捕捉構成の撮像装置はアイルに沿った位置を判断するために使用され得る。相互作用捕捉構成は特に、１つまたは複数のタイプの相互作用事象の発生を検知するように構成され得る。
オブジェクト識別捕捉構成の撮像装置からデータを収集することは、特定位置におけるオブジェクト識別をターゲットとするように機能する。オブジェクト識別捕捉構成は、特定検査領域内にいる時に製品を識別するように指示されたより高解像度なカメラを含み得る。限定数のオブジェクト識別捕捉構成がＥＯＧ内の不確定性を解決し得る。特に、これらは、買物客オブジェクトを分割するために使用され得る。ショッピングカートが使用される店では、オブジェクト識別捕捉構成は、その下を通過するカートへ真直ぐ向けられたカメラを含み得る。カート内部のオブジェクトは、特定製品アイテムとしてより容易に識別され得る。このような識別構成は、人のよく通る場所、店出口近く、アイルの端、または他の好適な位置などの重要位置に配置され得る。１つの変形形態では、オブジェクト識別撮像装置は、特定オブジェクトを追跡またはターゲットとするように作動され得る。オブジェクト識別捕捉構成は追加的にまたは代替的に、チェックアウトまたはＰＯＳ構成変形形態において使用される。チェックアウト変形形態は、チェックアウトプロセス中の識別のためのオブジェクト情報を収集するように機能する。チェックアウト構成のカメラは特に、コンベヤベルト上に置かれるまたは従業員による検査のために並べて置かれるとアイテムを捕捉するように構成され得る。
可動捕捉構成の撮像装置からデータを収集することは、多様な位置から画像データ（恐らく動的フォーカスを含む）を生成するように機能する。可動撮像装置はロボットへ搭載されても良いし従業員により移動されてもよい。この場合、可動ロボットは、環境内で水平方向にまたは垂直方向に平行移動する能力を有するものであっても、固定位置からパンする、傾く、またはズームする能力を有するものであってもよいということに留意されたい。環境全体にわたって移動することができる可動構成を有する撮像装置はしばしば、撮像装置の位置を追跡することを利用する。１つの変形形態では、可動撮像装置は、撮像装置と位置を判断するために使用される遠隔要素との間の通信を利用する能動的測位システム（高精度ＧＰＳシステム、ＲＦ三角測量または他の好適な技術など）を含み得る。別の変形形態では、本方法は、画像データを介し環境全体にわたって可動撮像装置を追跡することを含み得る。可視ビーコンが、可動撮像装置の識別および追跡を容易にするために撮像装置上に存在し得る。
可動構成の撮像装置は、不確定性を解決し恐らく低減する際に利用され得る。例えば、店の１つの特定領域の在庫のＥＯＧが未知であればまたは低レベルの確実性を有すれば、従業員は、不確定性を解決する目的のための追加画像データを収集するために可動撮像装置（例えば校正ツール）を持ち込み得る。より一般的には、従業員は、環境を動き回るにつれて精度を改善し得る画像データが収集され得るように、可動画像装置を備える可能性がある。ＥＯＧは好適には、１つまたは複数の可動撮像装置の使用を通じたターゲット画像捕捉により在庫表現の確実性を増加し得る。
任意の個々のカメラまたはセンサが一度に２つ以上の構成の一部であり得、各構成は２つ以上の目的を果たし得るということに注意すべきである。
画像データを収集することは追加的に、撮像システムを校正することを含み得る。１つの変形形態では、校正は、画像データ内の信号ポイントを検知することと、現実世界内の信号ポイントの位置が１つまたは複数の画像ソースから構築されるので現実世界内の信号ポイントの位置をＥＯＧ表現内のその位置へ関連付けることとを含み得る。信号ポイントは、定位装置から発射された光（電球、ＬＥＤ、またはスマートフォンなど）または自然情景の１つまたは複数の特徴である可能性がある。
ＥＯＧの維持
画像データからＥＯＧを維持することを含むブロックＳ２００は、環境内のオブジェクトの確率的データモデルを生成、実装、更新するように機能する。論述したように、ＥＯＧは環境全体にわたる時間および空間における分類されたオブジェクトのデータ表現である。加えて、ＥＯＧ内のモデル化されたオブジェクトインスタンスは、オブジェクト分類、位置、タイムスタンプ、および／またはＳＫＵまたは製品関連特性などの他の特性を有し得る。ＥＯＧは追加的に、確率的オブジェクト関連性を有するオブジェクトインスタンスの少なくとも１つのサブセットを有するものとして特徴付けられ得、これらの関連性は時間および空間における様々なオブジェクトインスタンス間のものであり得る。
ＥＯＧを管理することは、画像データを繰り返し処理することと、様々なＥＯＧプロセスを適用することとを含み得る。ＥＯＧは、様々な画像ベース検知技術をてこ入れするためにその適応型算定手法を使用し得る。様々なコンピュータビジョンおよび信号処理手法が、画像データからメタデータを生成する際に使用され得る。次に、画像データは、物理的世界のＥＯＧモデル表現を更新するためにＥＯＧ処理エンジン内で処理され得る。ＥＯＧを維持することは、環境内の在庫アイテムおよび他のオブジェクトの確率的口座を構築する際に使用され得る。いくつかのオブジェクトは断定的に識別され得、一方、他のオブジェクトは様々なレベルの確実性で考慮され得る。
画像データの使用に加えて、ＥＯＧを維持することは、図１２に示すように、インバウンド／アウトバウンド製品発注、項目別ＰＯＳチェックアウト報告、手動在庫入力、製品基準データベース、環境プラノグラムまたはマップ、個人的ショッピングパターン、個人的ショッピングリストまたは欲しい物リスト、人口統計学的パターン、および／または他のオブジェクト入力などの他のオブジェクトおよび環境データの入力を利用し得る。
ＥＯＧシステムを管理することは好適には：画像データからオブジェクトを分類することＳ２１０；環境内のオブジェクト位置を追跡することＳ２２０；相互作用事象を検知することＳ２３０；および／または好適にはオブジェクトインスタンスの関連性全体にわたってオブジェクトインスタンスの変更を伝播することを含むＥＯＧを更新することＳ２４０を繰り返し含む。
ブロックＳ２１０、Ｓ２２０およびＳ２３０は、直列にまたは並列に組み合せて使用され得る。１つの変形形態では、ブロックＳ２１０、Ｓ２３０およびＳ２４０が採用されるブロックＳ２００は主として相互作用事象に基づき実行し得る。別の変形形態では、ブロックＳ２１０、Ｓ２２０およびＳ２４０が採用されるブロック分類および追跡が使用され得る。
入力を処理することは、図１３に示すように、通常のオブジェクトモデリングと共に、複合オブジェクトモデリング、確率的マルチステートモデリングを利用し得る基本オブジェクトモデリングを確立し得る。次に、ブロックＳ２４０は、更新されたオブジェクトモデルデータをＥＯＧを介し伝播することによりＥＯＧを精緻化する際に基本オブジェクトモデリングをてこ入れし得る。ある相互作用事象がオブジェクト状態を変更するとオブジェクト変換がモデル化され得る複合オブジェクトモデリングが使用され得る。他のインスタンスまたは実施形態では、ブロックＳ２１０のオブジェクト分類とＳ２２０のオブジェクト追跡は、ブロックＳ２４０おけるモデルを介した情報の確率的推論および伝播により関連付けられ得る様々な観測されたオブジェクト経路を確立する際に使用され得る。
ブロックＳ２００を介し、ＥＯＧは、環境内の複数のオブジェクトのオブジェクト状態の期待値に関し報告するために使用され得る。したがって、Ｓ２００は、画像データおよび／または補足入力に基づき環境内で期待される複数のオブジェクトをモデリングする複数の並列プロセスを含み得る。これらのプロセスは、カメラからの画像データのストリーム毎に繰り返し実行され得るが、次に、追加的に、画像捕捉装置の収集からの画像データ全体にわたって実行され得る。本方法が、自動セルフチェックアウトを管理する、ＰＯＳチェックアウトを支援する、在庫分析を提供する、盗難検知を提供する、製品定位を可能にする、および他の好適なアプリケーションなどの多様なアプリケーションを駆動するのを可能にし得るＥＯＧは通常、リアルタイムかつロケーションアウェア（location aware）である。
いくつかの変形形態では、本方法はブロックＳ２００の複数のインスタンスを実行することを含み得る。本方法は、図３に示す例示的モールシナリオと同様に複数のＥＯＧを管理することを含み、ここでは、第１のＥＯＧは環境の第１のサブ領域用に管理され、第２のＥＯＧは環境の第２のサブ領域用に管理される。サブ領域は非連続であってもよいし重畳してもよい。１つの変形形態では、第１のサブ領域は第２のサブ領域を完全に含み得る。別個のサブ領域のための任意の好適な数のＥＯＧが確立され得る。複数のＥＯＧを管理することは、モールまたはマーケットなどのマルチベンダ環境内で利用され得る。様々なＥＯＧは、共有撮像システムからの画像データを使用することにより動作し得るが、ＥＯＧの構成およびアプリケーションは個々にカスタム化され得る。代替的に、単一ＥＯＧが複数の領域およびサブ領域をモデル化し得る。ここでは、当該ＥＯＧの検査は、様々なサブ領域の空間的および時間的境界と擬似的に区分化された別個のＥＯＧとを使用し得る。
ＥＯＧの維持：オブジェクトの分類
画像データからオブジェクトを分類することを含むブロックＳ２１０はオブジェクト検知を行うように機能する。オブジェクトは、コンピュータビジョンまたは他の形式のプログラム的発見的方法、人工知能、機械学習、統計的モデリング、および／または他の好適な手法を使用することにより検知され分類される。オブジェクト分類は、オブジェクト分類の一部として画像セグメント化およびオブジェクト識別を含み得る。単一像またはビデオストリームの画像データのオブジェクトを分類した結果出力は、オブジェクトのラベル、または確率的分布の潜在的ラベル、および当該オブジェクトの領域／位置特性であり得る。画像データの単一画像内のオブジェクトを分類することは、様々な領域内の複数のオブジェクト分類を生じ得る。例えば、買物客を伴う１つの棚の製品群の画像は、図１４に示すように可視製品毎の分類、棚、および買物客を生じ得る。図１４にまた示すように、本方法の追加機能は追加的に、視野から隠蔽された期待数のアイテムのＥＯＧモデリングを生じ得る。
「bag of features」手法、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）、統計的機械学習、または他の好適な手法などの様々な技術が、オブジェクト分類において採用され得る。Fast regional−ＣＮＮ（ｒ−ＣＮＮ）、Faster Ｒ−ＣＮＮ、Mask Ｒ−ＣＮＮ、および／または他のニューラルネットワーク変形形態および実施形態などのニューラルネットワークまたはＣＮＮがコンピュータビジョン駆動型オブジェクト分類プロセスとして実行され得る。
視覚的ワード、特徴分類のコンステレーション、およびバグオブワード分類プロセスのようなプロセスを使用し得る画像特徴抽出および分類は追加または代替手法である。これらおよび他の分類技術は、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）、speeded up robust features（ＳＵＲＦ）、様々な特徴抽出技術、カスケード分類子、Naive-Bayes、サポートベクターマシン、および／または他の好適な技術の使用を含み得る。
加えて、アルゴリズム手法の複数の変形形態が、特定クラスのオブジェクト分類を考慮する際に実施され得る。階層的分類プロセスは、分類を繰り返し精緻化する際、および／または分類信頼性および／または速度を強化する分類チャレンジを制限する際に使用され得る。１つの変形形態では、オブジェクトを分類することは、画像データの変更に基づく更新へ限定されてもよいしそれから分離されてもよい。１つの変形形態では、画像のオブジェクトを分類することは変更条件を満たす画像データのサブ領域へ限定され得る。例えば、画像の右下象限内の買物客を伴う１つの棚の製品群の画像は、オブジェクト分類を当該右下象限内の領域に対して実行させるだけであり得、これは、画像データ内で静止している製品を再分類することから本方法を軽減し得る。
いくつかの変形形態では、オブジェクト分類は能動的に確認されてもよいし別のデータ入力チャネルを介し通知されてもよい。例えば、確認された分類（例えばＳＫＵ識別子）、位置、および時刻によりオブジェクトをログ記録するための校正ツールが使用され得る。
オブジェクトを分類することは、オブジェクトを一組の潜在的オブジェクトタイプのうちの１つとして識別することを含み得る。潜在的オブジェクトタイプは少なくとも１つのＳＫＵオブジェクトタイプ、複合オブジェクトタイプ、および人オブジェクトタイプを含む。オブジェクト分類は、未知オブジェクト分類から一般的記述子そして特定アイテム名までの範囲の様々なレベルの特異性を有する記述子であり得る。様々な分類は、ＳＫＵオブジェクトのＳＫＵ特性、顧客オブジェクトのユーザ口座および／または従業員オブジェクトの従業員プロファイルなどの追加分類特性に関連付けられ得る。例えば、１つのアイテムは箱として分類される可能性があるが、関連付けられた製品ＳＫＵを有する特定シリアル製品として分類される可能性もある。一般的に、オブジェクト分類プロセスは、様々なレベルの信頼水準により一組のオブジェクト分類可能性を生成することになる。
複合オブジェクトモデリング手法では、ＥＯＧは、オブジェクトを、零、１、または２以上の他のオブジェクトを含むある確率を有するものとしてモデル化し得る。分類は、複合オブジェクトモデリング中にオブジェクト組成予測を生成するために使用され得る。複合オブジェクトモデリングを適用することは好適には、ＥＯＧ内の少なくとも２つのオブジェクト間の階層的関連性をインスタンス化することを含む。ここでは、１つのオブジェクトインスタンスが少なくとも１つのオブジェクトとの関連性を確率的に有するように設定される。これが最初の分類であれば、複合オブジェクトモデリングは、オブジェクト分類、オブジェクト位置、時刻、および／または他の要因または要因の組み合せに基づき得る統計モデルに基づく開始プロセスであり得る。複合オブジェクトモデリングは、オブジェクト計数推定および／またはオブジェクトの関連変更（例えば、親オブジェクトの移動を通じて観測不能な子オブジェクトを追跡すること）を容易にし得る。いくつかの変形形態では、オブジェクト組成予測は、特定オブジェクトを共通に含むとして観測されたオブジェクトの新しい発生に対して生成され得る。例えば、棒状石鹸を出荷するために使用される箱として分類されたオブジェクトは、標準的積荷の棒状石鹸を含む極高い尤度を与えられる。代替的に、オブジェクトの組成予測は、オブジェクトが検知される情況に基づき動的に生成され得る。一例では、未知の箱は、未知の箱として検知され分類され得るが、特定領域内で検知されたので、オブジェクト組成は、当該領域内の箱の中に通常見出されるオブジェクトにより設定され得る。別の例では、未知の箱の商品が、検知され、低確率で一組の異なるオブジェクトを含むものと当初疑われ得る。しかし、箱に関するより多くの情報が取集されるにつれて、分類はブロックＳ２２０、Ｓ２３０およびＳ２４０を介し精緻化され更新され得る。
オブジェクトの分類は追加的に、オブジェクトのサイズ、形状、色、位置、および／または他の属性などのオブジェクト属性を割り当てることを含み得る。オブジェクトサイズは、長さ、高さ、幅、寸法、形状、アスペクト比、および／または容積などの様々な次元を含み得る。形状はオブジェクトの形式を記述する属性であり得る。形状はアスペクト比または他のメトリックを含み得る。色属性は、アイテムの表面の記述子であり得、平均カラー、色セット、パターンまたは、テクスチャ、反射性、様々な表面変形、および他の好適な表面品質を含み得る。位置は好適には、環境内の三次元位置記述子であるが、代替的に「アイル３、ビン１、棚２」などの位置カテゴリー分類であり得る。位置は、環境のフレームに対して相対的であっても良いし、地球の緯度−経度−仰角フレームにおいて絶対的であっても良い。様々なオブジェクト属性がＥＯＧ内に保管され、判断を行う際に使用され得る。例えば、容積および形状は、含まれるオブジェクトの量およびタイプに制約を課し得る。同様に、位置は、何のオブジェクトが検知されたオブジェクト内に含まれるかを明示的に示さなくてもよいが、予想および追跡のための情況を提供し得る。
いくつかのシナリオでは、オブジェクトは特定アイテムとして断定的に識別され得る。オブジェクト識別は好適には、特定ＳＫＵによりオブジェクトを分類することを生じ得る。オブジェクトの識別は、梱包の画像マッチング、コンピュータ可読コード（例えばバーコードまたはＱＲコード）を走査すること、ラベリングのＯＣＲ、および／または任意の好適な手法を介し行われ得る。識別の確実度が記録され追跡される。例えば、有効チェックサムを有するＵＰＣバーコードを読むことで、非常に高い確実度の識別を伝える。逆に、Snack−Ｏの１４オンスの箱を主として含むということが知られた棚割りの領域からオブジェクトが取り出されたということを観測することは、かなり低い確実性を伝える。この場合、その後の検査は待ち行列に入れられ、将来画像は、当該（今、過去の）事象に関連付けられる確実性を上げるために詳細に検査されることになる。
他のシナリオでは、オブジェクトは人、動物、または他の不可分要素であり得る。人および動物は、顔認識、歩行認識、服認識、関連装置認識（ユーザの電話を検知すること）、または一般的オブジェクト識別などの様々な技術を介し識別され得る。人の識別は追加的に、人識別子に関連付けられたユーザ口座を識別する際に使用される可能性がある。
ＥＯＧシステムは追加的に、現実世界アイテムについての結論を、それらの画像データが部分的または完全に隠蔽された場合に引き出すために適用され得る。１つのシナリオでは、見えない領域内に置かれた物理的世界内のオブジェクトが、それにもかかわらずＥＯＧ内のその論理的表現により依然として追跡され得る。ＥＯＧは、Jean Piagetにより理解される意味では、ほとんどの既存コンピュータビジョンシステムにより達成されなかったオブジェクト恒久不変性を維持する。さらに、複数のオブジェクト状態のモデリングは、複数の潜在的に観測されないオブジェクト状態が追加観測データによりより高い信頼性でモデル化されるように変形され得るように様々な事象中に維持および追跡されることを可能にする。
別のシナリオでは、環境の領域は、環境領域が、モデル化された複合オブジェクトのようなオブジェクトを「含む」という点で、ＥＯＧ内のオブジェクトとして処理される。環境入口、環境出口、環境の監視されていない部屋、監視されていない領域はオブジェクトとして処理され得る。例えば、浴室は浴室ドアにおけるアクセスポイントにより構成され得る。浴室ドアと相互作用する（例えば、浴室へ入るおよび浴室から出る）オブジェクトは、当該浴室オブジェクトのコンテンツの変化を生じ得る。
図１３に示すように、オブジェクトを分類すること、より一般的にはＥＯＧを管理することは、オブジェクトを分類することＳ２１２において使用される補足入力を取り出すことを含み得る。オブジェクトの分類は補足入力に少なくとも部分的に基づき得る。補足入力は、購入パターン、顧客購入履歴、製品価格、在庫データ（例えば出荷命令、在庫マップ／プラノグラムなど）、環境データパターン、購入トランザクションデータ、および／または他のソースの組から選択され得る。次に、分類作業は、補足入力に少なくとも部分的に基づき得る。例えば、店の買物履歴に基づく製品人気度は、特定分類を、ＣＶベース分類信頼水準が同様であると他の分類より高く優先付けるために、使用され得る。ブロックＳ２１２は、分類において直接使用され得るが、追加的にまたは代替的に、仮想カートリストを判断するなどＥＯＧから結論を引き出す際に使用される。
図１２に示すように、オブジェ（objet）を分類することＳ２１４は、分類処理中に分類範囲を繰り返し拡張することを介しオブジェクトを分類することを含み得る。分類範囲を繰り返し拡張することは、分類範囲を設定すること、分類範囲内の分類を生成すること、および生成された分類が分類条件を満たさなければ（例えば結果が閾値未満の信頼水準を有すれば）、更新された分類範囲により分類を試みることを含み得る。実施の際、ブロックＳ２１４は、第１の組の候補オブジェクトの初期分類モデルを介しオブジェクトを分類することと、初期分類モデルを介したオブジェクトの分類が分類条件を満たさなければ第２の組の候補オブジェクトの少なくとも第２の拡張分類モデルを介しオブジェクトを分類することとを含み得る。
分類範囲は好適には、分類プロセスの限定組の候補オブジェクトを特徴付ける。一例では、これは、限定組のオブジェクトに向けられたＣＮＮである可能性がある。複数のＣＮＮモデルが、所望分類範囲に基づき選択的に採用され得るように様々な分類範囲を使用することによりトレーニングおよび更新される可能性がある。分類範囲は、多種多様の技術を介し判断されてもよいし学習を通じてアルゴリズム的に判断されてもよい。
１つの変形形態では、分類範囲は、ある領域への特定オブジェクト分類の期待空間的近接性に基づき拡張し得る。これは特定領域において観測可能な期待ＳＫＵオブジェクトを含み得る。この空間的近接性は、満足な信頼水準を有する分類を最終的に判断する目的でもって繰り返し拡張され得る。分類範囲を空間的に拡張する例では、分類範囲は、棚のオブジェクト、隣接する棚上のオブジェクト、アイル上のオブジェクト、１つの店領域内のオブジェクト、店内のオブジェクトのように進む。
別の変形形態では、分類範囲はデータ駆動型パターンに基づき拡張し得る。例えば、顧客買物リストおよび／または欲しい物リスト、顧客ショッピングパターン、様々な人口統計学的ショッピングパターン、および全店のショッピングパターンが、分類範囲を規定する際に使用され得る。利用される分類範囲は、空間的に規定された分類範囲、データ駆動型分類範囲、および／または他の好適な分類範囲の様々な組み合せを含む可能性がある。例えば、初期分類範囲は、保管された顧客買物リストと期待された棚積み製品とを含み得、その後のフォールバック分類範囲は、当該アイル上に保管されることが期待される製品と共に店内で販売される１００の最人気製品を含み得る。
加えて、ＥＯＧを維持することは、オブジェクトの画像表現を更新することを含み得る。新しいかつ進化する梱包および他の目に見える変更が、オブジェクト識別を長期にわたって改善するために使用され得る。時折、同一ＳＫＵを有する一組の機能的に同一なアイテムが異なる外観を有するかもしれない。例えば、いくつかのアイテムはＵＰＣコードを共有する一方で異なる色となる。追加的に、梱包は定期的に変化し得る。例えば、シリアルの商標はルーチン的に、共通ＳＫＵ、ＵＰＣ、および価格を維持する一方でその梱包の外観を変更する。管理システム、チェックアウト処理システム、または製品基準データベースとの統合は、進化するオブジェクト表現を分類することを容易にし得る。
オブジェクトを分類することに関連して、本方法は対応オブジェクトインスタンスをＥＯＧ内に保管することを含み得る。オブジェクトインスタンスは、観測または予測されたオブジェクトに関連付けられたデータモデル記録である。オブジェクトインスタンスはデータベースまたは任意の好適なデータストレージソリューション内に保管され得る。オブジェクトインスタンスは、オブジェクト分類、観測の時刻、および観測の位置を特徴付けるデータ記録であり得る。オブジェクトインスタンスの位置は、分類が発生した画像捕捉装置へ一般化され得るが、より詳細には、画像データ内の座標および／または環境内の三次元座標を含む可能性がある。
オブジェクトインスタンスは基本オブジェクトモデリングを確立し得る。複合オブジェクトモデリングおよび確率的マルチステートモデリングは追加的に、オブジェクトインスタンスの特徴付けられた特性であり得る。オブジェクト分類は、複合オブジェクトまたはマルチステート特性を直接モデリングする際に確率的推論を適用し得る。ブロックＳ２２０のオブジェクト追跡とブロックＳ２３０の相互作用事象検知は代替的にまたは追加的に、複合またはマルチステートモデリングに貢献し得る。
追加のオブジェクト特性および／または関連性が追加的に、本システムのモデリングデータを介し追加または確立され得る。例えば、ＳＫＵ特性との関連性は、特定ＳＫＵオブジェクトとして分類されると確立され得る。別の変形形態では、オブジェクトインスタンスは、元のメディアの再処理が行われ得るようにメディア基準に関連付けられ得る。別の変形形態では、他のオブジェクト観測との関連性が確立され得る。例えば、オブジェクトを時間的に追跡することは、オブジェクトインスタンスの関連付けられたシーケンスとして反映されるオブジェクト経路を確立するために使用され得る。本明細書で説明される高レベルＥＯＧモデリングは観測記録を更新するために使用され得る。または、高レベルＥＯＧは、高レベルモデリングが確立され得る生データ層として観測記録を使用し得る。
ＥＯＧの維持：オブジェクトの追跡
環境内のオブジェクトを追跡することを含むブロックＳ２２０は、オブジェクト経路を確立する際にオブジェクトの位置を監視するように機能する。オブジェクトを追跡することは、単一の画像捕捉装置からの画像データ内のオブジェクトを追跡することを含むが、より好適には、複数の画像捕捉装置からの画像データ全体にわたってオブジェクトを捕捉する。オブジェクトを追跡することは追加的に、複数の画像捕捉装置にわたってオブジェクトを識別し関連付ける際に使用され得る。
オブジェクトを追跡することは、オプティカルフロー、アルゴリズム的ターゲットロックおよびターゲット再取得、データ駆動型推論、発見的プロセス、および／または他の好適なオブジェクト追跡手法のようなＣＶベースオブジェクト追跡技術を適用することを含み得る。ＣＶベースオブジェクト追跡およびアルゴリズム的ロックは好適には、オブジェクトの変換を判断するように画像データに作用する。データ駆動型推論は、時間的および空間的近傍近く「Near」において時間的および空間的近傍が、１〜５フィートおよび１秒以内に識別された２つのオブジェクトなどほぼ同時刻に同様な位置において識別されたものとして特徴付けられ得ると、オブジェクトと、整合または類似データ特徴とを関連付け得る。時間的および空間的近接条件は、様々な要因に依存する可能性があり、様々な環境および／またはアイテムに対し調整され得る。時間的および空間的近傍近くのオブジェクトは、画像データ（例えば、以前のビデオフレーム、または以前に捕捉された静止画像）の隣接インスタンスからまたは隣接インスタンスの窓から画像データ内に観測されるオブジェクトであり得る。１つの変形形態では、隣接インスタンスの窓は、最後のＮ個のメディアインスタンス（例えば最後の１０個の映像または静止画像）などのサンプル計数により特徴付けられ得る。別の変形形態では、隣接インスタンスの窓は、終了直前のメディアインスタンスなどの時間窓により特徴付けられ得る。
オブジェクトを追跡することには好適には、オブジェクト経路内のオブジェクトインスタンスの関連性を確立することが伴う。１つの変形形態では、オブジェクトインスタンスは経路特性を支援するデータモデル構成体であり得る。代替的に、オブジェクト経路はオブジェクト経路に関連付けられ得るデータモデル構成体であり得る。したがって、オブジェクトを追跡することは好適には、オブジェクト経路を構築することを含み、ここでは、オブジェクト経路は、オブジェクトの連続的経路を時間的および空間的に確立する。オブジェクト経路は、棚上の製品のように静止しているオブジェクトを考慮するために静止経路または経路セグメントを含み得る。いくつかのインスタンスでは、オブジェクトの連続観測が妨げられ得、オブジェクト経路は終了することになる。オブジェクト経路の終点は好適には、出現の点および消失の点を含む。
オブジェクト経路の終了は、オブジェクト経路の終端点においてオブジェクトに関連してオブジェクトの可能性をモデル化するために複合オブジェクトモデリングおよび／または複数のオブジェクト状態の確率的モデリングを呼び出し得る。オブジェクトを追跡することは、オブジェクトのオブジェクト経路の終端点を検知した後、複合オブジェクトモデリングを適用することおよび／またはマルチステートモデリングを適用することを含み得る。いくつかの変形形態では、相互作用事象を検知することは、オブジェクト経路の終端点に対処する役割を補完または置換し得る。
複合オブジェクトモデリングを適用することは好適には、ＥＯＧ内の少なくとも２つのオブジェクト間の階層的関連性をインスタンス化することを含む。ここでは、１つのオブジェクトインスタンスが少なくとも１つのオブジェクトとの関連性を確率的に有するように設定される。１つのオブジェクトは好適には、子オブジェクトを保有するまたは含むように確率的にモデル化される親オブジェクトである。複合オブジェクトモデリングを適用することは、例えば第１の経路が第２のオブジェクト経路により隠蔽されれば、第１のオブジェクト経路を第２のオブジェクト経路へ関連付け得る。このようにして、第１のオブジェクトは、第２のオブジェクトを追跡することにより間接的に追跡され得る。図１５Ａの例示的シナリオに示すように、オブジェクトＡはオブジェクト経路に沿って追跡され得るが、いつ当該オブジェクト経路がそれを終了するかはオブジェクトＢにより含まれるものとしてモデル化され得る。オブジェクトＡがｔ＝２０マークにおいてオブジェクトＢの近傍内に出現すれば、当該オブジェクト経路は、ｔ＝１におけるものと同じオブジェクトＡに関連付けられ得る。
マルチステートモデリングを適用することは好適には、ＥＯＧ内のオブジェクトインスタンスの少なくとも２つの確率的に可能性のある状態をインスタンス化することを含む。マルチステートモデリングを適用することは、複数の潜在的オブジェクト経路が終端点において考慮されることを可能にし得る。マルチステートモデリングは、確率的状態の１つまたは複数が別のオブジェクトとの階層的関連性であり得る複合モデリングと組み合わせて使用され得る。図１５Ｂの例示的シナリオに示すように、オブジェクトＡはオブジェクトＡのオブジェクト経路が終了すると３つのオブジェクト（Ｂ、ＣおよびＤ）のうちの１つの中に確率的に含まれるとしてモデル化され得る。一例として、製品は、棚の奥に押し込まれ観測不能であるオブジェクトのモデル化された第１のオブジェクト状態、または買物客により取り上げられ持ち運ばれた製品のモデル化された第２のオブジェクト状態を有し得る。両オブジェクト状態は、それらの状態のどちらが正確であったかをより良く通知するために追加情報が収集されるまでモデル化され得る。追加情報は、それらの潜在的状態のうちの１つを確認する際に使用されてもよいし、潜在的状態のうちの１つを事実に反し除去するために使用されてもよい。
多くのシナリオでは、オブジェクト経路は、オブジェクトの一様に一貫したモデリングに関わらない。ブロックＳ２１０においてオブジェクトインスタンスに対して生成されたオブジェクト分類および関連信頼水準は、オブジェクト経路に関連付けられたオブジェクトインスタンスに対して変化し得る。ブロックＳ２４０と組み合わせたブロックＳ２２０の変形形態は、オブジェクト更新をオブジェクト経路全体にわたって伝播することであって、追跡されるオブジェクトのオブジェクト情報を縦断的に処理するように機能し、オブジェクト情報はＥＯＧのオブジェクト分類能力を補完または支援するためにオブジェクト分類を更新する際に使用され得ることを含み得る。
幾つかの例では、これは、より大きな特異性により分類を重み付けることを含み得る。例えば、時間の６５％で、オブジェクトは一般的箱として分類され、時間の３５％で、オブジェクトは特別の朝食用シリアル製品として分類されるオブジェクト経路では、オブジェクト経路の全体にわたるオブジェクト分類の伝播は、オブジェクトを当該経路に沿った朝食用シリアル製品と見做されるように更新することになる。オブジェクト経路に沿ったこのような分類伝播はオブジェクト分類課題をアニールし得る。図１６に示すように、オブジェクト経路は「箱」として分類されたオブジェクトの経路として当初モデル化され得、後の時点で、更新されたオブジェクト分類は同オブジェクトをより高い信頼性でＡＣＭＥシリアルとしてより具体的に分類し得る。第２の分類は、先のオブジェクトインスタンスがＡＣＭＥシリアルアイテムとしてモデル化されるように、更新されたオブジェクト状態情報をオブジェクト経路関連全体にわたって伝播することを生じ得る。
本方法は場合によっては、オブジェクトが動いていると分類が失敗するという潜在的チャレンジに対処し得る。しかし、オブジェクト追跡はオブジェクト運動中に維持され得、これにより、オブジェクトが動いている期間中の確実なオブジェクト分類の伝播を可能にし得る。一例では、朝食用シリアル製品は、それが棚上に留まる間などには自信を持って分類される。買物客が製品を選択し、それを自身の買物袋に加えると、画像データは製品の隠蔽されたおよび／またはぼやけた画像を捕捉し得、低信頼性分類を生じ得る。しかし、オブジェクトのオブジェクト追跡は、オブジェクトが棚上にある間、高信頼分類が当該の追跡されるオブジェクトへ適用されることを可能にし得る。次に、オブジェクトがバッグ内にある間に見ることを妨害されると、複合オブジェクトモデリングはバッグが製品を含むものとしてモデル化し得る。
ＥＯＧの維持：オブジェクトの検知
相互作用事象を検知することを含むブロックＳ２３０は少なくとも１つのオブジェクトにより変化の性質を識別および特徴付けるように機能する。相互作用事象は画像データ内で観測された検知可能な変化であり得る。好適には、相互作用事象は複合オブジェクトモデリングおよびマルチステートモデリングを適用する際に使用され得る。相互作用事象は追加的に、相互作用事象からの結論がＥＯＧ上で縦断的に使用され得るように新しいオブジェクト状態情報を伝播することを含み得るブロックＳ２４０のＥＯＧを更新することをトリガすることを含み得る。
相互作用事象は好適には、誤り易いかつ特化された検知アルゴリズムに本方法が依存しないように、低複雑性を有する検知手法を提供する。好適には、相互作用事象を検知することは、オブジェクト近接事象（この場合は、例えばオブジェクトツーオブジェクト接触または近接性変化を検知する）、および／または複合オブジェクト変換（この場合は、例えばオブジェクト出現、オブジェクト消失、オブジェクト分類変更などを検知する）などの一組の相互作用事象タイプのうちの１つまたは複数の相互作用事象タイプの検知を介し相互作用事象を検知することを含み得る。このような相互作用事象の様々な変形形態が追加的に、関与オブジェクトに依存して使用され得る。人とオブジェクトとの接触、カート／バッグ中へのオブジェクト挿入、または他の事象タイプなどの特化およびカスタム化相互作用事象タイプの処理が追加的に使用され得る。相互作用事象条件は様々な運用目的に依存して調整され得る。１つの変形形態では、感度が動的に調整され得る。例えば、機械学習および／または手動調整が相互作用事象の構成特性をチューニングする際に適用され得る。
相互作用事象は、その環境内にオブジェクトの確率的変換が存在する１つまたは複数のオブジェクトの相互作用であり得る。相互作用事象は複合オブジェクト変換に関連付けられ得る。相互作用事象は、一組のオブジェクト間のいずれかの方向または両方向への移行を含み得、相互作用事象は、オブジェクト同士の内方または外方付着（accretion）を含み得る。加えて、変換は識別されたオブジェクトまたは未確認オブジェクトに関与し得る。さらに別の変数として、変換の方向および／または発生が確率的に特徴付けられ得る。一例では、オブジェクトの交換が、買物客オブジェクトおよび棚アイテムオブジェクトなどの２つ以上の分類されたオブジェクト間のものである可能性がある。別の例では、１つの複合オブジェクトは、例えば１つのオブジェクトがコンテナから落下すれば別のオブジェクトを生成し得る。別の例では、相互作用事象が検知され得るが、変換の性質はこの時点では未知であり得る。複数のオブジェクト状態のモデリングは、相互作用事象の様々な起こりうる結果を考慮するために採用され得る。
分類および追跡におけるように複合オブジェクトモデリングを適用することは好適には、１つのオブジェクトインスタンスが少なくとも１つのオブジェクトとの関連性を確率的に有するように設定されるＥＯＧ内の少なくとも２つのオブジェクト間の階層的関連性をインスタンス化することを含む。相互作用事象の様々な要因は、どのようにオブジェクトの相互作用が階層的関連性の変化を生じるかを判断する際に使用され得る。加えて、ＥＯＧを更新する際、以前のオブジェクトインスタンスは相互作用事象を生じた複合オブジェクトモデリングを反映するように更新され得る。例えば、相互作用事象が親オブジェクトから生成された子オブジェクトを検知すれば、当該親オブジェクトインスタンスは、子オブジェクトを含んだとして以前のインスタンスにおいて更新され得る。
分類および追跡におけるようにマルチステートモデリングを適用することは好適には、ＥＯＧ内のオブジェクトインスタンスの少なくとも２つの確率的に可能な状態をインスタンス化することを含む。マルチステートモデリングを適用することは、相互作用事象の複数の潜在的結果がＥＯＧ内に考慮され維持されることを可能にし得る。マルチステートモデリングは、確率的状態の１つまたは複数が別のオブジェクトとの階層的関連性となり得る複合モデリングと組み合わせて使用され得る。例えば、近接相互作用事象が買物客および製品によりトリガされると、当該製品インスタンスは、棚の奥に押し込まれたようなオブジェクト状態であるとして第１の確率でモデル化され得、買物客により所持されるようなオブジェクト状態であるとして第２の確率でモデル化され得る。両方のオブジェクト状態は、それらの状態のどちらが正確であったかをより良く通知するために追加情報が収集されるまでモデル化され得る。追加情報は、それらの潜在的状態のうちの１つを確認する際に使用されてもよいし、潜在的状態のうちの１つを事実に反して除去するために使用されてもよい。
相互作用事象の結果は、知らされ得、相互作用の性質が視覚的に観測される。例えば、製品がカートに入ることが断定的に観測され得る。ＥＯＧは、カートが製品を含むという高程度の確実性で更新され得る。他のシナリオでは、相互作用事象の理解は確率的ですらあり得、相互作用の性質は十分に観測または分類されなかった。例えば、買物客が棚に手をのばしてアイテムと相互作用することは、第１の確率でオブジェクトが棚から買物客へ移行したということ、第２の確率で買物客がオブジェクトを棚へ移したということ、および第３の確率で買物客が異なるオブジェクトを取り出したということと考えられ得る。時折、相互作用事象の検知はその理解と一致しない。これらのケースでは、棚および買物客のその後の検査は、何のオブジェクトがそしてどの方向に移されたかについての最良の情報を提供し得る。より高い品質情報が入手可能であると、ＥＯＧは元の相互作用事象をより良く表すために更新され得る。
オブジェクト近接事象は２つ以上のオブジェクトの近接性の増加または変化から生じる。具体的には、オブジェクト近接事象を検知することは、第１の分類の第１のオブジェクトの近接性と近接性閾値を満足する第２の分類の少なくとも１つの第２のオブジェクトとを検知することを含み得る。例えば、ＳＫＵオブジェクトの一定距離（例えば２フィートなどの両腕間幅未満）内に入る人オブジェクトは、人がオブジェクトと相互作用した可能性があり得るのでオブジェクト近接事象をトリガし得る。
オブジェクト近接事象に関与するオブジェクトの数、分類、および／または状態はオブジェクト近接事象を検知するための条件内の要因であり得る。例えば、様々な近接性閾値がオブジェクト分類に依存して使用され得る。さらに具体的には、様々な製品オブジェクトは、製品人気度、買物客購入履歴、製品価格または他の補足入力により影響を受け得る買物客との近接事象に対する様々な感度を有し得る。
加えて、オブジェクト近接事象は関連近接性マグニチュードを有し得、相互作用事象のモデリングは近接性マグニチュードにより強化され得る。近接性マグニチュードは距離推定または近接性分類である可能性がある。近接性の時間が追加的に、近接性マグニチュードを判断してもよいし、近接性マグニチュードの要因であってもよい。近接性を低減する際の近接性分類の例は、「接触」、「準接触」、および「近傍近く」を含み得る。好適には、より低い重要度または重み付けが、より小さい近接性マグニチュードを有するモデル化へ適用される。例えば、オブジェクトツーオブジェクト接触は通常、ほぼ近傍内に入るオブジェクトより高い重要度でモデル化されることになる。
代替の変形形態では、近接条件は離散的相互作用または連続的相互作用のものであり得る。特に、離散的相互作用では、人オブジェクトと保管オブジェクトとの近接性が相互作用事象をトリガすることになる。買物客が棚に接触するまたは棚に近づくと、相互作用事象が発生する。例えば、棚に手をのばすことが観測された買物客は、オブジェクトの選択を予測する可能性が高い相互作用事象を生じる可能性がある。しかし、棚に近いことだけが観測された買物客は、オブジェクトの任意の交換の低い確率を有する相互作用事象であり得る。連続的相互作用確率に関して、２つのオブジェクト間に発生する相互作用事象の尤度は近接性および時間に基づき得る。図９に示すように、店内の買物客の経路が店内のすべてのオブジェクトとの相互作用の尤度を変更し得、ここでは、経路に沿ったオブジェクトは相互作用事象に関与する高い確率を有し同経路に沿っていないオブジェクトは相互作用事象に関与する低い確率（または零確率）を割り当てられる。
図１７Ａの例示的シナリオに示すように、買物客は棚に近づき得る。オブジェクトＡの遮蔽は、オブジェクトＡが恐らく棚の中にあるとしてまたはオブジェクトＡが買物客により選択されるとして更新する相互作用事象をトリガし得る。買物客が立ち去れば、先のオブジェクトＡの消失と組み合わせた当該相互作用事象は、オブジェクトＡが買物客により選択されたという確率を増加する。図１７Ｂの好対照なシナリオでは、買物客が立ち去るとオブジェクトＡは分類され得、オブジェクトＡが買物客により選択される可能性は低減され得るまたは無くされ得る。図１８の例示的観測のシーケンスに示すように、相互作用事象およびモデリングは２つのオブジェクトに限定されない。
相互作用事象を検知することは追加的に、オブジェクトの変化の際に検知を介しトリガされ得る。例えば、在庫保管構成型画像捕捉装置が棚上のオブジェクトのレイアウトの変化を検知すれば、以前の相互作用事象の確率が上昇される。買物客がすぐそばにいれば、買物客が棚と接触するということが断定的に観測されなかったとしても、当該買物客は、当該棚からオブジェクトを選択したというより高い確率を割り当てられ得る。さらに具体的には、オブジェクトの変化は、複合オブジェクト変換のある形式を含み得、オブジェクト変換を検知することは、オブジェクト出現事象、オブジェクト消失事象、および／またはオブジェクト分類変更事象を検知することを含み得る。
オブジェクト出現事象およびオブジェクト消失事象の変形形態は、新しいオブジェクトの検知、オブジェクトの隠蔽または消失、第２のオブジェクトからのオブジェクトの明白な露出、第２のオブジェクトによるオブジェクトの明白な隠蔽、オブジェクトの複数のオブジェクトへの明白な分割、および複数のオブジェクトの複合オブジェクトへの明白なマージを含み得る。加えて、変更されたオブジェクトまたはバラバラにされたオブジェクトはオブジェクト出現事象の一形式であり得る。影響されたオブジェクトは外部エンティティにより影響されたものである。例えば、顧客がかじった林檎は、林檎から破損された林檎へ変換するオブジェクト相互作用事象に晒されるだろう。１つの変形形態では、変更されたオブジェクトは、あるタイプのオブジェクト分類であり得、オブジェクト分類プロセス内で対処され得る。変更されたオブジェクトへのオブジェクトの変換に関わる相互作用は、従業員に警告を発する際に、オブジェクト選択にもかかわらずアイテムを買物客のチェックアウトリストへ追加する際に使用されてもよいし、任意の好適なやり方で使用されてもよい。
分類変更事象は、様々な時刻間に変化するオブジェクトの分類を含み得る。この分類変更は、２つの別個のオブジェクトの出現／消失と単一オブジェクトのオブジェクト分類の変更とを区別するためにオブジェクト追跡と組み合わせて検知され得る。
相互作用事象を検知することは追加的に、一連の相互作用が更新オブジェクトインスタンス情報に応じて検査され得るように相互作用事象のログ記録を含み得る。ＥＯＧデータシステムは好適には、歴史的記録またはオブジェクト関係および相互作用により更新される。１つの例示的シナリオでは、第１の相互作用事象は、買物客が製品ＡおよびＢを含む棚から製品Ａを選択することとして記録され、その後、第２の相互作用事象は、買物客が製品Ａを第２の棚上に戻すとこととして記録される。製品Ｂの断定的識別が第２の棚上で行われれば、第２の相互作用事象は買物客が製品Ｂを第２の棚上へ置く事象となり、第１の相互作用事象は買物客が製品Ｂを選択するという事象へ更新されるように、ＥＯＧは相互作用事象ログを介しブロックＳ２３０において更新され得る。
例示的シナリオとして、相互作用事象を検知することと組み合わせたオブジェクト位置（例えば運動経路）を追跡することは、オブジェクト状態の表現を生成する際に複合オブジェクトモデリングと確率的マルチステートモデリングとを使用し得る。図１９Ａでは、オブジェクトＡは、そのうちのいくつかがオブジェクトＡを含まない複数の相互作用事象を介しモデル化され得る。マルチステートモデリングは、オブジェクトＡの潜在的オブジェクト状態のある表現を維持する際に使用され得る。オブジェクトＡの更新された分類が最終的に発生すると、更新されたオブジェクト状態は、図１９Ｂに示すように２つの潜在的状態を１つの潜在的状態に変形するために使用され得る。
ＥＯＧの維持：ＥＯＧの更新
ＥＯＧを更新することを含むブロックＳ２４０は、オブジェクトのデータ表現および／または入力の処理を修正するようにそして環境内のアイテムの状態をより良く反映するように機能する。ＥＯＧを更新することは、少なくとも１つのオブジェクトのオブジェクト状態をＥＯＧを介し伝播することを含み得る。これは、関連ＥＯＧ表現の更新を生じ得、１つまたは複数のデータベース記録がＥＯＧデータシステムにおいて修正される。ＥＯＧを更新することは追加的にまたは代替的に、どのようにデータが処理されＥＯＧモデルに変換されるかを動的に修正するように機能するＥＯＧ処理エンジン２１０を更新することを含む。
一般的に、ＥＯＧを更新することは、関連オブジェクトの確率的理解への一連の更新を生じる。ブロックＳ２４０は、少なくとも１つのオブジェクトインスタンスの変更を、ＥＯＧ内の関連性を介しＥＯＧ更新オブジェクト状態のオブジェクト関連性全体にわたって伝播することＳ２４２を含み得る。オブジェクトインスタンスの変更は好適には、分類、位置、複合オブジェクトモデリング、マルチステートモデリング、オブジェクト生成または削除、および／または他の更新オブジェクト情報の変更を含み得る更新オブジェクト状態データである。例えば、１つのインスタンスにおけるオブジェクトの断定的識別は、先行する相互作用事象の確率的理解を変更し得、他の関連相互作用事象の確率的理解も変更し得る。同様に、補足入力データはＥＯＧ全体にわたって伝播され得る。
ＥＯＧの関連性は、オブジェクト追跡、相互作用事象、またはオブジェクト分類および他のパターンのデータ駆動型推論を通じてあるやり方でリンクされるオブジェクトインスタンスとの関連性を含み得る。複合オブジェクトモデリング、マルチステートモデリング、オブジェクト経路は好適には、これらの関連性を特徴付け得るＥＯＧモデリング構築である。
オブジェクトインスタンスの変更を伝播することは、更新されたオブジェクト状態情報により関連オブジェクトを縦断的に更新することであって更新を時間的に後方および前方へ伝播するように機能することを含み得る。更新されたオブジェクト状態を伝播することは、関連オブジェクト分類を更新することと、マルチステートモデリングを更新することと、オブジェクト経路間をブリッジすることとを生じ得る。１つの変形形態では、関連性は、当該経路に関連付けられたオブジェクトインスタンスが、当該経路のオブジェクトを関係付ける新情報により更新され得るようなオブジェクト経路とのオブジェクトインスタンス関連性である。別の変形形態では、関連性は複合オブジェクトモデリングと同様に階層的関連性であり得る。別の変形形態では、関連性は空間的および時間的近接関連性に基づき得る。
１つの変形形態では、更新されたオブジェクト状態は、更新されたオブジェクト分類であり、他の空間的および時間的インスタンスにおいてオブジェクトの分類の更新を生じ得る。分類は、異なる信頼水準でなされ得る。より確実な分類は、図３３に示すように、（例えばオブジェクトインスタンスの分類を強化および／または信頼性を増加することにより）他のオブジェクトインスタンスの信頼性を強化するようにオブジェクトモデリングを更新するために使用され得る。同様に、分類の複数のインスタンスは、信頼性が単一分類インスタンスの信頼水準を越えて増加され得るように分類を強化し得る。別の分類は、どのようにオブジェクトが、より詳細な分類を提供することによりまたは以前の分類に疑いをさしはさむことによりのいずれかにより分類されるかを補強し得る。更新されたオブジェクト状態の影響は追加的に、画像捕捉装置優先度により重み付けられ得る。例えば、ＰＯＳ捕捉構成または校正ツールの画像捕捉装置は、より高い優先度を与えられ得る。分類は同様に、図３４に示すように別のオブジェクトインスタンスの分類信頼性の低下を生じ、いくつかのケースでは、オブジェクト分類を変更する可能性がある。
１つの変形形態では、オブジェクト状態の更新は、複合オブジェクト関連性を変更することを含み得、親−子オブジェクト関連性の変更を生じ得る階層的関連性を変更し得る。いくつかのケースでは、これは、当該インスタンスの階層的関連性を除去し得る。
マルチステートモデリングを更新することは、期待値をより良く反映するためにマルチステートモデリングを変更するように機能する。好適には、オブジェクトインスタンスの更新されたオブジェクト状態データは最終的に、複数の潜在的状態の関連ブランチへ伝播され得、更新されたオブジェクト状態データは、モデリングを単一状態へ帰着させるおよび／または複数の潜在的状態の確率的モデリングを精緻化するために使用され得る。複数の潜在的状態の確率的モデリングを精緻化することは、確率を変更することおよび／または一組の潜在的状態を変更すること（潜在的オブジェクト状態を増加、低減、またはそうでなければ変更すること）を含み得る。例えば、特定オブジェクトは、棚上でまたは恐らく買物客のカート内でのいずれかにおいて恐らく隠蔽されたものとしてモデル化され得る製品が後でカート内で観測され分類されれば、カートの運動経路は棚上の点まで辿られ得、棚上で隠蔽されたオブジェクトの潜在的状態は削除され得る。
オブジェクト経路をブリッジすることは、様々なオブジェクト経路間の関連性を確立するように機能する。オブジェクトの追跡においては隙間または穴が通常存在することになる。オブジェクト経路をブリッジすることは好適には、オブジェクト経路をほぼ同様なオブジェクト特性により識別することを含む。オブジェクト経路をブリッジすることは当初、ほぼ時間的および空間的近傍内のオブジェクト経路を探索し、次に当該探索を拡張し得る。オブジェクト経路をブリッジすることは、以前または後のインスタンスからオブジェクト経路を識別し得る。オブジェクト経路をブリッジすることは追加的に、オブジェクトが複数の画像捕捉装置により追跡されるときに重畳時間を有するオブジェクト経路をブリッジし得る。
更新されたオブジェクト状態の伝播はカスケードモデル更新を生じ得る。一例として、高信頼性を有するオブジェクトの分類は、その全経路に沿ったオブジェクトの分類を変更し得る。この変更は、当該オブジェクト経路と、同じオブジェクトであると予測される別のオブジェクト経路との関連性を変更し得る。次に、これは、新たに関連付けられたオブジェクト経路に関連した点において複合オブジェクトおよび／またはマルチステートモデリングを変更する可能性がある。
ＥＯＧを更新することは、ブロックＳ２１０におけるオブジェクト分類、ブロックＳ２２０における相互作用事象検知、および／またはブロックＳ２３０におけるオブジェクト追跡変更により通知される基本オブジェクトモデリングのうちの１つに応じて開始され得る。相互作用事象は通常、オブジェクトの新しいまたは更新された分類情報に関係する事象を含むことになり、モデル化されたオブジェクト経路は、別個のオブジェクト経路同士をブリッジまたはアニールするために処理され得る。
別の変形形態では、ＥＯＧシステムを更新することは、オブジェクト分類（例えばオブジェクトタイプ、オブジェクト識別、オブジェクト特性など）および／またはオブジェクト関係（例えば親／子オブジェクト関係）の変化を含み得るオブジェクトの変化に応じて開始される。例えば、表されたサイズの変化は追加の目視情報から生じるかもしれない。サイズの変化は、子オブジェクトが占め得る利用可能容積を変更し得る。別の変形形態では、オブジェクトの変化は、オブジェクトの内容を露出すること、別のオブジェクトによりオブジェクトを隠蔽すること、オブジェクトを２つ以上のオブジェクトに分割すること、一組のオブジェクトをマージすること、オブジェクトの出現、およびオブジェクトの消失を含むオブジェクト変換検知である。この変形形態では、更新されたオブジェクト状態を伝播することは：以前のオブジェクトインスタンスが当該オブジェクトを保有したと更新することと、現在のオブジェクトインスタンスがオブジェクトを隠蔽したと更新することと、以前のオブジェクトインスタンスが一組のマージされたオブジェクトであったと更新することと、現在のオブジェクトインスタンスをマージオブジェクトとして更新することなどを含み得る。
別の変形形態では、ＥＯＧシステムを更新することは追加的に、解決事象（resolution event）の一形式として補足入力を取り込むことを含み得る。解決事象は通常、環境内のオブジェクト周囲の文脈情報を追加する。このような解決事象は、在庫メトリックまたは他のオブジェクト情報が入手可能な他のオブジェクト入力に関係し得る。例えば、在庫の発注とストックとを連携させる社外在庫管理システムが、環境内の追加在庫アイテムの期待入力に関する情況を提供し得る。１つのケースでは、従業員は、受け取った積荷を奥の部屋または店先に保管する前にスキャンインし得る。別の例では、販売時点情報管理システムは、店を離れると期待在庫アイテムに関するデータを提供し得る。別の例では、従業員が手動で棚卸しをする定期棚卸事象が発生し得る。このような解決事象はＥＯＧ内のオブジェクトを更新する際に使用され得る。
１つの変形形態では、本方法は追加的に、オブジェクトの観測を優先付けることであって特定オブジェクトの画像データ収集および／またはＥＯＧ処理を変更するように機能することを含み得る。特定条件を満足するオブジェクトは、特別の注意を払って監視され得る。好適には、オブジェクトは、その識別子および／または内容の確実性が閾値未満である場合にはより注意深く追跡される。１つのインスタンスでは、画像データの収集がオブジェクトの分類の確実性を増加するために更新され得る。１つのインスタンスでは、可動捕捉構成の撮像装置が、製品を識別するためのデータを提供する可能性がある。別のインスタンスでは、確実性を増加する際に使用されるデータを収集するために従業員が派遣される可能性がある。
本方法は好適には、ＥＯＧが繰り返し更新および精緻化されるように繰り返し行われる。環境内のＥＯＧシステムの使用を開始する際、本方法はトレーニングモード中にＥＯＧシステムを管理することを含み得る。ＥＯＧシステムをトレーニングモードで管理する際、本方法は、チェックアウト処理システムまたはアイテム発注システムなどの１つまたは複数の社外在庫入力システムのそばで行われ得る。ＥＯＧシステムは、社外在庫入力システムからのトレーニング入力に基づきその動作を実行および校正し得る。ＥＯＧシステムの性能が満足であると、本方法は、ＥＯＧシステムをほぼ独立したモードで使用するように移行し得、外部在庫入力の使用によりＥＯＧシステム用に部分的に依然として使用され得る。
別の変形形態では、ＥＯＧを維持することは追加的に、ＥＯＧを少なくとも部分的にリセットすることであってＥＯＧモデリング複雑性を低減するように機能し得ることを含み得る。ＥＯＧをリセットすることはＥＯＧの低確率態様を捨てることを含み得る。例えば、低確率マルチステートを有するオブジェクト状態モデリング、および／また複合オブジェクトモデリングは削除、低減またはそうでなければ単純化され得る。ＥＯＧをリセットすることは、ＥＯＧを維持する際に連続的に発生し得る。または、定期的に発生する可能性がある。例えば、ＥＯＧは業務時間中に日々リセットし得る。
図２０に示す１つの例示的シナリオでは、出荷用枠箱は未知組成を有する検知されたオブジェクトであり得る。取り去られたオブジェクトの相互作用事象と、単一箱のクッキーとしての当該オブジェクトの断定的分類後、ＥＯＧは、出荷用枠箱が多くのクッキー箱で既に充たされていたという知識により更新され得る。現状では、ＥＯＧ内の枠箱オブジェクトは、クッキー箱で既に充たされており、今は１つ少ないクッキー箱を有するとして更新されるであろう。出荷用枠箱の充填状態を推定することは、出荷用枠箱内に合うであろうクッキー箱の数を推定するために、出荷用枠箱およびクッキー箱の容積および寸法を利用し得る。この時点で、人により所有されたクッキー箱は、断定的分類のために高い信頼性で分類され、出荷用枠箱は、適度信頼水準で多くのクッキー箱を含むとしてモデル化され得る。適度信頼水準は、モデリングが結論を引き出すのに使用される柔軟な推論の結果であるので適度である（例えば１０％〜６０％のように零ではなくかつ高レベルではない）ことが好ましい。後で、第２のオブジェクトが異なるスナック箱として取り去られ分類されれば、ＥＯＧは再び更新されるであろう。今回、出荷用枠箱は、当初箱容積の２分の１がスナック箱により充たされ他の２分の１がクッキー箱へ当てられたと判断され得るが、出荷用枠箱の中身の信頼水準はさらに低いかもしれない。逆に、出荷用枠箱から取り去られた第２のオブジェクトが第１のものと同一である別のクッキー箱であり、容積計算結果が一致すれば、出荷用枠箱の残りが推定数（今や２未満）のクッキー箱を含む確率は上昇されるだろう。出荷用枠箱が最終的に空になり、カートンが廃棄されると、その数は再びチェックされる。すべてが予測通りに行けば、ＥＯＧシステムは、当該知識を使用して、次回ＥＯＧシステムが同様なコンテキスト（例えば、同様な出荷用枠箱としておよび／または同様な位置に位置する枠箱として分類される）を有するオブジェクトに遭遇するというその後の予測確率を重視することになる。
図２１に示す別の例示的シナリオでは、棚は３つのオブジェクトを含み得、前方の１つだけが断定的に分類され得る。最良のケースでは、棚オブジェクトは、含まれたオブジェクトの数およびタイプを示す履歴を有するだろう。そうでなければ、隠蔽されたオブジェクトが棚の子オブジェクトであり前方のオブジェクトと同じであるということが確率的に想定される。しかし、前方のオブジェクトが取り去さられ、以前隠蔽されたオブジェクトが元の予測とは異なるやり方で分類されれば、これは、他の隠蔽されたオブジェクトに関する想定を再評価することになり得る。これは図２１に示すように棚卸資産会計に影響を与え得る。
ＥＯＧの検査と実行
環境オブジェクトグラフを検査し関連行為を実行することを含むブロックＳ３００は、変更に影響を与えるためにＥＯＧを利用するおよび／またはそれと相互作用するように機能する。ＥＯＧは好適には、ある行為を実行するために検査される。行為は使用ケースに依存して変わり得る。検査することは、１つまたは複数のオブジェクトインスタンスの状態および関連特性を照会、アクセスまたはそうでなければ処理することを含み得る。
検査は追加的に、様々な規則、条件または他のアルゴリズムによりトリガされる自動検査であり得る。１つまたは複数のオブジェクトに関係するオブジェクト状態情報が、検査中に識別され得る。いくつかのケースでは、オブジェクト状態の処理は、ＥＯＧモデルをより実行可能なフォーマットに分割するために使用され得る。例えば、ショッピングアプリケーションにおけるＥＯＧの検査は、買物客オブジェクトにより所有される一群のオブジェクトに関係するオブジェクト状態を製品およびそれらの価格のリストへ分割することを生じ得る。
いくつかの変形形態では、実行された行為は、買物客のチェックアウトプロセスを容易にするために、または施設の在庫および運営を指示または管理する際に、などいくつかのアプリケーションにおいて利用され得る。他の変形形態では、実行された行為は、校正タスク、従業員要求、および／またはメディア保管をトリガするなどＥＯＧを維持および精緻化すること（環境内のオブジェクトをモデル化する際に計算能力を強化する恩恵を有し得る）に関係する行為に関係付けられ得る。
ＥＯＧによるチェックアウトの容易化
１つの特定実施形態では、本方法は自動チェックアウトへ少なくとも部分的に適用され得る。チェックアウト実施形態は好適には、分類されたＳＫＵオブジェクトを買物客オブジェクトへ関連付けることを介し仮想カートリスト（すなわちチェックアウトリスト）を確立することを含む。買物客オブジェクトは、顧客／人オブジェクト、カートオブジェクト、バスケット分類オブジェクト、バッグ分類オブジェクト、および／またはある集合の買物客関連オブジェクト（例えば買物客オブジェクト、様々なバッグオブジェクト、バスケットオブジェクト、および／またはカートオブジェクト）であり得る。
製品は通常、店内を移動する間に時間および空間的に様々な点で買物客によりカートへ追加されることになる。これらの製品は、チェックアウト領域に近づくと見えないかもしれない。しかし、上述の方法は、当該買物客／カートにより含まれるようにモデル化された製品を識別することにより、追跡される買物客が近づくと、チェックアウト用の仮想カートリストを生成するために複合オブジェクトモデリングにてこ入れし得る。１つの特にユニークな特性として、仮想カートの生成は、チェックアウトプロセスから空間的および時間的に除去された画像データにより達成され得る。仮想カートリストに基づく行為は、図３５に示すように、仮想カートリスト構築に繋がる観測とは異なる時間および空間において適用され得る。または、本方法は、各アイテムが買物客オブジェクトとのオブジェクト関連性の変化および仮想カートリストの生成に依存して個々に課金および／または払い戻されるマイクロトランザクションを支援し得る。
仮想カートリストにより行動を起こす際、本方法は、チェックアウト領域内の買物客関連オブジェクトを検知することと、図２２に示すような買物客の口座に課金することまたは図２３に示すような仮想カートリストによりチェックアウト処理システムを強化することのいずれかを含み得る。チェックアウトプロセスは、製品購入事象であり得るが、同様にアイテムの保有をユーザ口座に計上する可能性がある。例えば、自動チェックアウト実施形態は同様に、図書館またはアイテム貸し／借りアプリケーションにおいて適用される可能性がある。
チェックアウトプロセスを支援する際に使用されると、買物客の仮想カート内の期待ＳＫＵオブジェクトはチェックアウト処理システム（例えばチェックアウトキオスク）へ伝達され得る。
好適な実施では、これは、オブジェクト状態の検査中に、買物客関連オブジェクトインスタンスに関連付けられたＳＫＵ／製品オブジェクトインスタンスのチェックアウトリストを生成することと、行為を実行する際にチェックアウトリストを買物客関連オブジェクトインスタンスの近傍のチェックアウト処理システムへ伝達することとを含み得る。本方法は追加的に：チェックアウト処理システムにおいて、チェックアウト処理システムの未決トランザクションの製品の項目別リストを投入すること、および／またはチェックアウト処理システムにより入力される製品の選択をバイアスすることとを含み得る、
好適には、購入される製品の項目別リストは、ＳＫＵオブジェクトのリストに基づきチェックアウト処理システムへ自動的に入力される。１つの変形形態では、高信頼閾値で予測されたオブジェクトは自動的に追加され得、信頼性の中程度閾値以内のオブジェクトは、自動化された追加検査またはユーザインターフェース行為を通じて迅速に確認され得る（アイテムを手動でスキャンインすることとは対照的に）。いくつかの変形形態では、低信頼性を有するオブジェクトは、物理的アイテムをチェックするように従業員に警告するまたは未追加アイテムを手動で走査するように従業員に要求するなどの様々な手法で処理され得る。本方法は、セルフチェックアウトＰＯＳシステム、モバイルコンピューティング装置（例えばスマートフォンまたはウェアラブルコンピュータ）の消費者集中型アプリケーション、および／またはスタッフ配置型ＰＯＳシステムなどのチェックアウト処理システムによりチェックアウトを容易にするために使用され得る。
本方法は代替的に、買物客が製品を選択して店を離れることを可能にし、買物客が伝統的チェックアウトプロセスまたはキオスクを使用するのを軽減する完全自動セルフチェックアウトプロセスへ適用され得る。自動チェックアウトへ適用されると、本方法は同様に、ＳＫＵオブジェクトと買物客とを関連付けるが、追加的に、買物客と口座とを関連付けることと店を離れる際に所有されたＳＫＵオブジェクトに対し口座に課金することとを含み得る。買物客と口座とを関連付けることは、顔認識を介し買物客を識別することなど生体測定検知技術を利用し得る。
好適な実施形態では、これは、オブジェクト状態の検査中に、買物客関連オブジェクトインスタンスに関連付けられたＳＫＵ／製品オブジェクトインスタンスのチェックアウトリストを生成することと、行為を実行する際に：買物客関連オブジェクトインスタンスに関連付けられた口座へアクセスすることと、買物客関連オブジェクトインスタンスがチェックアウト領域内で検知されるとチェックアウトリストをユーザ口座へ課金することとを含み得る。
買物客と口座とを関連付けることは代替的に、接続装置（例えばスマートフォンまたはＲＦＩＤフォブ）の有無など口座の装置を検知することを含み得る。買物客と口座とを関連付けることは代替的に、キオスクまたはチェックアウトステーションにおいてクレジット、デビット、ギフトまたは支払いカードを使用することを含み得る。いかなる問題も買物客オブジェクト内に検知されなければ、買物客はこれ以上の相互作用無しに店を離れ得、領収書はキオスクまたはチェックアウトステーションへ電子的に運ばれてもよいしその場で印刷されてもよい。さらに別の変形形態では、買物客と口座とを関連付けることは能動的登録に関与し得る。例えば、買物客は「チェックイン」、「チェックアウト」、または口座が環境内のそれらの存在および活動へマッピングされることを可能にする何らかの行為を行うことを要求され得る。バンプ（bump）技術、ＮＦＣ、ＱＲおよび多くの他のチャネルがこの関連性を確立するために使用され得る。買物客の観点からは、買物客は店内に入り、１つまたは複数の製品を取り上げ、店から立ち去り得、買物客は、一組のアイテムに課金されたという通知をアプリケーションまたはメッセージングメディアを介し受信し得る。
自動チェックアウト実施形態は追加的に、顧客により所有されるとして現在モデル化された製品のプレビューを提示するように機能する、図２４に示すようなチェックアウト処理システムに先立って現在の仮想カートリストを提供することを含み得る。現在の仮想カートリストは、ＥＯＧシステムと通信するユーザアプリケーションを介し提供され得る。買物客は追加的に、誤りがあれば仮想カートリストを手動で編集する可能性がある。加えて、ユーザ入力が受信され、仮想カートリストを編集しそして次にＳ２４０を介しＥＯＧを更新する際に使用され得るユーザインターフェースが提示され得る。
１つの変形形態では、仮想カートはショッピング中には生成されず、その代わりに、仮想カートはチェックアウト領域内のＳＫＵオブジェクトを収集することによりチェックアウト領域内で生成される。この変形形態は、アイテムを取り上げチェックアウト領域に入る複数の顧客を支援する可能性があり、アイテムの組み合わせ集合が、単一購入トランザクションにおいて使用され得る仮想カートを生成する際に使用される。同様に、この手法は、バッグ、カート、および／または買物客上に個人的に保持しているアイテムの組み合せを使用している買物客のシナリオを柔軟に処理する可能性がある。顧客観点からは、チェックアウト領域内に持ち込まれる製品は、チェックアウトプロセス中に仮想カートへ自動的に追加されることになる。
１つの変形形態では、仮想カートに作用する前に、本方法は、オブジェクトモデリングを購入にふさわしい製品の縮小セットへ変換するように機能する、例示的図２５に示すような買物客オブジェクトに関連付けられたオブジェクトを仮想カートリストに分割することを含み得る。第１には、購入にふさわしいオブジェクトだけが仮想カートリストへ追加される。これは、買物客オブジェクトに関連付けられたＳＫＵオブジェクトを選択することを含み得る。これは追加的に、環境のショッピング領域内の買物客オブジェクトにより取得されたＳＫＵオブジェクトを選択することを含み得る。これは、顧客により環境内へ導入されたオブジェクトを考慮するように機能し得る。例えば、顧客が店内でも販売されているソーダの缶を持ち込めば、当該ソーダの缶は、環境内への入場中に（または代替的に、財布、バッグなどから生成されることにより）顧客に関連付けられ得、したがって仮想カートリストへ追加されないだろう。
買物客オブジェクトに関連付けられたオブジェクトを分割することは追加的に、オブジェクト分類信頼水準、製品価格、製品マージン、および／または他の運用特性を考慮することを含み得る。多くの事業運営では、ユーザ経験はそれ自身の値を有するが、誤りがなされれば、または、買物客によるチェックアウトのために選択された製品の満足な信頼水準より若干低い信頼水準をＥＯＧが有する場合に自動セルフチェックアウトを利用することを妨げられれば、顧客満足度も考慮するように仮想カートを調整する。
チェックアウトシステムインテグレーション
上述のように、本方法は、生成された仮想カートリストを供給することによりＰＯＳ運営を強化するためにチェックアウト処理システムとの統合をてこ入れし得る。上述のようなこの変形形態は通常、仮想カートリストをチェックアウト処理システムへ伝達することを含む。次に、チェックアウト処理システムにおいて受信された仮想カートリストは、アイテムリストをチェックアウト処理システム内に予め投入する際に使用され得る。チェックアウト処理システムは、従業員駐在ＰＯＳキオスク、顧客セルフチェックアウトキオスク、顧客向きアプリケーション（顧客のコンピューティング装置上で動作可能）、および／またはチェックアウトプロセスを容易にするために使用される任意の好適な装置であり得る。
仮想カートリストは代替的に、チェックアウト処理システムにより製品検知をバイアスする際に使用され得る。チェックアウト処理システムは、画像捕捉装置と、予め投入されたまたはバイアスされたアイテムリストがオブジェクト検知チャレンジを低減し得るオブジェクト検知とを利用し得る。チェックアウト処理システムは代替的に、ユーザインターフェース、バーコードスキャナ、および／またはチェックアウトのためにアイテムを追加する任意の好適な入力を利用し得る。これらの入力は、予測されたアイテムをより容易に検知するためにバイアスされ得る。例えば、ユーザインターフェースが潜在的アイテムを提示し得、従業員は、潜在的アイテムをカートへ追加するためにこれらを迅速に選択し得る。
ＰＯＳインテグレーションは追加的に、ＥＯＧモデリングおよび／またはトレーニングを更新する際に適用され得る。１つの変形形態では、オブジェクト分類は、チェックアウト処理システムにおいて画像データを収集することにより、そしてＥＯＧを更新する際に補足入力としてＰＯＳ入力（例えばバーコードスキャナ）により生成された製品ラベルを適用することにより、トレーニングされ得る。収集された画像データは、チェックアウト処理システムにおいてオブジェクトを店内の他のオブジェクトインスタンスに関係付けるＥＯＧ内のオブジェクトインスタンスおよび関連性を生成する際に使用され得る。製品ラベルは、ＥＯＧ全体にわたって他の関連オブジェクトインスタンスへ次に伝播され得る高信頼オブジェクト分類入力として働き得る。別の変形形態では、伝統的ＰＯＳチェックアウトプロセスを使用することにより生成された買物客の仮想カートは、ＥＯＧシステムをトレーニングする際に、買物客に関係するオブジェクトモデリングを訂正する際に、および／または更新されたオブジェクト状態をＥＯＧを介し伝播する際に使用され得る。例えば、買物客のために生成された仮想カートリストは、チェックアウト処理システムにおけるトランザクションにおいて請求された製品の項目別リストと比較され得る。ＥＯＧモデリングの精度はトレーニングされ得、エラーまたは更新されたデータはＥＯＧを介し伝搬し戻されるように使用され得る。これは、買物客に対してトランスペアレントに行われ得る。
ＥＯＧによる在庫管理の容易化
在庫管理へ向けられた実施形態では、本方法は追加的に、ＥＯＧを介し少なくとも部分的に駆動される在庫管理システムを提供することを含み得る。在庫管理システムは、出荷／発注追跡システムおよびチェックアウト処理システムなどの他の運用ロジスティックスシステムとの統合を含み得る。しかし、ＥＯＧとの統合により、提供される在庫管理システムは、細かい粒度の洞察を環境全体にわたるオブジェクト追跡に提示し得る。
１つの変形形態では、在庫管理システムを提供することは棚卸しおよび／または在庫位置などの在庫状態を報告することを含み得る。ＥＯＧモデルは、棚卸し推測を生成するために解析され得る。いくつかのケースでは、報告された棚卸しは追加的に、未知要素に基づき棚卸し変動の範囲を報告し得る。個々の在庫アイテム位置は追加的に、報告され得、在庫位置マップを生成する際に使用され得る。在庫位置マップは環境内の在庫アイテムのリアルタイム表現であり得る。加えて、ＥＯＧ内でモデル化されたオブジェクト関連性が同様に、在庫報告内に呈示され得る。様々なオブジェクトまたはコンテナの内容、および／または任意選択的に追加オブジェクトの容量が報告され得る。これらのオブジェクトはコンテナまたは保管要素であり得る。これは、環境が在庫収容能力を理解し得るように使用される可能性がある。例えば、在庫管理システムを提供することは、ＥＯＧ内の保管オブジェクトのうちの含まれたオブジェクトを解析することと期待保管能力を報告することとを含み得る。
一実施形態では、提供される在庫管理システムは、オブジェクトの場所を見つける際にまたはオブジェクトが在庫内に存在するかどうかを判断する際に使用され得る在庫照会サービスを呈示し得る。従業員および／または買物客は、アイテムの量およびアイテムの期待位置の近似値を判断するためにＥＯＧシステムを使用する特定アイテムのサービスを照会する可能性がある。どこにアイテムが位置するかを示すマップが表示され得る。または、拡張現実インターフェースがアイテムの位置を示す際に使用され得る。
個別オブジェクトがある粒度でＥＯＧ全体にわたって追跡され得るので、個々のメトリックはすべての在庫アイテム全体にわたって監視され得る。例えば、在庫管理システムを提供することは、環境内のオブジェクトの活動を追跡することを含み得る。オブジェクトの履歴は、それが保管されてきた様々な位置、それが接触してきた様々なオブジェクト、それを扱った従業員または機械、および／または環境内のオブジェクト履歴に関係する他の活動を含み得る。１つの特定アプリケーションでは、環境内のオブジェクトの活動を追跡することは、在庫アイテムの保管時間／保管寿命を報告することへ適用され得る。傷みやすい商品に関し、本方法は、オブジェクトと有効期限とを関連付けることと、在庫の期限切れプロファイルを追跡することとを含み得る。警告または通知は、特定在庫アイテムが期限切れに近づくと、または特定在庫アイテムの有効期限が過ぎて廃棄される必要があるとトリガされ得る。
別の変形形態では、在庫管理システムを提供することは在庫発注をトリガする際に使用され得る。基本レベルでは、これは、環境内の在庫がある閾値を下回ると発注をトリガすることを含み得る。いくつかのケースでは、在庫発注をトリガすることは、内部環境活動に基づき自動化され得る。例えば、個々のアイテム期限切れを追跡することと組み合わせられた購入履歴は、計画された在庫状態の理解を強化し得る。
別の変形形態では、在庫管理システムは、それらの通常位置の範囲外にあり失われたまたは誤って配置されたかもしれないアイテムを識別するために適用され得る。例示的シナリオとして、本方法は、石鹸アイル内の未買のクッキーの箱を発見し得、石鹸で一杯になった大きな出荷用箱が何か他のものより大きな出荷用箱の背後で隠された場合にさらなる石鹸を再発注することを防止し得る。
提供される在庫管理システムは追加的に、従業員に指示する際に、誤って配置されたアイテムを識別する際に、特定オブジェクトのメディアストリームの時刻表へアクセスする際に（これは、アイテム汚染が処理環境内で検知された場合のアプリケーションを有し得る）、など他の別のアプリケーションに使用され得る。
ＥＯＧ校正
本方法は追加的に、ＥＯＧ校正要求をトリガすることであって図２６に示すようにＥＯＧシステムを介し通知された課題に対処する際に使用される警告を生成し伝達するように機能することを含み得る。ＥＯＧ校正事象は好適には、低信頼性オブジェクトモデリングを有する課題を解決するための行為を促し得る。一実施形態では、ＥＯＧの校正プロセスは、ＥＯＧ内の低信頼性シナリオを検知することと、環境内で少なくとも１つの領域を規定するＥＯＧ校正要求を伝達することと、当該領域から入力された校正データを受信することと、校正データ入力により環境オブジェクトグラフを更新することとを含み得る。
一例では、校正要求が生成され、従業員またはロボット装置へ送信される。この要求は好適には、位置と恐らく校正されるべき課題とを規定する。次に、従業員またはロボット装置は、規定位置へ移動し、モデリングの信頼性を強化する際に使用され得る情報を収集し得る。
１つの変形形態では、解決事象はＥＯＧの在庫の精度の低信頼性中に、トリガされる。低信頼性事象は、ＥＯＧ内の１つまたは複数のオブジェクトインスタンスが、低信頼性を示すデータ表現を有すると検知され得る。１つのインスタンスでは、ＥＯＧは保管在庫の１つの特定領域の状態の低信頼性を有し得る。
解決事象はこの場合、従業員に環境の適切なエリアを検査するように要求することであって校正要求内に識別された環境内の領域から画像データおよび／または在庫状態データを収集することになることに関わり得る。画像データおよび／または在庫状態データは好適には、優先度を上げられた信頼水準でＥＯＧ内で更新され伝播される。１つの変形形態では、従業員は、ＥＯＧシステムを校正するように機能する在庫状態情報を手動で入力し得る。別の変形形態では、従業員またはロボットが、可動撮像装置を介し当該エリアに関する画像データを提供し得る。別の変形形態では、解決事象は、買物客により所有されるアイテムが低信頼性中に、トリガされる。買物客検査は、チェックアウトプロセスを容易にする際に適用可能かもしれない。上述の自動チェックアウト実施形態では、解決事象は、従業員が不正請求書を回避するために保有アイテムを検証する必要がある場合に買物客が店を離れると、トリガされ得る。買物客検査は代替的にまたは追加的に、万引きおよび盗難を防止するために適用可能かもしれない。
ＥＯＧ校正要求と独立にまたは関係して、本方法は、ある位置において校正入力を受信することを含み得る。校正入力は特定領域内のオブジェクトの状態に関するデータであり得る。校正入力は、オブジェクトの確認された分類または識別子を報告する際に、オブジェクトの計数を確認する際に、および／またはオブジェクトの欠落を確認する際に使用され得る。更新されたオブジェクト状態情報は好適には、ＥＯＧを介し伝播される。校正入力は、可動捕捉構成の画像捕捉装置からの詳細画像データから、バーコードまたはＳＫＵ入力装置から、ユーザ入力情報から収集され得る。校正ツールは校正入力を収集するために使用され得る。
環境内の更新された入力を提供するために従業員または可動カメラを採用することに加えて、校正要求は追加的に、画像データのヒューマン解析結果を取得する際に使用され得る。人間の従業員は選択的に、ＥＯＧを管理する際にメディアコンテンツのヒューマン解析結果を取り出すことにより画像処理を容易にする際に利用され得る。ヒューマン解析結果を取り出すことは、人間の解析の画像処理ケースを識別することと、解析要求を送信することと、解析応答を受信することとを含み得る。次に、この解析結果は、アルゴリズム的結果と同様なやり方で使用され得る。例えば、人間促進型オブジェクト分類がＣＶ駆動型分類の代わりに使用され得、相互作用事象の人間促進型分類および記述は、それらのインスタンスのアルゴリズム的およびデータ駆動型モデリングの代わりに使用され得る。冗長的ヒューマン解析要求が生成され、様々な従業員へ委任され得る。加えて、様々な画像処理ケースが様々な要因に依存して様々な従業員へ委任され得る。例えば、潜在的に疑わしい振る舞いを検証することに関係する画像解析が管理者へ委任され得、一方、オブジェクトを検知するのが困難なオブジェクト分類は若手の従業員へ委任され得る。１つの変形形態では、ヒューマン解析結果は、買物客により所有されるオブジェクトの信頼水準が閾値未満でありかつチェックアウト領域に近づく買物客が検知された場合、または潜在的チェックアウト事象が期待される場合に、選択的に呼び出され得る。従業員は好適には、一組の画像および／または映像を受信し得る。「何箱のシリアル箱を顧客が有しているか？」または「どのブランドのスープが選択されたか」などの特定問い合わせまたはチャレンジもまた呈示され得る。次に、従業員は内容を視覚的に精査し、人間促進型解析結果を提出し得る。
ＥＯＧオブジェクト規則および通知
本方法は追加的に、通知とカスタム化行為とを支援し得る。１つの変形形態では、本方法は、少なくとも１つの条件と行為とによりオブジェクト規則を構成することと；ＥＯＧを検査しオブジェクト規則の発生を検知することと；オブジェクト規則の行為をトリガすることとを含み得る。これは好適には、ＥＯＧシステムがカスタム化行為を容易にすることを可能にするように機能する。オブジェクト規則の条件は、多様なカスタム規則を巧みに作るためにオブジェクトの特性を利用し得る。条件のいくつかの例は、特定オブジェクト上の位置フェンス、特定オブジェクトタイプ間の近接性制限、オブジェクト配向規則、およびオブジェクト内容規則（例えば、その中に何が許され何が許されないか）を含み得る。
１つの変形形態では、カスタム化行為は、オブジェクト規則が内部または外部サービスまたはシステムをトリガし制御する際に使用され得るプログラム的行為を容易にし得る。１つの変形形態では、カスタム化行為は、構成されたウェブフック、コールバックＵＲＩ、スクリプト、および／またはいくつかの所定行為であり得る。規則に関係する少なくとも部分的オブジェクト状態情報は、受け手側サービスまたは装置がオブジェクト状態情報を使用し得るように、ウェブフック、コールバックＵＲＩ、またはスクリプトをトリガすることにより伝達され得る。
別の変形形態では、オブジェクト規則は、データを報告するまたは特定時刻に情報を送信する際に使用され得る。これは、伝達事項を送信先へ送信するための通知システムの利用を含み得る。したがって、本方法は、オブジェクト条件を満足すると通知を送信することを含み得る。通知は、カスタム化オブジェクト規則に基づき得るが、追加的に、本システム内で事前構成される可能性がある。
ＥＯＧデータ保管
本方法は追加的に、メタメディア保管を可能にするためにＥＯＧに従ってバルクメディアまたはメタデータを保管することを含み得る。映像および未圧縮データ保管は高価でありかつ資源集約的であり得る。ＥＯＧは、環境内のオブジェクト相互作用およびオブジェクト関係を特徴付け、したがって、当該環境内の事象およびオブジェクト状態のデータ効率的表現を提供し得る。ＥＯＧは、メディアを補足するために使用され得、いくつかのケースでは、捕捉された個別オブジェクトがオブジェクト情報をＥＯＧ内に保管しているので、低分解像度メディア保管、またはメディア保管の欠落を可能にする。メディア記録は追加的に、特定事象において有用であり得る。所定時刻において、環境内の所与位置において、ＥＯＧは、環境内のオブジェクトのその内部表現の変動信頼度を有することになる。撮像装置のメディア保管の特性は、メディアに関連付けられたローカル信頼水準に基づき動的に調整され得る。
具体的には、本方法は、図２７に示すように、一組のメディアコンテンツセグメントについて、ＥＯＧのモデリング信頼性を判断することと、モデリング信頼性に基づき内容表現を選択することと、選択されたメディア表現に従って内容表現を保管することとを含み得る。内容表現は好適には、メディア表現と、メディア表現に関連付けられた少なくとも１つのモデル化データ表現とを含む一組の選択肢から選択される。好適には、ＥＯＧを構成することを表すモデル化データが両状況において保管される。内容表現はさらに、メディア保管の様々な特性を設定することにより調整され得る。メディア保管の特性は、保管期間、解像度、フレームレート、メディアセグメントのクロッピング、および／または他の態様を含み得る。保管期間は、どれくらい長くメディア表現が保管されるかを判断する。
ＥＯＧが特定メディアセグメント内の調査領域内に位置するオブジェクトのより高い信頼性を有すると、対応メディアは、より短い時間の間そして低減されたメディアフォーマットで保持され得る。ＥＯＧが特定メディアセグメント内の調査領域内に位置するオブジェクトのより低い信頼性を有すると、メディア保管は、より長い時間の間および／または強化されたメディアフォーマットで保持され得る。例えば、在庫アイテムの未訪問アイルを視るビデオカメラは、単純なメタデータ表現として保管されるメディアを有し得、買物客が相互作用事象を有するアイル（何が発生したかに関する高水準の不確定性が存在する）を視るビデオカメラは、より長く保管され得る。これにより、その後の検査を可能にする。
ＥＯＧの信頼水準に加えて、メディア保管は、関与するオブジェクト特にオブジェクトの値に基づき得る。例えば、高価な商品との疑わしい相互作用を有する買物客を捕捉するメディアは、じゃがいもと相互作用する買物客のメディアより長い期間保管され得る。同様に、高い値（金銭的に、またはその他で）を有するオブジェクトを保有するようにモデル化された買物客は、環境内を進むにつれて買物客を捕捉するメディアコンテンツセグメントのより高い忠実性および寿命で保管されたメディアを自動的に有し得る。
同様なやり方で、メディア保管は、人オブジェクト関連性に従って動的に管理され得る。買物客は環境全体にわたって追跡され得る。買物客がチェックアウトすると、本方法は、ＥＯＧ内の関連買物客オブジェクトとＰＯＳ明細領収書との間の差異の程度を調和させ得る。買物客オブジェクトの含まれたＳＫＵオブジェクトが領収書に一致すれば、メディアの保管は優先度を下げられ得る。買物客オブジェクトの含まれたＳＫＵオブジェクトが領収書と矛盾すれば、メディアの保管は矛盾の程度（例えば製品の数、製品の価値）に基づき優先付けられ得る。すべての買物客にわたって使用されると、いかなる買物客にも関連付けられないメディアまたはほとんど関心の無い買物客に関連付けられたメディアは、より短い時間の間保持されてもよいし、低品質フォーマットで保管されてもよい。いくつかの懸念がある買物客に関連付けられたメディアは、より長い時間の間および／またはより高品質なフォーマットで保持され得る。
４．チェックアウトの方法
環境オブジェクトモデリングの方法は上に論述したように多様なシナリオへ適用され得る。買物客のチェックアウトリストの生成を容易にするおよび任意選択的にトランザクションの実行を容易にする方法のアプリケーションは１つの例示的アプリケーションである。図２８に示すように、本方法は、好適な実施形態のチェックアウトリスト生成へ適用される際に、環境全体にわたって画像データを収集することＳ４１０と；確率的オブジェクト関連性を有するオブジェクトの少なくとも１つのサブセットを含むＥＯＧが環境全体にわたって時間および空間的に分類されたオブジェクトのデータ表現である場合に画像データからＥＯＧを維持することＳ４２０であって、少なくとも１つのインスタンスにおいて、ＥＯＧ内の買物客オブジェクトと別のオブジェクトとを分類し関連付けることＳ４３０を含むＳ４２０と；買物客オブジェクトに確率的に関連付けられたオブジェクトを検査し、これによりチェックアウトリストを生成することＳ４４０とを含み得る。本明細書で説明された変形形態のうちの任意のものは同様に、チェックアウトリスト生成に適用される方法と組み合わせて使用され得る。特に、本方法は、別のエリアに作用し得る１つの位置（例えばショッピングフロア上）においてなされる製品選択を判断するために画像データとＥＯＧベースモデリングとを利用するために使用され得る。いくつかの変形形態では、行為は、当該領域内のオブジェクトの存在を確認する画像データの存在しない１つの領域内の買物客存在に基づきトリガされ得る。
環境オブジェクトグラフを維持することは好適には、更新されたＥＯＧを維持する際に上述のプロセスの反復実行を含むことになる。ＥＯＧを維持することの文脈では、チェックアウトプロセスを容易にすることに関係するので、環境オブジェクトグラフを維持することは、買物客オブジェクトと別のオブジェクトとを分類し関連付ける少なくとも１つのインスタンスを含む。買物客オブジェクトは、顧客／人オブジェクト、カートオブジェクト、バスケット分類オブジェクト、バッグ分類オブジェクト、および／またはある集合の買物客関連オブジェクト（例えば買物客オブジェクト、様々なバッグオブジェクト、バスケットオブジェクト、および／またはカートオブジェクト）であり得る。他のオブジェクトはＳＫＵオブジェクト（例えば、購入、賃貸、またはトランザクションへの関与にふさわしい製品）であり得る。オブジェクト−買物客関連性の複数のインスタンスが、複数製品を含むチェックアウトリストが生成され得るように確立され得る。
好適には、ＥＯＧを維持ししたがってチェックアウトリストの生成に影響を与える際に遭遇され得る複数の潜在的ＥＯＧモデリングシナリオが存在する。シナリオは：様々な数のオブジェクトおよび買物客オブジェクト；買物客オブジェクトとのオブジェクト関連性の追加および除去；オブジェクト分類および関連性の信頼水準の変更；および／または他の好適なシナリオを含み得る。
図２９に示すように、ＥＯＧを維持することの１つの例示的インスタンスは：画像データ内に捕捉された第１の領域において、第１のオブジェクトと少なくとも１つの買物客オブジェクトとを分類することと；第１の領域において、第１のオブジェクトと買物客オブジェクト間の相互作用事象を検知することと、環境オブジェクトグラフを更新することであって第１のオブジェクトは買物客オブジェクトへ確率的に関連付けられることとを含み得る。これは、当該製品を保有するまたは含むように製品を選択する買物客オブジェクトをモデル化するように機能し得る。これらのプロセスは好適には、買物客がカートまたは自身のポケットへ製品を加えると実行される。第１のオブジェクトは、初期信頼水準で買物客オブジェクトと確率的に関連付けられ得；チェックアウトリストを生成することは、信頼性閾値を満足する信頼水準を有するオブジェクトをチェックアウトリストへ加えることを含む。ＥＯＧを検査した後にチェックアウトリストを生成することは追加的に、製品価格、顧客購入履歴、および／または他の要因を織り込み得る。例えば、本システムは、顧客が、信頼できない顧客と比較して信頼され得る頻繁顧客かどうかに依存する動的信頼性閾値必要要件を有し得る。
別の例示的インスタンス、ＥＯＧを維持することは、オブジェクトと買物客オブジェクトとの関連性がその後の観測により変更され得るように適用され得る。このシナリオでは、上に論述された第１のオブジェクトは、ある信頼水準を有する所有されたオブジェクトとしての買物客オブジェクトと確率的に関連付けられ、図３０に示すように、ＥＯＧを維持することはさらに：画像データ内に捕捉された第３の領域において、第２のオブジェクトと買物客オブジェクトとを分類することと；所有されたオブジェクトとしての第２のオブジェクトと第２の信頼水準を有する買物客オブジェクトとを関連付けることと；ＥＯＧを更新することであって第１の信頼水準は第２の信頼水準に応じて少なくとも部分的に変更されることとを含み得る。信頼水準のこの変更は、オブジェクトの信頼性を増加または低減し得る。いくつかのケースでは、信頼水準は、第１のオブジェクトの主分類が変化し得るように変化し得る。例えば、第１のオブジェクトは当初、特定シリアルＳＫＵアイテムへの関連性が無い一般的なシリアルの箱として分類され得る。しかし、買物客オブジェクトに関連した特定シリアルＳＫＵアイテムとしての第３のオブジェクトの分類は、第１のオブジェクトが特定ＳＫＵアイテムであるとしてモデル化されるように当該情報の伝播を生じ得る。
別の例示的インスタンスでは、ＥＯＧを維持することは、オブジェクト関連性がＥＯＧへの他の入力の結果として除去または関連性解除され得るように適用され得る。図３１に示すように、上に論述された第１のインスタンス後の第２のインスタンス中、ＥＯＧを維持することは第１の領域において、第１のオブジェクトを分類することを含み得；環境オブジェクトグラフを更新することは第１のインスタンスにおいて第１のオブジェクトと買物客オブジェクトとの関連性を除去することを含む。
別の例示的インスタンスでは、複合オブジェクトモデリングは、１つまたは複数のオブジェクトとの複合オブジェクト関連性を有するモデル化オブジェクトが、含まれたオブジェクトと買物客とを関連付けるために使用され得るように、ＥＯＧを維持する際に使用され得る。図３２に示すように、別のインスタンス中、ＥＯＧを維持することは：画像データ内に捕捉された第３の領域において、オブジェクトと買物客オブジェクトとを分類することであってオブジェクトは確率的に含まれたオブジェクトとの複合オブジェクトであることと；第３の領域において、第１のオブジェクトと買物客オブジェクト間の相互作用事象を検知することと；ＥＯＧを更新することであってオブジェクトおよびオブジェクトの確率的に含まれるオブジェクトは買物客オブジェクトと確率的に関連付けられることとを含み得る。例えば、アイテムの箱を取り上げた買物客は、それに関連付けられチェックアウトリストへ個々に加えられたたそれらの個々のアイテムを有し得る。
上に論述したように、２つ以上のオブジェクトの関連性を生じ得る相互作用事象の様々な形式が存在し得る。１つの変形形態では、相互作用事象は、オブジェクトと近接性閾値を満足する買物客オブジェクトとの間の近接性を検知することを含み得る。近接性閾値は、オブジェクト分類、位置、買物客履歴またはプロファイルデータ、および／または他の好適な要因などの様々な条件に基づき変化し得る。相互作用事象は追加的にまたは代替的に、画像データ内のアルゴリズム的に検知された身振りまたは事象を含む可能性がある。相互作用事象は同様に、単純なオブジェクト分類またはオブジェクト追跡変更であり得る。例えば、以前に追跡されたオブジェクトが、再取得無しに視界から消えれば、当該の以前に追跡されたオブジェクトとすぐそばの買物客との関連性を生じ得る相互作用事象がモデル化され得る（近接性に基づき相互作用事象をトリガすること無しに）。
チェックアウトリストを生成する方法は、チェックアウトプロセスを容易にするおよび／またはチェックアウト処理装置の動作を強化するなど多様なアプリケーションにおいて適用され得る。１つの変形形態では、本方法は、において容易に使用され得る。
図２９にも示す変形形態では、本方法は追加的に：画像データ内に捕捉された第２の領域において、買物客オブジェクトを検知し、チェックアウトリストによりチェックアウトプロセスを開始することを含み得る。より好適には、チェックアウトプロセスと課金トランザクションは、以下をさらに含む方法により自動的に実行され得る：買物客オブジェクトに関連付けられた口座へアクセスすること；チェックアウトプロセスを開始する際に、第２の領域へ入った後にチェックアウトリストをユーザ口座へ課金すること。課金は好適には、クレジットカード情報などの支払い選択肢を含むが、代替的に、クレジットを含んでもよいし、口座から引き落とされたアイテムの継続計算書を有してもよい。チェックアウトプロセスは、当該第２の領域内の買物客オブジェクトにより所有される製品の明示的観測とは無関係に開始され得る。第２の領域は店の特定領域であり得る。１つの変形形態では、第２の領域は、店出口における領域であってもよいし店出口へ至る前の領域であってもよい。
上記方法と同様に、チェックアウトリストを生成する方法は、複数の画像捕捉装置を有するシステムおよび／または単一画像捕捉装置を有するシステムにおいて使用され得る。複数のカメラを有する自動チェックアウト変形形態では、第１の領域は第１のカメラからの画像データ内に捕捉され得、第２の領域は第２のカメラからの画像データ内に捕捉され得る。または、第１の領域と第２の領域は、単一カメラによる本方法の実行を可能にし得る１台のカメラからの画像データ内に捕捉され得る。例えば、小さな壁に並べられた製品群は１台のカメラにより監視され得、顧客は、１つを選択することによりこの壁からアイテムを購入し立ち去る可能性がある。
別の変形形態では、本方法は従業員駐在ＰＯＳキオスク、セルフチェックアウトＰＯＳキオスク、またはセルフチェックアウト用の顧客向きスマートフォンアプリケーションなどのチェックアウト処理システムの動作を変更する際に使用され得る。チェックアウト処理システムの動作を変更するために使用される変形形態では、チェックアウトプロセスを開始することは、チェックアウトリストを第２の領域内のチェックアウト処理システムへ伝達することを含み得る。これは、第２の領域に対しＥＯＧを介し追跡される買物客オブジェクトの位置に基づきトリガされ得る。例えば、買物客がセルフチェックアウトキオスクへ近づくと、当該買物客のチェックアウトリストは特定セルフチェックアウトキオスクへ伝達され得る。
伝達されたチェックアウトリストは様々なやり方で使用され得る。１つの変形形態では、本方法は、チェックアウト処理システムにおいて、チェックアウトリストからのアイテムをチェックアウト処理システムに投入することを含み得る。例えば、上記例におけるセルフチェックアウトキオスクは、スクリーン上のチェックアウトリストを自動的に更新および提示する可能性がある。次に、買物客は、トランザクションを完了するために支払いを確認するおよび／または支払いを行う可能性がある。本方法は追加的に、チェックアウト処理システムにおいてチェックアウトリストを編集することを支援する可能性がある。いくつかの変形形態では、チェックアウトリストのサブセットが、高信頼モードおよび確認モードなどの様々なモードで予め投入され得る。確認モードで予め投入されたアイテムは、アイテムの識別を確認または精緻化するためのユーザ入力を要求し得る。高信頼モードで追加されるアイテムは当初、明示的な確認無しに追加され得る。
別の変形形態では、伝達されたチェックアウトリストは、チェックアウトリスト内のアイテムのためのチェックアウト処理システムの製品入力をバイアスする際に使用され得る。このチェックアウトリストは、チェックアウト処理システムにより様々なやり方で使用され得る。１つの変形形態では、このチェックアウトリストは、製品選択のためのメニュー選択肢のナビゲーションを変更し得る。
生成されたチェックアウトリストは追加的に、他のシナリオにおいて使用され得る。１つの変形形態では、これは、買物客の選択されたアイテムと買物客のアプリケーションインスタンスとを同期させるのに使用され得る。この変形形態の方法は、買物客オブジェクトに関連付けられた口座へアクセスすることと；課金のアプリケーションインスタンスにおいて、チェックアウトリストを提示することとを含み得る。アプリケーションインスタンスへ同期され伝達されると、チェックアウトリストは様々なアプリケーションに使用され得る。一例では、チェックアウトリストは、顧客がアイテムをチェックアウトするに先立って全請求額のリアルタイム計算書を有することを可能にし得る。より具体的な例では、顧客はアイテムを単純に取り上げ、自身の電話またはウェアラブルコンピュータ上のアプリケーション上に反映された当該アイテムの価格を見る可能性がある。同期されたチェックアウトリストは追加的に、買物リスト、クーポン、特別ディスカウント、および／または他のアプリケーションに関係するアプリケーションにおいて使用される可能性がある。
実施形態の他のシステムおよび方法は、コンピュータ可読命令を保管するコンピュータ可読メディアを収容するように構成された機械として少なくとも部分的に具現化および／または実現され得る。命令は、アプリケーションと一体化されたコンピュータ実行可能部品、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インターフェース、ユーザコンピュータまたはモバイル装置のハードウェア／ファームウェア／ソフトウェア要素、リストバンド、スマートフォン、眼鏡、ウェアラブル装置、カメラ、撮像装置、またはそれらの任意の好適な組み合せにより実行され得る。実施形態の他のシステムおよび方法は、コンピュータ可読命令を保管するコンピュータ可読メディアを収容するように構成された機械として少なくとも部分的に具現化および／または実現され得る。命令は上述のタイプの装置およびネットワークと一体化されたコンピュータ実行可能部品により一体化されたコンピュータ実行可能部品により実行され得る。コンピュータ可読メディアは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学装置（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブまたは任意の好適な装置など任意の好適なコンピュータ可読メディア上に保管され得る。コンピュータ実行可能部品はプロセッサであり得るが、任意の好適な専用ハードウェア装置が命令を（代替的にまたは追加的に）実行し得る。
当業者が先の詳細説明と添付図面および特許請求の範囲から認識するように、修正および変更は、以下の特許請求の範囲で定義される本発明の範囲から逸脱することなく本発明の実施形態に対してなされ得る。

Claims (44)

  1. チェックアウトプロセスを促進する方法であって
    ・環境全体にわたって画像データを収集することと；
    ・前記画像データから環境オブジェクトグラフを維持することであって、前記環境オブジェクトグラフは、前記環境全体にわたる時間および空間におけるコンピュータビジョン分類型オブジェクトのデータ表現であり、確率的オブジェクト関連性を有するオブジェクトの少なくとも１つのサブセットを含む、維持することと；
    ・前記環境オブジェクトグラフを維持することは、
    ・前記画像データ内に捕捉された第１の領域内で、第１のオブジェクトと少なくとも１つの買物客オブジェクトとを分類することと；
    ・前記第１の領域内で、前記第１のオブジェクトと前記買物客オブジェクト間の相互作用事象を検知することと、
    ・前記環境オブジェクトグラフを更新することであって、これにより前記第１のオブジェクトは前記買物客オブジェクトに確率的に関連付けられる、更新することとのうちの少なくとも１つのインスタンスを含み：前記方法はさらに、
    ・前記買物客オブジェクトに確率的に関連付けられたオブジェクトを検査し、これによりチェックアウトリストを生成することとを含む方法。
  2. 前記画像データ内で捕捉された第２の領域内で、前記買物客オブジェクトを検知し、前記チェックアウトリストによりチェックアウトプロセスを開始することをさらに含む請求項１に記載の方法。
  3. 前記買物客オブジェクトに関連付けられた口座へアクセスすることをさらに含む請求項２に記載の方法であって、前記チェックアウトプロセスを開始することは前記第２の領域へ入った後に前記チェックアウトリストを前記口座へ課金することを含む、方法。
  4. 前記チェックアウトプロセスを開始することは、前記チェックアウトリストを前記第２の領域内のチェックアウト処理システムへ伝達することを含む、請求項３に記載の方法。
  5. 前記チェックアウト処理システムにおいて、前記チェックアウトリストからのアイテムを前記チェックアウト処理システムへ投入することをさらに含む請求項４に記載の方法。
  6. 前記チェックアウトリスト内のアイテムの前記チェックアウト処理システムの製品入力をバイアスすることをさらに含む請求項５に記載の方法。
  7. 前記第１のオブジェクトは、初期信頼水準を有する前記買物客オブジェクトへ確率的に関連付けられ；
    前記チェックアウトリストを生成することは、信頼性閾値を満足する信頼水準を有するオブジェクトを前記チェックアウトリストへ加えることを含む、請求項２に記載の方法。
  8. 前記第１の領域は第１のカメラからの画像データ内で捕捉され、前記第２の領域は第２のカメラからの画像データ内で捕捉される、請求項２に記載の方法。
  9. 前記第１の領域と前記第２の領域は１台のカメラからの画像データ内に捕捉される、請求項２に記載の方法。
  10. 前記第１のオブジェクトは、第１の信頼水準を有する所有されたオブジェクトとして前記買物客オブジェクトと確率的に関連付けられ、第２のインスタンスにおいて前記環境オブジェクトグラフを維持することは：
    ・前記画像データ内で捕捉された第３の領域内で、第２のオブジェクトと前記買物客オブジェクトとを分類することと、
    ・所有されたオブジェクトとしての前記第２のオブジェクトと第２の信頼水準を有する前記買物客オブジェクトとを関連付けることと；
    ・前記ＥＯＧを更新することであって、前記第１の信頼水準は前記第２の信頼水準に応じて少なくとも部分的に変更される、更新することと、を含む、請求項２に記載の方法。
  11. 前記買物客オブジェクトに関連付けられた口座へアクセスすることと；前記口座のアプリケーションインスタンスにおいて、前記チェックアウトリストを提示することとをさらに含む請求項１に記載の方法。
  12. 前記第１のインスタンス後の第２のインスタンスにおいて前記環境オブジェクトグラフを維持することは：前記第１の領域において、前記第１のオブジェクトを分類することと、前記環境オブジェクトグラフを更新し、これにより前記第１のインスタンスにおける前記第１のオブジェクトと前記買物客オブジェクトとの関連性を除去することとを含む、請求項１に記載の方法。
  13. 第２のインスタンスにおいて前記環境オブジェクトグラフを維持することは：
    ・前記画像データ内で捕捉された第２の領域において、第２のオブジェクトと前記買物客オブジェクトとを分類することであって、前記第２のオブジェクトは確率的に含まれたオブジェクトとの複合オブジェクトである、分類することと、
    ・前記第２の領域において、前記第１のオブジェクトと前記買物客オブジェクト間の相互作用事象を検知することと、
    ・前記ＥＯＧを更新し、これにより、前記第２のオブジェクトと前記第２のオブジェクトの前記確率的に含まれたオブジェクトは、前記買物客オブジェクトに確率的に関連付けられる、更新することとを含む、請求項１に記載の方法。
  14. 前記第１のオブジェクトと前記買物客オブジェクト間の前記相互作用事象を検知することは、近接性閾値を満足する前記第１のオブジェクトと前記買物客オブジェクト間の近接性を検知することを含む、請求項１に記載の方法。
  15. 前記第１のオブジェクトと前記買物客オブジェクトとを分類することは、分類中にコンピュータビジョン駆動型プロセスを適用することであって、前記コンピュータビジョン駆動型プロセスは、少なくとも画像特徴抽出および分類とニューラルネットワークのアプリケーションとを含む、適用することを含む、請求項１に記載の方法。
  16. ・環境全体にわたって画像データを収集することと；
    ・前記画像データから環境オブジェクトグラフを維持することとを含む方法において、前記環境オブジェクトグラフを維持することは、
    ・オブジェクトを分類し、対応オブジェクトインスタンスを環境オブジェクトグラフ内に保管することと、
    ・オブジェクト位置を追跡し、オブジェクト経路内のオブジェクトインスタンスの関連性を確立することと、
    ・相互作用事象を検知し、検知された相互作用事象のサブセットの事象インスタンスに関し、前記相互作用事象に関与する少なくとも２つのオブジェクトインスタンスのオブジェクト関連性を生成することと、
    ・オブジェクト関連性全体にわたって少なくとも１つのオブジェクトインスタンスにおける変更を伝播することを含み前記環境オブジェクトグラフを更新することと；
    を含む繰り返しプロセスであり、前記方法はさらに、
    ・前記環境オブジェクトグラフ内の少なくとも１つのオブジェクトインスタンスのオブジェクト状態を検査し、前記オブジェクト状態に関連付けられた行為を実行することを含む、方法。
  17. 画像データを収集することは、環境全体にわたって分散された複数の画像捕捉装置から画像データを収集することを含む、請求項１６に記載の方法。
  18. 環境全体にわたって分散された複数の画像捕捉装置から画像データを収集することは、在庫保管捕捉構成、相互作用捕捉構成、オブジェクト識別捕捉構成、および可動捕捉構成から選択される少なくとも２つの画像捕捉構成を含む一組の画像捕捉装置から画像データを収集することを含む、請求項１７に記載の方法。
  19. 前記相互作用事象を検知することは、第１の分類の第１のオブジェクトと、近接性閾値を満足する第２の分類の少なくとも１つの第２のオブジェクトとの間の近接性を検知することを含む、請求項１６に記載の方法。
  20. 前記相互作用事象を検知することは：少なくとも１つの相互作用事象に関して、オブジェクト近接事象を検知することと、少なくとも１つの第２の相互作用事象に関して、オブジェクト変換事象を検知することとを含む、請求項１６に記載の方法。
  21. 前記オブジェクト変換事象を検知することは、オブジェクト出現事象、オブジェクト消失事象、およびオブジェクト分類変更事象の組から選択されたオブジェクト変換を検知することを含み得る、請求項２０に記載の方法。
  22. オブジェクトを分類することは、少なくとも１つの製品オブジェクト、複合オブジェクト、および人オブジェクトを含む一組の潜在的オブジェクトタイプのうちの１つとしてオブジェクトを識別することを含み得る、請求項１６に記載の方法。
  23. 前記環境オブジェクトグラフを維持することはさらに、前記環境オブジェクトグラフ内のオブジェクトインスタンスを、少なくとも１つのオブジェクトとの階層的関連性を確率的に有するとしてインスタンス化することを含む、請求項１６に記載の方法。
  24. 前記環境オブジェクトグラフを維持することはさらに、オブジェクトインスタンスの少なくとも２つの確率的に可能な状態をインスタンス化することを含む、請求項１６に記載の方法。
  25. オブジェクトを分類することは、第１の組の候補オブジェクトの初期分類モデルを介しオブジェクトを分類することと、前記初期分類モデルを介した前記オブジェクトの分類が分類条件を満たさなければ第２の組の候補オブジェクトの少なくとも第２の拡張分類モデルを介し前記オブジェクトを分類することとを含む、請求項１６に記載の方法。
  26. オブジェクトを分類することは、購買パターン、顧客購入履歴、および製品価格の組から選択された補足入力を取り出すことと；前記補足入力のうちの１つに少なくとも部分的に基づきオブジェクトを分類することとを含む、請求項１６に記載の方法。
  27. 画像データを収集することは、チェックアウト処理システムにおいて画像データを収集することと；前記環境オブジェクトグラフを更新する際に補足入力としてＰＯＳ入力により生成される製品識別子を適用することとを含む、請求項１６に記載の方法。
  28. オブジェクト状態を検査して行為を実行することは：
    前記環境オブジェクトグラフ内の低信頼性シナリオを検知することと；
    前記環境の少なくとも１つの領域を規定する環境オブジェクトグラフ校正要求を伝達することと；
    前記領域から入力された校正データを受信することと、
    前記校正データ入力により前記環境オブジェクトグラフを更新することとを含み得る、請求項１６に記載の方法。
  29. オブジェクト状態を検査することは、買物客関連オブジェクトインスタンスに関連付けられた製品オブジェクトインスタンスのチェックアウトリストを生成することを含む、請求項１６に記載の方法。
  30. 行為を実行することは：前記買物客関連オブジェクトインスタンスに関連付けられた口座へアクセスすることと、前記買物客関連オブジェクトインスタンスがチェックアウト領域内で検知されると前記チェックアウトリストを前記口座へ課金することとを含む、請求項２９に記載の方法。
  31. 行為を実行することは、前記買物客関連オブジェクトインスタンスの近傍のチェックアウト処理システムへ前記チェックアウトリストを伝達することを含む、請求項２９に記載の方法。
  32. 行為を実行することは、前記環境オブジェクトグラフを介し少なくとも部分的に駆動される在庫管理システムを提供することを含み、
    前記在庫管理システムを提供することは：製品の保管寿命を報告することと、製品計数を報告することと、製品位置を報告することと、コンテナ内容を報告することとを含む、請求項１６に記載の方法。
  33. 一組のメディアコンテンツセグメントについて、
    前記環境オブジェクトグラフ内のモデリング信頼性を判断すること；
    前記モデリング信頼性に基づき内容表現を選択することであって、前記一組の選択肢から選択された前記内容表現は少なくとも１つのモデル化データ表現とメディア表現とを含む、選択することと；
    前記内容表現を保管することとをさらに含む請求項１６に記載の方法。
  34. 少なくとも１つの条件と行為とによりオブジェクト規則を構成することをさらに含む請求項１６に記載の方法であって、オブジェクト状態を検査して行為を実行することは、前記オブジェクト規則の発生を検知することと前記オブジェクト規則の前記行為をトリガすることとを含む、方法。
  35. オブジェクトを分類することは、少なくとも画像特徴抽出および分類と畳み込みニューラルネットワークとを含むコンピュータビジョン駆動型プロセスを適用すること、を含む、請求項１６に記載の方法。
  36. ・環境内の画像データを収集するように構成された撮像システムと；
    ・前記画像データから環境オブジェクトグラフを維持するように構成された処理エンジンであって、前記環境オブジェクトグラフは、前記環境全体にわたる時間および空間における分類型オブジェクトのデータ表現であり、確率的オブジェクト関連性を有するオブジェクトの少なくとも１つのサブセットを含む、エンジンとを含むシステムにおいて、
    ・前記処理エンジンはさらに：
    ・前記画像データ内のオブジェクトを分類し、対応オブジェクトインスタンスを前記環境オブジェクトグラフ内に保管し、
    ・オブジェクト位置を追跡し、オブジェクト経路内のオブジェクトインスタンスの関連性を確立し、
    ・相互作用事象を検知し、検知された相互作用事象のサブセットの事象インスタンス毎に、前記相互作用事象に関与する少なくとも２つのオブジェクトインスタンスのオブジェクト関連性を生成し、
    ・前記環境オブジェクトグラフを更新し、少なくとも１つのオブジェクトインスタンスの変更をオブジェクト関連性全体にわたって伝播するように構成される、システム。
  37. 前記撮像システムが、在庫保管捕捉構成の画像捕捉装置、相互作用捕捉構成の画像捕捉装置、オブジェクト識別捕捉構成の画像捕捉装置、および可動捕捉構成の画像捕捉装置を含む請求項３６に記載のシステム。
  38. 前記処理エンジンはさらに：前記環境オブジェクトグラフ内の第１の組のオブジェクトインスタンスを複合オブジェクトモデリングによりインスタンス化し、前記環境オブジェクトグラフ内の第２の組のオブジェクトインスタンスを確率的マルチステートモデリングによりインスタンス化するように構成される、請求項３６に記載のシステム。
  39. 前記環境オブジェクトグラフ内の買物客オブジェクトインスタンスに関連付けられたオブジェクトインスタンスを検査し、製品のチェックアウトリストを生成するように構成された仮想カート管理システムをさらに含む請求項３６に記載のシステム。
  40. 前記仮想カート管理システムはさらに、前記買物客関連オブジェクトインスタンスがチェックアウト領域において検知されると前記買物客オブジェクトインスタンスに関連付けられた口座へアクセスし、前記チェックアウトリストを前記口座へ課金するように構成される、請求項３９に記載のシステム。
  41. チェックアウト処理システムをさらに含む請求項３９に記載のシステムであって、前記チェックアウトリストは前記チェックアウト処理システムへ伝達される、システム。
  42. 前記環境オブジェクトグラフへの検査インターフェースを含む在庫管理システムをさらに含む請求項３６に記載のシステム。
  43. 前記環境オブジェクトグラフと連携して動的メディアコンテンツ表現を保管するように構成されたメタメディア保管システムをさらに含む請求項３６に記載のシステム。
  44. 校正データ入力を前記処理エンジンへ提供するように構成された校正ツールをさらに含む請求項３６に記載のシステム。
JP2018557901A 2016-05-09 2017-05-09 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 Active JP7009389B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022003274A JP7422792B2 (ja) 2016-05-09 2022-01-12 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662333668P 2016-05-09 2016-05-09
US62/333,668 2016-05-09
PCT/US2017/031722 WO2017196822A1 (en) 2016-05-09 2017-05-09 System and method for computer vision driven applications within an environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022003274A Division JP7422792B2 (ja) 2016-05-09 2022-01-12 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2019527865A true JP2019527865A (ja) 2019-10-03
JP7009389B2 JP7009389B2 (ja) 2022-01-25

Family

ID=60243959

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018557901A Active JP7009389B2 (ja) 2016-05-09 2017-05-09 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP2022003274A Active JP7422792B2 (ja) 2016-05-09 2022-01-12 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022003274A Active JP7422792B2 (ja) 2016-05-09 2022-01-12 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法

Country Status (5)

Country Link
US (6) US10339595B2 (ja)
EP (1) EP3454698B1 (ja)
JP (2) JP7009389B2 (ja)
CN (2) CN114040153B (ja)
WO (1) WO2017196822A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021214880A1 (ja) * 2020-04-21 2021-10-28 日本電気株式会社 処理装置、処理方法及びプログラム
WO2021230123A1 (ja) * 2020-05-12 2021-11-18 日本電気株式会社 店舗システム、情報処理装置、情報処理方法、およびプログラム
US11697558B2 (en) 2020-11-25 2023-07-11 Target Brands, Inc. Automated detection of carton damage
JP7349923B2 (ja) 2020-02-03 2023-09-25 東芝テック株式会社 取引処理システム

Families Citing this family (258)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10856108B2 (en) 2013-01-18 2020-12-01 Position Imaging, Inc. System and method of locating a radio frequency (RF) tracking device using a calibration routine
US10200819B2 (en) 2014-02-06 2019-02-05 Position Imaging, Inc. Virtual reality and augmented reality functionality for mobile devices
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
EP3403229B1 (en) * 2016-01-14 2023-08-09 Diebold Nixdorf, Incorporated Point of sale transactions
CN106991072B (zh) * 2016-01-21 2022-12-06 杭州海康威视数字技术股份有限公司 在线自学习事件检测模型更新方法及装置
CN109074484B (zh) 2016-03-02 2022-03-01 蒂诺克股份有限公司 用于有效率的面部识别的系统和方法
CN109479181B (zh) 2016-03-30 2020-12-01 蒂诺克股份有限公司 用于用户检测和识别的系统和方法
US10846996B2 (en) 2016-04-25 2020-11-24 Standard Cognition Corp. Registry verification for a mechanized store using radio frequency tags
WO2017196822A1 (en) 2016-05-09 2017-11-16 Grabango Co. System and method for computer vision driven applications within an environment
US10891589B2 (en) * 2019-03-13 2021-01-12 Simbe Robotics, Inc. Method for deploying fixed and mobile sensors for stock keeping in a store
WO2018013439A1 (en) 2016-07-09 2018-01-18 Grabango Co. Remote state following devices
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
US10783682B2 (en) 2016-11-02 2020-09-22 United Parcel Service Of America, Inc. Displaying items of interest in an augmented reality environment
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10634506B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10634503B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10455364B2 (en) 2016-12-12 2019-10-22 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10839203B1 (en) * 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
US11120392B2 (en) 2017-01-06 2021-09-14 Position Imaging, Inc. System and method of calibrating a directional light source relative to a camera's field of view
US11798064B1 (en) 2017-01-12 2023-10-24 Digimarc Corporation Sensor-based maximum-likelihood estimation of item assignments
JP7093783B2 (ja) 2017-02-10 2022-06-30 グラバンゴ コーポレイション 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法
GB2560177A (en) 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
GB2560387B (en) 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
US11416714B2 (en) * 2017-03-24 2022-08-16 Revealit Corporation Method, system, and apparatus for identifying and revealing selected objects from video
US11494729B1 (en) * 2017-03-27 2022-11-08 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11238401B1 (en) 2017-03-27 2022-02-01 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11087271B1 (en) * 2017-03-27 2021-08-10 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US10699421B1 (en) * 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10726273B2 (en) * 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
EP3610469A4 (en) 2017-05-10 2021-04-28 Grabango Co. SERIES CONFIGURED CAMERA ARRANGEMENT FOR EFFICIENT USE
AU2018289552B2 (en) 2017-06-21 2023-01-05 Grabango Co. Linking observed human activity on video to a user account
WO2019018649A1 (en) * 2017-07-19 2019-01-24 Walmart Apollo, Llc SYSTEMS AND METHODS FOR PREDICTING AND IDENTIFYING RETAIL BRAKING ACTIVITY
US20190034897A1 (en) 2017-07-26 2019-01-31 Sbot Technologies Inc. Self-Checkout Anti-Theft Vehicle Systems and Methods
US10127438B1 (en) * 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
US10133933B1 (en) 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11023850B2 (en) * 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10055853B1 (en) 2017-08-07 2018-08-21 Standard Cognition, Corp Subject identification and tracking using image recognition
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11232687B2 (en) * 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11797910B2 (en) * 2017-08-15 2023-10-24 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
US11156471B2 (en) 2017-08-15 2021-10-26 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
CN208957427U (zh) * 2017-08-16 2019-06-11 图灵通诺（北京）科技有限公司 结算装置用货架
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US20190079591A1 (en) 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
JP6551491B2 (ja) * 2017-11-06 2019-07-31 京セラドキュメントソリューションズ株式会社 監視システム
EP3487161B1 (en) * 2017-11-15 2019-10-30 Axis AB Splitting of a wide angle view
SE542615C2 (en) * 2017-11-28 2020-06-16 Barbara Terebieniec Systems, methods and computer programs for container space allocation monitoring
WO2019108193A1 (en) * 2017-11-30 2019-06-06 Hall David R An infrastructure for automatically detecting interactions, and root causes and for optimizing real-world processes
US11475673B2 (en) 2017-12-04 2022-10-18 Nec Corporation Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US11030442B1 (en) 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
US20190205806A1 (en) 2017-12-28 2019-07-04 Walmart Apollo, Llc System and method for determining and implementing sales clusters for stores
US11276033B2 (en) * 2017-12-28 2022-03-15 Walmart Apollo, Llc System and method for fine-tuning sales clusters for stores
TR201723114A2 (tr) * 2017-12-29 2019-07-22 Migros Ticaret Anonim Sirketi Müşteri̇leri̇n mobi̇l ci̇hazlari i̇le fi̇zi̇ksel mağazada alişveri̇ş yapmalarini sağlayan bi̇r si̇stem
CN109993666A (zh) * 2017-12-30 2019-07-09 李海 一种厨房式自助餐厅
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
US10846561B1 (en) 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
US10612934B2 (en) * 2018-01-12 2020-04-07 General Electric Company System and methods for robotic autonomous motion planning and navigation
US10885336B1 (en) 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
EP3514772A1 (en) * 2018-01-23 2019-07-24 Checkout Technologies srl Self-checkout apparatus
MX2020008117A (es) * 2018-01-31 2021-08-24 Walmart Apollo Llc Sistemas y metodos para verificar etiquetas legibles por maquina asociadas con mercancias.
MX2020008264A (es) * 2018-02-06 2020-12-07 Adroit Worldwide Media Inc Sistemas y métodos de inteligencia de inventario automatizados.
CN108416428B (zh) * 2018-02-28 2021-09-14 中国计量大学 一种基于卷积神经网络的机器人视觉定位方法
CN108389316B (zh) * 2018-03-02 2021-07-13 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
JP7081657B2 (ja) * 2018-03-20 2022-06-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11455499B2 (en) * 2018-03-21 2022-09-27 Toshiba Global Commerce Solutions Holdings Corporation Method, system, and computer program product for image segmentation in a sensor-based environment
EP3732878A4 (en) * 2018-04-02 2021-09-22 Phantom Ai, Inc. DYNAMIC IMAGE AREA SELECTION FOR VISUAL INFERENCE
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10319204B1 (en) * 2018-04-09 2019-06-11 Zebra Technologies Corporation Systems and methods for retracing shrink events
US11164197B2 (en) * 2018-04-13 2021-11-02 Shopper Scientist Llc Shopping time allocated to product exposure in a shopping environment
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US11295566B2 (en) * 2018-05-01 2022-04-05 Alclear, Llc Biometric exit with an asset
US20190337549A1 (en) * 2018-05-02 2019-11-07 Walmart Apollo, Llc Systems and methods for transactions at a shopping cart
JP6598321B1 (ja) * 2018-05-21 2019-10-30 Ｎｅｃプラットフォームズ株式会社 情報処理装置、制御方法、及びプログラム
US10740983B2 (en) * 2018-06-01 2020-08-11 Ebay Korea Co. Ltd. Colored three-dimensional digital model generation
CN109117701B (zh) * 2018-06-05 2022-01-28 东南大学 基于图卷积的行人意图识别方法
SE543102C2 (en) * 2018-06-20 2020-10-06 Itab Scanflow Ab An automatic in-store registration system
US10878270B1 (en) * 2018-06-26 2020-12-29 Amazon Technologies, Inc. Keypoint-based multi-label word segmentation and localization
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
WO2020006553A1 (en) 2018-06-29 2020-01-02 Ghost House Technology, Llc System, apparatus and method of item location, list creation, routing, imaging and detection
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
US10535146B1 (en) * 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US11069070B2 (en) 2018-07-16 2021-07-20 Accel Robotics Corporation Self-cleaning autonomous store
US10909694B2 (en) 2018-07-16 2021-02-02 Accel Robotics Corporation Sensor bar shelf monitor
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
CA3109571A1 (en) 2018-07-16 2020-01-23 Accel Robotics Corporation Autonomous store tracking system
US11394927B2 (en) 2018-07-16 2022-07-19 Accel Robotics Corporation Store device network that transmits power and data through mounting fixtures
US20210272086A1 (en) * 2018-07-16 2021-09-02 Accel Robotics Corporation Automated vending case with an integrated credential reader
US11106941B2 (en) 2018-07-16 2021-08-31 Accel Robotics Corporation System having a bar of relocatable distance sensors that detect stock changes in a storage area
WO2020023798A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Deep learning-based store realograms
JP7228670B2 (ja) * 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
CA3112512A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
WO2020023796A2 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Realtime inventory location management using deep learning
WO2020023799A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Product correlation analysis using deep learning
WO2020041352A1 (en) * 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
TWI675331B (zh) * 2018-08-31 2019-10-21 財團法人工業技術研究院 儲物裝置及儲物方法
EP3844704A4 (en) * 2018-08-31 2022-05-11 Standard Cognition, Corp. DEEP LEARNING BASED ACTIONABLE DIGITAL RECEIPT FOR CHECKERLESS PAYMENTS
CA3111595A1 (en) * 2018-09-21 2020-03-26 Position Imaging, Inc. Machine-learning-assisted self-improving object-identification system and method
US10885721B2 (en) * 2018-09-28 2021-01-05 Jido Inc. Method for detecting objects and localizing a mobile computing device within an augmented reality experience
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11030756B2 (en) 2018-10-26 2021-06-08 7-Eleven, Inc. System and method for position tracking using edge computing
US10621444B1 (en) * 2019-10-25 2020-04-14 7-Eleven, Inc. Action detection during image tracking
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
US10607116B1 (en) 2018-10-30 2020-03-31 Eyezon Ltd Automatically tagging images to create labeled dataset for training supervised machine learning models
US11055874B2 (en) * 2018-10-30 2021-07-06 Ncr Corporation Image processing for tracking actions of individuals
US11205086B2 (en) * 2018-11-13 2021-12-21 Nvidia Corporation Determining associations between objects and persons using machine learning models
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
EP3890563A4 (en) * 2018-12-07 2022-10-05 Ghost House Technology, LLC SYSTEM, DEVICE AND METHOD FOR ARTICLE LOCATION, LISTING, ROUTING, IMAGING AND DETECTION
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US20200192608A1 (en) * 2018-12-17 2020-06-18 Zebra Technologies Corporation Method for improving the accuracy of a convolution neural network training image data set for loss prevention applications
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
WO2020123029A2 (en) * 2018-12-13 2020-06-18 Zebra Technologies Corporation Method for improving the accuracy of a convolution neural network training image data set for loss prevention applications
US20200193281A1 (en) * 2018-12-13 2020-06-18 Zebra Technologies Corporation Method for automating supervisory signal during training of a neural network using barcode scan
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US11704650B2 (en) * 2018-12-15 2023-07-18 Ncr Corporation Person transaction tracking
US10769399B2 (en) 2018-12-18 2020-09-08 Zebra Technologies Corporation Method for improper product barcode detection
JP7460633B2 (ja) 2018-12-19 2024-04-02 パックサイズ リミティド ライアビリティ カンパニー コンピュータビジョンを使用する複合視覚検査タスクの連携学習のためのシステムと方法
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11089232B2 (en) 2019-01-11 2021-08-10 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
JP7391513B2 (ja) * 2019-01-17 2023-12-05 東芝テック株式会社 商品登録装置及び情報処理プログラム
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
US10705108B1 (en) * 2019-02-05 2020-07-07 Honeywell International Inc. Sensing system for sensing stationary objects
US11046519B2 (en) * 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
US11922391B2 (en) * 2019-03-01 2024-03-05 Nec Corporation Article deduction apparatus, article deduction method, and program
WO2020180815A1 (en) 2019-03-01 2020-09-10 Grabango Co. Cashier interface for linking customers to virtual data
CN110007755A (zh) * 2019-03-15 2019-07-12 百度在线网络技术（北京）有限公司 基于动作识别的物体事件触发方法、装置及其相关设备
CN110309702B (zh) * 2019-04-18 2021-07-06 成都数之联科技有限公司 一种门店货柜视频监控管理系统
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US10814354B1 (en) * 2019-05-01 2020-10-27 Siemens Logistics Llc Computerized system, method and processor-executable code to autonomously screen mailable items to identify candidate items for content inspection or testing
KR20200127711A (ko) * 2019-05-03 2020-11-11 한화테크윈 주식회사 감시계획장치 및 이를 이용한 보안 장치 설치 솔루션 제공 방법
EP4092635A1 (en) * 2019-05-28 2022-11-23 SCHOTT Schweiz AG Classification method and system for high-throughput transparent articles
US11461345B2 (en) * 2019-05-31 2022-10-04 Microsoft Technology Licensing, Llc Providing access to state information associated with operators in a data processing system
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US20200387865A1 (en) * 2019-06-05 2020-12-10 Inokyo, Inc. Environment tracking
WO2021015673A1 (en) * 2019-07-20 2021-01-28 Zixxe Pte. Ltd. A system and a method for tracking goods of a value chain originating from a location
US10977717B2 (en) * 2019-07-22 2021-04-13 Pickey Solutions Ltd. Hand actions monitoring device
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11694432B2 (en) * 2019-07-23 2023-07-04 Toyota Research Institute, Inc. System and method for augmenting a visual output from a robotic device
US11562500B2 (en) 2019-07-24 2023-01-24 Squadle, Inc. Status monitoring using machine learning and machine vision
US11107114B2 (en) * 2019-07-29 2021-08-31 Ncr Corporation Monitoring of a project by video analysis
US11373742B2 (en) * 2019-08-23 2022-06-28 Change Healthcare Holdings Llc Augmented reality pharmacy system and method
US11580869B2 (en) * 2019-09-23 2023-02-14 Revealit Corporation Computer-implemented interfaces for identifying and revealing selected objects from video
US20210097517A1 (en) * 2019-09-26 2021-04-01 Zebra Technologies Corporation Object of interest selection for neural network systems at point of sale
JP7363278B2 (ja) * 2019-09-26 2023-10-18 日本電気株式会社 処理装置、処理方法及びプログラム
US11151492B2 (en) 2019-09-27 2021-10-19 International Business Machines Corporation Multiple point of sale (POS) overall wait time optimization
CN112580412A (zh) * 2019-09-30 2021-03-30 百度（美国）有限责任公司 商品识别方法及装置
KR20210039237A (ko) * 2019-10-01 2021-04-09 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7446760B2 (ja) * 2019-10-07 2024-03-11 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
US11893759B2 (en) 2019-10-24 2024-02-06 7-Eleven, Inc. Homography error correction using a disparity mapping
US11023740B2 (en) 2019-10-25 2021-06-01 7-Eleven, Inc. System and method for providing machine-generated tickets to facilitate tracking
US11587243B2 (en) 2019-10-25 2023-02-21 7-Eleven, Inc. System and method for position tracking using edge computing
US11017229B2 (en) 2019-10-25 2021-05-25 7-Eleven, Inc. System and method for selectively verifying algorithmically populated shopping carts
KR20220100887A (ko) 2019-10-25 2022-07-18 세븐-일레븐,인코포레이티드 이미지 추적 동안의 액션 검출
EP4049250B1 (en) * 2019-10-25 2024-05-29 7-Eleven, Inc. System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
US11674792B2 (en) 2019-10-25 2023-06-13 7-Eleven, Inc. Sensor array with adjustable camera positions
US11003918B1 (en) 2019-10-25 2021-05-11 7-Eleven, Inc. Event trigger based on region-of-interest near hand-shelf interaction
US10861085B1 (en) * 2019-10-25 2020-12-08 7-Eleven, Inc. Apparatus, system and method for populating a virtual shopping cart based on video of a customers shopping session at a physical store
US11450011B2 (en) 2019-10-25 2022-09-20 7-Eleven, Inc. Adaptive item counting algorithm for weight sensor using sensitivity analysis of the weight sensor
US11023741B1 (en) 2019-10-25 2021-06-01 7-Eleven, Inc. Draw wire encoder based homography
US11893757B2 (en) 2019-10-25 2024-02-06 7-Eleven, Inc. Self-serve beverage detection and assignment
US11113541B2 (en) 2019-10-25 2021-09-07 7-Eleven, Inc. Detection of object removal and replacement from a shelf
US11798065B2 (en) * 2019-10-25 2023-10-24 7-Eleven, Inc. Tool for generating a virtual store that emulates a physical store
US11501454B2 (en) 2019-10-25 2022-11-15 7-Eleven, Inc. Mapping wireless weight sensor array for item detection and identification
US11403852B2 (en) 2019-10-25 2022-08-02 7-Eleven, Inc. Object detection based on wrist-area region-of-interest
US11887372B2 (en) 2019-10-25 2024-01-30 7-Eleven, Inc. Image-based self-serve beverage detection and assignment
US11023728B1 (en) 2019-10-25 2021-06-01 7-Eleven, Inc. Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US11557124B2 (en) 2019-10-25 2023-01-17 7-Eleven, Inc. Homography error correction
US11887337B2 (en) 2019-10-25 2024-01-30 7-Eleven, Inc. Reconfigurable sensor array
US11551454B2 (en) 2019-10-25 2023-01-10 7-Eleven, Inc. Homography error correction using marker locations
US20210142104A1 (en) * 2019-11-11 2021-05-13 Aveva Software, Llc Visual artificial intelligence in scada systems
US11620839B2 (en) 2019-11-14 2023-04-04 Walmart Apollo, Llc Systems and methods for detecting text in images
US11720623B2 (en) * 2019-11-14 2023-08-08 Walmart Apollo, Llc Systems and methods for automatically annotating images
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
JP7370845B2 (ja) * 2019-12-17 2023-10-30 東芝テック株式会社 販売管理装置及びその制御プログラム
EP4075399A4 (en) * 2019-12-19 2023-01-18 Touch to Go Co., Ltd. INFORMATION PROCESSING SYSTEM
EP4085370A4 (en) * 2019-12-30 2023-12-13 Shopic Technologies Ltd. SYSTEM AND METHOD FOR QUICK CHECK-OUT USING A PORTABLE COMPUTER DEVICE
CA3161662A1 (en) * 2020-01-24 2021-07-29 Position Imaging, Inc. Kiosk with object identification, registration, and tracking capabilities with light and/or audio guidance
CA3095497C (en) 2020-01-31 2023-06-13 Element Ai Inc. Systems and methods for compliance monitoring
FR3107377B1 (fr) * 2020-02-14 2023-03-10 Areco Finances Et Tech Arfitec Installation pour presenter des produits a la vente, avec systeme de vision artificielle
EP4104092A1 (fr) * 2020-02-14 2022-12-21 Areco Finances Et Technologie - Arfitec Installation pour présenter des produits à la vente, avec système de vision artificielle
EP4107700A1 (en) 2020-02-18 2022-12-28 Cognex Corporation System and method for three-dimensional scan of moving objects longer than the field of view
US11208134B2 (en) 2020-03-11 2021-12-28 Gatekeeper Systems, Inc. Monitoring system capable of classifying items added to a shopping cart
WO2021184122A1 (en) * 2020-03-20 2021-09-23 Unefi Inc. System and method for product placement
US11580833B2 (en) 2020-03-24 2023-02-14 Object Video Labs, LLC Camera detection of human activity with co-occurrence
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11295163B1 (en) * 2020-04-01 2022-04-05 Scandit Ag Recognition of optical patterns in images acquired by a robotic device
US11514665B2 (en) 2020-04-01 2022-11-29 Scandit Ag Mapping optical-code images to an overview image
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11295167B2 (en) 2020-04-27 2022-04-05 Toshiba Global Commerce Solutions Holdings Corporation Automated image curation for machine learning deployments
US11244147B2 (en) 2020-05-15 2022-02-08 Scandit Ag Optical data exchange while preserving social distancing
US11403477B1 (en) 2020-05-15 2022-08-02 Scandit Ag Image exposure performance improvements for recognition of optical patterns
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11934484B2 (en) 2020-08-27 2024-03-19 Walmart Apollo, Llc Systems and methods for building image databases to facilitate computer vision-based consumer product identification
US20220067688A1 (en) * 2020-09-01 2022-03-03 Lg Electronics Inc. Automated shopping experience using cashier-less systems
US11715278B2 (en) * 2020-09-11 2023-08-01 Sensormatic Electronics, LLC Real time tracking of shelf activity supporting dynamic shelf size, configuration and item containment
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
MX2021012971A (es) * 2020-10-22 2022-04-25 Rehrig Pacific Co Inferencia de visión de producto basada en detección de paquete y clasificación de marca con aprendizaje activo.
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
WO2022115845A1 (en) * 2020-11-25 2022-06-02 7-Eleven, Inc. System and method for providing machine-generated tickets to facilitate tracking
WO2022144888A1 (en) * 2020-12-29 2022-07-07 Tracxone Ltd. 3d virtual construct and uses thereof
CN112508132B (zh) * 2021-01-29 2021-08-03 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
US11762350B2 (en) 2021-03-22 2023-09-19 Honeywell International Inc. Methods and systems for detecting occupancy of a space
US11900350B2 (en) * 2021-05-21 2024-02-13 Block, Inc. Automatic inventory tracking in brick and mortar store based on sensor data
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11880738B1 (en) 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
US20230098319A1 (en) * 2021-09-28 2023-03-30 Darvis Inc. Method and system for tracking objects in area
WO2023058025A1 (en) * 2021-10-06 2023-04-13 Pickey Solution Ltd. Identification of objects using wearable devices
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
WO2023104707A1 (en) * 2021-12-06 2023-06-15 Fresenius Kabi Austria Gmbh System and method for monitoring critical pharmaceutical operations
IT202200002828A1 (it) * 2022-02-16 2023-08-16 Astrea Consulting S R L Sistema e metodo di monitoraggio intelligente della vendita e contestuale ottimizzazione dello stoccaggio merci per attività commerciali fisiche
US11557136B1 (en) 2022-02-23 2023-01-17 Scandit Ag Identity document verification based on barcode structure
CN117710405A (zh) * 2022-08-30 2024-03-15 富士通株式会社 处理目标轨迹的方法、装置及存储介质
CN116828158B (zh) * 2023-08-31 2023-12-08 中国标准化研究院 一种智能化仓库的视频监控方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231254A (ja) * 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2012194959A (ja) * 2011-03-02 2012-10-11 Dainippon Printing Co Ltd ショッピングシステム及びショッピング用プログラム
US20120310757A1 (en) * 2011-06-03 2012-12-06 Lg Electronics Inc. Method for controlling stores and system for the same
JP2014052759A (ja) * 2012-09-06 2014-03-20 Hitachi Solutions Ltd 購買行動収集システム及び購買行動収集方法
JP2014531636A (ja) * 2011-08-30 2014-11-27 ディジマーク コーポレイション 物体を識別する方法及び機構
WO2014209724A1 (en) * 2013-06-26 2014-12-31 Amazon Technologies, Inc. Detecting item interaction and movement
JP2015001879A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP5720841B1 (ja) * 2014-09-08 2015-05-20 富士ゼロックス株式会社 確認行動検出装置及び確認行動検出プログラム
WO2015159601A1 (ja) * 2014-04-18 2015-10-22 Ｎｅｃソリューションイノベータ株式会社 情報処理装置

Family Cites Families (234)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5254853A (en) 1990-02-14 1993-10-19 Stefan Reich Optical sensing device
US5418567A (en) 1993-01-29 1995-05-23 Bayport Controls, Inc. Surveillance camera system
US5502564A (en) 1994-09-13 1996-03-26 Hughes Aircraft Company Substrate thickness measurement using oblique incidence multispectral interferometry
US6837436B2 (en) 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
US8005314B2 (en) 2005-12-09 2011-08-23 Amnis Corporation Extended depth of field imaging for high speed object analysis
US7107110B2 (en) 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
US20040201754A1 (en) 2001-10-12 2004-10-14 Mcalister Micheal J. Dual camera mounting arrangement for a wide screen imaging system
US8321302B2 (en) * 2002-01-23 2012-11-27 Sensormatic Electronics, LLC Inventory management system
US7274803B1 (en) 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7921036B1 (en) 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US20030210340A1 (en) 2002-05-07 2003-11-13 John Frederick Romanowich Camera with a mechanical and electrical interface for couplable engagement with a standard lampholder
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US8351647B2 (en) 2002-07-29 2013-01-08 Videomining Corporation Automatic detection and aggregation of demographics and behavior of people
US7053915B1 (en) 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
US8010402B1 (en) 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US6996460B1 (en) 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
US7912246B1 (en) 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US7283650B1 (en) 2002-11-27 2007-10-16 Video Mining Corporation Method and system for printing of automatically captured facial images augmented with promotional content
US7734070B1 (en) 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
US20040260513A1 (en) 2003-02-26 2004-12-23 Fitzpatrick Kerien W. Real-time prediction and management of food product demand
US7711155B1 (en) 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7590261B1 (en) 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
US7505621B1 (en) 2003-10-24 2009-03-17 Videomining Corporation Demographic classification using image components
US20050096997A1 (en) 2003-10-31 2005-05-05 Vivek Jain Targeting shoppers in an online shopping environment
US7319779B1 (en) 2003-12-08 2008-01-15 Videomining Corporation Classification of humans into multiple age categories from digital images
US7100824B2 (en) * 2004-02-27 2006-09-05 Evolution Robotics, Inc. System and methods for merchandise checkout
US7168618B2 (en) * 2004-08-12 2007-01-30 International Business Machines Corporation Retail store method and system
US20060036485A1 (en) 2004-08-13 2006-02-16 International Business Machines Corporation Methods and apparatus for presenting personalized information to consumers in a retail environment
ZA200506089B (en) * 2004-09-01 2007-04-25 Microsoft Corp Reader application markup language schema
US7646887B2 (en) 2005-01-04 2010-01-12 Evolution Robotics Retail, Inc. Optical flow for object recognition
US9609287B2 (en) 2005-03-02 2017-03-28 En-Gauge, Inc. Remote monitoring
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US20070091177A1 (en) 2005-10-24 2007-04-26 The Regents Of The University Of California Remote unattended camera and computer integrated security system
US20070126871A1 (en) 2005-12-06 2007-06-07 Henninger Paul E Iii Modular surveillance camera system with self-identification capability
US7911482B1 (en) 2006-01-06 2011-03-22 Videomining Corporation Method and system for efficient annotation of object trajectories in image sequences
JP4125328B2 (ja) 2006-04-17 2008-07-30 キヤノン株式会社 電子機器、電子機器による周辺機器の制御方法、プログラム及び記憶媒体
US7681790B2 (en) 2006-06-09 2010-03-23 The Container Store Computer supported retail shopping systems and methods
US7930204B1 (en) 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US7974869B1 (en) 2006-09-20 2011-07-05 Videomining Corporation Method and system for automatically measuring and forecasting the behavioral characterization of customers to help customize programming contents in a media network
US7987111B1 (en) 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US8380558B1 (en) 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US8189926B2 (en) 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8146811B2 (en) 2007-03-12 2012-04-03 Stoplift, Inc. Cart inspection for suspicious items
US8295597B1 (en) 2007-03-14 2012-10-23 Videomining Corporation Method and system for segmenting people in a physical space based on automatic behavior analysis
US7957565B1 (en) 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
EP2153641B2 (en) 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
US7848548B1 (en) 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
US10296936B1 (en) 2007-09-26 2019-05-21 Videomining Corporation Method and system for measuring effectiveness of a marketing campaign on digital signage
US20090158309A1 (en) 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
WO2009082748A1 (en) 2007-12-26 2009-07-02 Johnson Controls Technology Company Systems and methods for conducting commerce in a vehicle
US8098888B1 (en) 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
US8330809B2 (en) 2008-02-04 2012-12-11 Fps Food Processing Systems, B.V. Vision system with software control for detecting dirt and other imperfections on egg surfaces
US20130215116A1 (en) 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
US8027521B1 (en) 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
US8433612B1 (en) 2008-03-27 2013-04-30 Videomining Corporation Method and system for measuring packaging effectiveness using video-based analysis of in-store shopper response
US8009863B1 (en) 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8219438B1 (en) 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
DE202008009834U1 (de) 2008-07-22 2009-12-10 Liebherr-Elektronik Gmbh Kamera zum Einsatz in einem digitalen Netzwerk
US8448859B2 (en) 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
US8379937B1 (en) 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
US8577705B1 (en) 2008-12-30 2013-11-05 Videomining Corporation Method and system for rating the role of a product category in the performance of a store area
US8175388B1 (en) 2009-01-30 2012-05-08 Adobe Systems Incorporated Recognizing text at multiple orientations
CN105717989B (zh) 2009-02-27 2020-02-21 艾卡姆有限公司 基于耳机的电信平台
US8892469B2 (en) 2009-04-01 2014-11-18 Igt Gaming device security mechanism
US9747497B1 (en) 2009-04-21 2017-08-29 Videomining Corporation Method and system for rating in-store media elements
US8254633B1 (en) 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US8872964B2 (en) 2009-05-20 2014-10-28 Express Imaging Systems, Llc Long-range motion detection for illumination control
US9740977B1 (en) 2009-05-29 2017-08-22 Videomining Corporation Method and system for recognizing the intentions of shoppers in retail aisles based on their trajectories
US8812344B1 (en) 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
US8325982B1 (en) 2009-07-23 2012-12-04 Videomining Corporation Method and system for detecting and tracking shopping carts from videos
US8412656B1 (en) 2009-08-13 2013-04-02 Videomining Corporation Method and system for building a consumer decision tree in a hierarchical decision tree structure based on in-store behavior analysis
US20110063108A1 (en) * 2009-09-16 2011-03-17 Seiko Epson Corporation Store Surveillance System, Alarm Device, Control Method for a Store Surveillance System, and a Program
US8788496B2 (en) * 2009-09-30 2014-07-22 Trimble Navigation Limited Visual organization of information via associated geospatial data
DE102009049754B4 (de) 2009-10-17 2023-07-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Durchführen einer finanziellen Transaktion, Transaktionseinheit und System zum Durchführen einer finanziellen Transaktion
JP5257335B2 (ja) 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
US20110145051A1 (en) 2009-12-13 2011-06-16 AisleBuyer LLC Systems and methods for suggesting products for purchase from a retail establishment using a mobile device
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
JP5548042B2 (ja) 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
WO2012003538A1 (en) 2010-07-06 2012-01-12 James Shaun O'leary A system for electronic transactions
JP2012028015A (ja) 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法
US8488881B2 (en) * 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
US8615254B2 (en) 2010-08-18 2013-12-24 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US8652033B2 (en) 2010-09-23 2014-02-18 Karl Storz Endovision, Inc. Video stylet with directable tip
US20120173351A1 (en) 2010-12-29 2012-07-05 Qthru, Llc Mobile Electronic Shopping
CN102376061B (zh) * 2011-08-26 2015-04-22 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US20130103537A1 (en) 2011-10-14 2013-04-25 Spencer Thornton Hewett Interactive consumer self-service shopping system
WO2013059716A2 (en) 2011-10-19 2013-04-25 Ran Margalit Automated purchasing system
US10326921B2 (en) 2011-11-14 2019-06-18 Tseng-Lu Chien Light device has built-in camera and related digital data device's functions
KR20140121764A (ko) 2012-01-05 2014-10-16 비자 인터네셔널 서비스 어소시에이션 트랜잭션 영상 캡처 장치, 방법 및 시스템
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
WO2013134865A1 (en) 2012-03-16 2013-09-19 In Situ Media Corporation System and method for scanning, tracking and collating customer shopping selections
US9661047B2 (en) 2012-04-30 2017-05-23 Mobilatv Ltd. Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US9892438B1 (en) * 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
CN104303522B (zh) 2012-05-07 2017-04-19 杜比国际公司 用于布局与格式独立的三维音频再现的方法和装置
US9147114B2 (en) * 2012-06-19 2015-09-29 Honeywell International Inc. Vision based target tracking for constrained environments
US9774459B2 (en) 2012-06-22 2017-09-26 Sensormatic Electronics, LLC Security system and method using wireless adapters and PoE cameras
US9288299B2 (en) 2012-09-14 2016-03-15 Dewmobile, Inc. Method and apparatus for file sharing in a network
US20140082610A1 (en) 2012-09-14 2014-03-20 DewMobile Inc. Mesh network and mesh network node application
US20220384027A1 (en) 2012-10-09 2022-12-01 Kc Holdings I Tracking and rewarding health and fitness activities using blockchain technology
US9647906B2 (en) 2012-11-02 2017-05-09 Rockwell Automation Technologies, Inc. Cloud based drive monitoring solution
US20140155022A1 (en) 2012-12-05 2014-06-05 Anil Kandregula Methods and apparatus to monitor usage of mobile devices
EP4184443A1 (en) * 2012-12-18 2023-05-24 Eyesmatch Ltd. Devices, systems and methods of capturing and displaying appearances
US20140188601A1 (en) 2013-01-03 2014-07-03 International Business Machines Corporation Integration between brick-and-mortar establishments and web based establishments
US10062066B2 (en) 2013-01-30 2018-08-28 Walmart Apollo, Llc Systems and methods for retrieving items for a customer at checkout
US20140214564A1 (en) 2013-01-31 2014-07-31 Wal-Mart Stores, Inc. Method to allow two or more mobile devices to contribute items to the same virtual shopping cart in mobile self checkout software
US20140245160A1 (en) 2013-02-22 2014-08-28 Ubiquiti Networks, Inc. Mobile application for monitoring and controlling devices
US10198080B1 (en) 2013-03-11 2019-02-05 Amazon Technologies, Inc. Virtual user interface
US9392675B2 (en) 2013-03-14 2016-07-12 Lutron Electronics Co., Inc. Digital load control system providing power and communication via existing power wiring
US9330413B2 (en) 2013-03-14 2016-05-03 Sears Brands, L.L.C. Checkout and/or ordering systems and methods
US9691428B2 (en) 2013-03-15 2017-06-27 Fitbit, Inc. Identifying available exercises for customizing an exercise session
US20220111283A9 (en) 2013-03-15 2022-04-14 Active Theory Inc Adaptable exercise system and method
US8915429B2 (en) 2013-03-15 2014-12-23 Ncr Corporation Methods of mobile self-checkout shopping for produce items in a retail grocery store
US9098825B2 (en) 2013-03-26 2015-08-04 Leonard Bashkin Storage container with inventory control
US9213803B2 (en) 2013-05-02 2015-12-15 David Rolley System and method for collecting, analyzing and reporting fitness activity data
US9412099B1 (en) * 2013-05-09 2016-08-09 Ca, Inc. Automated item recognition for retail checkout systems
US20140365334A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US20140363059A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10217133B2 (en) 2013-07-19 2019-02-26 Paypal, Inc. Reverse showrooming and merchant-customer engagement system
US9473747B2 (en) 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US20150046213A1 (en) 2013-08-07 2015-02-12 Motorola Solutions, Inc. Method for identifying a shopping group in a store
WO2015021469A2 (en) 2013-08-09 2015-02-12 Icontrol Networks Canada Ulc System, method and apparatus for remote monitoring
JP6134607B2 (ja) 2013-08-21 2017-05-24 株式会社Ｎｔｔドコモ ユーザ観察システム
JP5920299B2 (ja) 2013-09-17 2016-05-18 コニカミノルタ株式会社 画像形成装置、遠隔制御方法、および遠隔制御プログラム
JP6361103B2 (ja) 2013-09-17 2018-07-25 株式会社リコー 管理装置、管理システム、物体管理方法、及びプログラム
US9141931B2 (en) 2013-09-26 2015-09-22 Amazon Technologies, Inc. Inventory distribution method and system
US9984352B2 (en) 2013-09-26 2018-05-29 Amazon Technologies, Inc. Kiosk network in a kiosk management system
US9474934B1 (en) 2013-10-11 2016-10-25 Fit Intuition, LLC Biometric assessment in fitness improvement
US10366445B2 (en) * 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
US20150161452A1 (en) 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
CN106062842B (zh) 2014-01-30 2019-11-05 飞利浦灯具控股公司 照明系统以及用于控制其的控制器和移动用户终端
US20150227890A1 (en) 2014-02-07 2015-08-13 Kristin Kaye Bednarek Communications system and smart device apps supporting segmented order distributed distribution system
CN203941580U (zh) * 2014-02-21 2014-11-12 陆卫先 一种自助购物系统
US9948902B1 (en) 2014-03-07 2018-04-17 Alarm.Com Incorporated Video camera and sensor integration
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
US9120621B1 (en) 2014-03-25 2015-09-01 Amazon Technologies, Inc. Verifying bin content in an automated materials handling facility
US9317785B1 (en) 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
US9918213B2 (en) 2014-05-07 2018-03-13 DewMobile Inc. Discovery and networking of proximate wireless devices by acoustic messaging
US20150373509A1 (en) 2014-06-19 2015-12-24 Dewmobile, Inc. Group gaming platform for mobile devices in proximity
JP5866522B2 (ja) 2014-07-08 2016-02-17 パナソニックＩｐマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
US10129507B2 (en) 2014-07-15 2018-11-13 Toshiba Global Commerce Solutions Holdings Corporation System and method for self-checkout using product images
US9547964B2 (en) 2014-07-24 2017-01-17 Heathco, Llc Integrated home lighting and notification system
EP3009997B1 (en) 2014-10-15 2016-11-23 Axis AB Arrangement for a monitoring camera device
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10157379B2 (en) 2014-11-12 2018-12-18 Toshiba Global Commerce Solutions Holdings Corporation Self checkout with security checks based on categorized items
US9262681B1 (en) 2014-11-19 2016-02-16 Amazon Technologies, Inc. Probabilistic registration of interactions, actions or activities from multiple views
US10594983B2 (en) 2014-12-10 2020-03-17 Robert Bosch Gmbh Integrated camera awareness and wireless sensor system
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
WO2016108197A1 (en) 2014-12-30 2016-07-07 Ergoview S.R.L. Method and system for biomechanical analysis of the posture of a cyclist and automatic customized manufacture of bicycle parts
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
US9412034B1 (en) * 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
US9706619B2 (en) 2015-02-16 2017-07-11 Cree, Inc. Lighting fixture with image sensor
US9853730B2 (en) 2015-02-27 2017-12-26 Xicato, Inc. Lighting based authentication of a mobile electronic device
US9270634B1 (en) 2015-03-02 2016-02-23 Dewmobile, Inc. Building a proximate social networking database based on relative distance profiling of two or more operably coupled computers
WO2016149132A1 (en) 2015-03-13 2016-09-22 Lutron Electronics Co., Inc. Control device having an illuminated portion controlled in response to an external sensor
US9250712B1 (en) 2015-03-20 2016-02-02 Hand Held Products, Inc. Method and application for scanning a barcode with a smart device while continuously running and displaying an application on the smart device display
US10089520B2 (en) 2015-03-26 2018-10-02 Krishna V Motukuri System for displaying the contents of a refrigerator
US20160289964A1 (en) 2015-04-02 2016-10-06 Shawn Engberg Suspended ceiling
WO2016155021A1 (zh) 2015-04-03 2016-10-06 绿仕科技控股有限公司 环境控制系统
US10217120B1 (en) 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
US10565455B2 (en) 2015-04-30 2020-02-18 Ants Technology (Hk) Limited Methods and systems for audiovisual communication
US10037592B2 (en) 2015-06-05 2018-07-31 Mindaptiv LLC Digital quaternion logarithm signal processing system and method for images and other data types
US11164227B2 (en) 2015-06-24 2021-11-02 Magic Leap, Inc. Augmented reality devices, systems and methods for purchasing
US9911290B1 (en) 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10318976B2 (en) 2015-07-28 2019-06-11 Walmart Apollo, Llc Methods for determining measurement data of an item
US20190054347A1 (en) 2015-08-18 2019-02-21 Michael Saigh Wearable sports guidance communication system and developers tool kit
US10180469B2 (en) 2015-10-28 2019-01-15 Siemens Healthcare Gmbh Gesture-controlled MR imaging system and method
CN105335509B (zh) 2015-10-29 2017-06-30 广州神马移动信息科技有限公司 一种推荐活动信息的方法、装置及服务器
GB2561110A (en) 2015-12-03 2018-10-03 Walmart Apollo Llc Smart cart for self-checkout of retail merchandise
US10915910B2 (en) * 2015-12-09 2021-02-09 International Business Machines Corporation Passive analysis of shopping behavior in a physical shopping area using shopping carts and shopping trays
WO2017106846A2 (en) 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
US10262331B1 (en) 2016-01-29 2019-04-16 Videomining Corporation Cross-channel in-store shopper behavior analysis
WO2017136151A1 (en) 2016-02-02 2017-08-10 Gaming Grids Wearables, Llc Esports fitness and training system
CA3053106A1 (en) 2016-02-26 2017-08-31 Imagr Limited Systems and methods for shopping in a physical store
WO2017149875A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
KR20170110824A (ko) 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10198625B1 (en) 2016-03-26 2019-02-05 Videomining Corporation Association of unique person to a mobile device using repeat face image matching
US10387896B1 (en) 2016-04-27 2019-08-20 Videomining Corporation At-shelf brand strength tracking and decision analytics
US10319198B2 (en) * 2016-05-02 2019-06-11 Focal Systems, Inc. Expedited checkout system through portable checkout units
WO2017196822A1 (en) 2016-05-09 2017-11-16 Grabango Co. System and method for computer vision driven applications within an environment
KR102516720B1 (ko) 2016-05-31 2023-03-30 세이아 그룹, 인코포레이티드 기계의 아날로그 또는 물리적 상태 조건 변화를 모니터링하는 방법
US10354262B1 (en) 2016-06-02 2019-07-16 Videomining Corporation Brand-switching analysis using longitudinal tracking of at-shelf shopper behavior
US10380814B1 (en) 2016-06-27 2019-08-13 Amazon Technologies, Inc. System for determining entry of user to an automated facility
WO2018013439A1 (en) 2016-07-09 2018-01-18 Grabango Co. Remote state following devices
US10083358B1 (en) 2016-07-26 2018-09-25 Videomining Corporation Association of unique person to point-of-sale transaction data
BR102016019151A2 (pt) 2016-08-18 2018-03-06 De Souza Lopes Roberto Método e sistema computadorizado de visualização e identificação de veículos através de câmeras aplicadas em postos de combustível e lojas de conveniência
US10409548B2 (en) 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
US10825010B2 (en) 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
US10665051B2 (en) 2017-02-02 2020-05-26 Smartbins Inc. Bulk food integrated scale system
JP7093783B2 (ja) 2017-02-10 2022-06-30 グラバンゴ コーポレイション 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法
US20180240180A1 (en) 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
US10458595B2 (en) 2017-02-28 2019-10-29 Cisco Technology, Inc. Smart Power over Ethernet lift
US10997421B2 (en) 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
EP3610469A4 (en) 2017-05-10 2021-04-28 Grabango Co. SERIES CONFIGURED CAMERA ARRANGEMENT FOR EFFICIENT USE
AU2018289552B2 (en) 2017-06-21 2023-01-05 Grabango Co. Linking observed human activity on video to a user account
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US10133933B1 (en) 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10127438B1 (en) 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
US10055853B1 (en) 2017-08-07 2018-08-21 Standard Cognition, Corp Subject identification and tracking using image recognition
WO2019032307A1 (en) 2017-08-07 2019-02-14 Standard Cognition, Corp. PREDICTING INVENTORY EVENTS THROUGH PREVIOUS / BACKGROUND TREATMENT
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US20190079591A1 (en) 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10469768B2 (en) 2017-10-13 2019-11-05 Fyusion, Inc. Skeleton-based effects and background replacement
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
US20190244161A1 (en) 2018-02-02 2019-08-08 Microsoft Technology Licensing, Llc Inventory control
US20190333039A1 (en) 2018-04-27 2019-10-31 Grabango Co. Produce and bulk good management within an automated shopping environment
US10282720B1 (en) 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
US10282852B1 (en) 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
US11087539B2 (en) 2018-08-21 2021-08-10 Mastercard International Incorporated Systems and methods for generating augmented reality-based profiles
CN112930292A (zh) 2018-09-07 2021-06-08 看门人系统公司 使用计算机视觉和机器学习的购物篮监控
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
US10347009B1 (en) 2018-11-21 2019-07-09 Juan Ramon Terven Self callbrating camera system
US10943204B2 (en) 2019-01-16 2021-03-09 International Business Machines Corporation Realtime video monitoring applied to reduce customer wait times
US20200265494A1 (en) 2019-02-17 2020-08-20 Grabango Co. Remote sku on-boarding of products for subsequent video identification and sale
WO2020180815A1 (en) 2019-03-01 2020-09-10 Grabango Co. Cashier interface for linking customers to virtual data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231254A (ja) * 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2012194959A (ja) * 2011-03-02 2012-10-11 Dainippon Printing Co Ltd ショッピングシステム及びショッピング用プログラム
US20120310757A1 (en) * 2011-06-03 2012-12-06 Lg Electronics Inc. Method for controlling stores and system for the same
JP2014531636A (ja) * 2011-08-30 2014-11-27 ディジマーク コーポレイション 物体を識別する方法及び機構
JP2014052759A (ja) * 2012-09-06 2014-03-20 Hitachi Solutions Ltd 購買行動収集システム及び購買行動収集方法
JP2015001879A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
WO2014209724A1 (en) * 2013-06-26 2014-12-31 Amazon Technologies, Inc. Detecting item interaction and movement
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
WO2015159601A1 (ja) * 2014-04-18 2015-10-22 Ｎｅｃソリューションイノベータ株式会社 情報処理装置
JP5720841B1 (ja) * 2014-09-08 2015-05-20 富士ゼロックス株式会社 確認行動検出装置及び確認行動検出プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349923B2 (ja) 2020-02-03 2023-09-25 東芝テック株式会社 取引処理システム
WO2021214880A1 (ja) * 2020-04-21 2021-10-28 日本電気株式会社 処理装置、処理方法及びプログラム
JPWO2021214880A1 (ja) * 2020-04-21 2021-10-28
JP7343047B2 (ja) 2020-04-21 2023-09-12 日本電気株式会社 処理装置、処理方法及びプログラム
WO2021230123A1 (ja) * 2020-05-12 2021-11-18 日本電気株式会社 店舗システム、情報処理装置、情報処理方法、およびプログラム
US11697558B2 (en) 2020-11-25 2023-07-11 Target Brands, Inc. Automated detection of carton damage

Also Published As

Publication number Publication date
US10614514B2 (en) 2020-04-07
US20240135435A1 (en) 2024-04-25
US11216868B2 (en) 2022-01-04
CN114040153A (zh) 2022-02-11
US20190378205A1 (en) 2019-12-12
CN109414119B (zh) 2021-11-16
CN114040153B (zh) 2024-04-12
US20200193507A1 (en) 2020-06-18
WO2017196822A1 (en) 2017-11-16
US20170323376A1 (en) 2017-11-09
EP3454698B1 (en) 2024-04-17
US10861086B2 (en) 2020-12-08
EP3454698A4 (en) 2020-01-08
US20220156827A1 (en) 2022-05-19
US10339595B2 (en) 2019-07-02
US11727479B2 (en) 2023-08-15
EP3454698A1 (en) 2019-03-20
CN109414119A (zh) 2019-03-01
JP7009389B2 (ja) 2022-01-25
JP2022058591A (ja) 2022-04-12
US20210150618A1 (en) 2021-05-20
JP7422792B2 (ja) 2024-01-26

Similar Documents

Publication Publication Date Title
JP7422792B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
US11501613B2 (en) Varied update rates of shopping data for frictionless shoppers
US20230377018A1 (en) Associating digital activities with positions in physical retail stores
WO2022081518A2 (en) Methods and systems for retail environments
US12008872B2 (en) Enabling frictionless shopping of products from bulk packaging
Falcão Human Object Ownership Tracking in Autonomous Retail
Lisboa De Menezes Falcão Human Object Ownership Tracking in Autonomous Retail

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150