JP2020518936A - ユーザ相互作用を検出する方法、システム、およびデバイス - Google Patents

Abstract

本技術は、一般に、第１のリソースにおいて、電子デバイスにおけるユーザ相互作用の感知に基づいて、またはそれに応じて感知データを含む通信を電子デバイスから受信するステップと、第１のリソースにおいて感知データを処理するステップと、感知データに応じて電子デバイスにおいて感覚出力を生成するための第１のコマンド通信を、第１のリソースから電子デバイスに送信するステップとを含む方法に関する。【選択図】図３

Description

本技術は、小売および商業用途のデータ処理デバイスの分野に関する。より具体的には、本技術は、小売および商業用途でのユーザ相互作用を検出するための方法、システム、およびデバイスに関する。

小売および商業用途の商品に関連する従来の製品ラベルは紙で構成されており、商品に関連するデータが変更された場合（価格やバーコードが更新された場合など）は手動で更新または交換する必要がある。

さらに、そのような従来の製品ラベルを有する商品とのユーザ相互作用に関するデータは、顧客が商品を購入する販売時点で引き出される場合がある。しかし、そのような情報は、商品の価格、数量、販売時間に限定される場合がある。

本技術は、従来の製品ラベルを改善しようとするものである。

第１の技術によれば、第１のリソースにおいて、電子デバイスにおけるユーザ相互作用の感知に基づいて、またはそれに応じて感知データを含む通信を電子デバイスから受信するステップと、第１のリソースにおいて感知データを処理するステップと、感知データに応じて電子デバイスにおいて感覚出力を生成すための第１のコマンド通信を、第１のリソースから電子デバイスに送信するステップとを含む方法が提供される。

さらなる技術によれば、電子デバイスにおいて、電子デバイスにおけるユーザ相互作用の感知に基づいて、またはそれに応じて感知データを生成するステップと、電子デバイスにおいて、感知データに基づいて、またはそれに応じて感覚出力を生成するステップとを含む方法が提供される。

さらなる技術によれば、電子ラベルにおけるユーザ相互作用の検知に応答する方法が提供され、方法は、電子ラベルにおいてユーザ相互作用を感知するステップと、電子ラベルにおいて、感知されたユーザ相互作用に基づいて、またはそれに応じて感知データを生成するステップと、電子ラベルにおいて認証データを使用して、感知データを備える安全な通信を生成するステップと、電子ラベルから遠隔リソースに安全な通信を送信するステップと、電子ラベルにおいて、遠隔リソースから安全なコマンド通信を受信するステップと、安全なコマンド通信に基づいて、またはそれに応じて電子ラベルにおいて感覚出力を生成するステップとを含む。

さらなる技術によれば、１つ以上の電子デバイスと通信する第１のリソースを備えるシステムが提供され、第１のリソースは１つ以上の電子デバイスから感知データを受信し、第１のリソースは、感知データの処理に基づいて、またはそれに応じて、１つ以上の電子デバイスおよびユーザアプリケーションデバイスの一方または両方に第１のコマンド通信を送信する。

さらなる技術によれば、近接するユーザ相互作用を検出し、ユーザ相互作用に応じて感知データを生成するセンサを備えたセンサ回路と、感知データを処理する処理回路と、感覚出力を生成する出力デバイスを備える出力回路とを備える電子デバイスが提供され、電子デバイスは、感知データの処理に基づいて、またはそれに応じて感覚出力を生成するように構成される。

さらなる技術によれば、１つ以上の電子デバイスから受信した感知データを処理し、感知データに基づいて、またはそれに応じて１つ以上の電子デバイスおよびユーザアプリケーションデバイスの一方または両方に第１のコマンド通信を送信する論理エンジンを備えるリソースが提供される。

さらなる技術によれば、小売環境における製品とのユーザ相互作用に応答する方法が提供され、方法は、搬送装置に関連付けられた１つ以上のカメラを使用して、ユーザ相互作用を検出するステップと、製品の画像データを１つ以上のカメラで生成するステップと、画像データに基づいて、またはそれに応じて製品を識別するステップと、識別された製品とのユーザ相互作用に基づいて、またはそれに応じて遠隔リソースにおいて製品の費用を決定するステップとを含む。

さらなる技術によれば、製品とのユーザ相互作用を検出するための１つ以上のカメラおよび無線通信のための通信回路を有する搬送装置と、搬送装置と無線通信するリソースとを備えるシステムが提供され、ここで１つ以上のカメラは、ユーザ相互作用の検出に応じて製品の画像データを生成するように構成され、遠隔リソースおよび搬送装置の一方は、画像データに基づいてまたはそれに応じて製品を識別し、製品の費用を決定する。

さらなる技術によれば、小売環境用の搬送装置が提供され、搬送装置は、製品とのユーザ相互作用を検出し、ユーザ相互作用に応じて画像データを生成するように構成された１つ以上のカメラと、ユーザ相互作用の位置の位置データを生成するための位置決定回路と、搬送装置をユーザとペアリングし、画像データおよび位置データをそこから離れたリソースに送信するための通信回路とを備える。

さらなる技術によれば、小売環境内で置き間違えられた製品を識別する方法が提供され、方法は、搬送装置において、ユーザによる搬送装置からの製品の取り出しを検出するステップと、搬送装置から遠隔リソースに、製品の画像データと、製品が取り出された位置を示す位置情報とを送信するステップと、遠隔リソースにおいて、製品が取り出された位置が製品の正しい位置であるかどうかを判断するステップと、製品が取り出された位置が製品の誤った位置であると判断された場合、製品が置き間違えられたことを示す信号を遠隔リソースから第三者に送信するステップとを含む。

さらなる技術によれば、小売環境内で置き間違えられた製品を識別する方法が提供され、方法は、電子ラベルに関連付けられたセンサ回路を使用して、いつ製品が小売環境の誤った位置に置かれたかを検出するステップと、電子ラベルを使用して、置き間違えられた製品が検出されたことを示すステップとを含み、置き間違えられた製品が検出されたことを示すステップは、視覚的出力または聴覚的出力を生成するステップおよび遠隔リソースに信号を送信するステップのうちの１つ以上を含む。

さらなる技術によれば、小売環境における複数の製品とのユーザ相互作用を分析する方法が提供され、方法は、各製品に関連付けられた電子ラベルにおいて、各製品とのユーザ相互作用を感知するステップと、電子ラベルにおいて、感知されたユーザ相互作用に基づいて、またはそれに応じて感知データを生成するステップと、電子ラベルから遠隔リソースに感知データを送信するステップと、電子ラベルから受信した感知データに基づいて、またはそれに応じて遠隔リソースにおいて分析結果を生成するステップとを含む。

本技術は、例として、添付の図面に概略的に示される。
一実施形態による電子ラベルのブロック図を概略的に示す。 図１の電子ラベルに電力を供給するための例示的な電力レールを概略的に示す。 電子ラベルを図２ａの電力レールに電気的に結合するためのコネクタを有する例示的な電子ラベルの側面図を概略的に示す。 図２ｂの電子ラベルの背面図を概略的に示す。 一実施形態による電子ラベル、サービスおよびデバイスを有するシステムを概略的に示す。 図１の電子ラベルの例示的な正面図を概略的に示す。 一実施形態による、棚に配置された複数の電子ラベルを有する例示的な小売環境を概略的に示す。 一実施形態による、棚に配置された複数の電子ラベルを有する例示的な小売環境を概略的に示す。 一実施形態による、異なる製品ラインに関連付けられた電子ラベルを有する例示的な小売環境を概略的に示す。 一実施形態による小売環境の単一通路を概略的に示す。 一実施形態による小売環境の単一通路上の棚を概略的に示す。 一実施形態による感知データを生成するために使用されるセンサ回路の例を概略的に示す。 一実施形態による分析結果の例を概略的に示す。 小売環境で使用するための電子サイネージの例を概略的に示す。 図１の電子ラベルの例示的なライフサイクルにおけるステップのフロー図である。 図１の電子ラベルの例示的なライフサイクルにおけるステップのフロー図である。 一実施形態による小売環境で使用するための搬送装置の例を概略的に示す。 一実施形態による小売環境で使用するための搬送装置の例を概略的に示す。 図１０ａ〜図１０ｃまたは図１１ａ〜図１１ｃの搬送装置を使用するユーザのための例示的なプロセスのステップのフロー図である。

図１は、モノのインターネット（ＩＯＴ）内の電子デバイスであり得る、以下「電子ラベル」２とする電子棚ラベルなどのデータ処理デバイス２のブロック図を概略的に示す。

電子ラベル２は、小売店（店舗、スーパーマーケットなど）または倉庫などの小売または商業環境の位置で１つ以上の製品（商品またはサービスなど）に関連付けることができ、これにより、電子ラベルは、製品に近い位置（棚、台など）に固定（永久固定または取り外し可能に固定）できる。

電子ラベル２は、データを処理し、かつ電子ラベル２によって実行される様々な動作を制御するためのマイクロプロセッサまたは集積回路などの処理回路４を備える。一部の実施形態では、処理回路は、処理されたデバイスデータに対して機械学習、深層学習、またはニューラルネットワーク分析を実行するための人工知能（ＡＩ）を備え、デバイスデータの処理に応じてアクションを実行するための論理エンジンも備えていてもよい。

電子ラベル２はまた、モバイルデバイス、コンピュータ端末、サービス（例えばクラウドサービス）、ゲートウェイデバイスまたはコンピューティングプラットフォーム（図示せず）など、そこから離れた１つ以上のリソースと通信するための通信回路６を有する。

通信回路６は、例えば、ライトウェイトマシンツーマシン（ＬＷＭ２Ｍ）などの適切な通信プロトコルを使用する、Ｗｉ−Ｆｉ、ＺｉｇＢｅｅ、ＢｌｕｅｔｏｏｔｈまたはＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）などの無線ローカルエリアネットワーク（ＷＬＡＮ）および／または無線センサネットワーク（ＷＳＮ）で使用される通信のような無線通信７を使用してもよい。通信回路６はまた、無線周波数識別（ＲＦＩＤ）または近距離無線通信（ＮＦＣ）などの短距離通信機能を備えてもよい。

電子ラベル２はまた、電子ラベル２上に提供されるか、または電子ラベル２によって生成されるデータ（以下「デバイスデータ」）を記憶するための記憶回路８（例えば、不揮発性／揮発性記憶装置）を備える。

そのようなデバイスデータは、電子ラベル２を識別するための１つ以上のデバイス識別子を備える識別子データを含み、ユニバーサル一意識別子（ＵＵＩＤ）、グローバル一意識別子（ＧＵＩＤ）、およびＩＰｖ６アドレスのうちの１つ以上を含むことができるが、任意の適切なデバイス識別子を使用できる。

デバイスデータはまた、電子ラベル２と遠隔リソースとの間の信頼／暗号通信を確立するための認証データを含んでもよい。このような認証データは、証明書（ルート機関による署名など）、暗号鍵（公開／秘密鍵のペア、共通鍵のペアなど）、トークンなどを含んでもよい。認証データは、認可された関係者（所有者、製造者、または設置者など）によって電子ラベル２に提供される。

電子ラベル２は、他のデバイスデータを提供されることもできるし、生成することもできる。例えば、電子ラベル２は、ユーザの活動または相互作用（例えば、ユーザの存在、ユーザの動き、ユーザのジェスチャ、ユーザの通信（例えば、ユーザが関連するデバイスを電子ラベル２のＮＦＣタグに当てる、電子ラベルのコードリーダでコード（ＱＲコードなど）をスキャンするなど）を検出するための１つ以上のセンサ１１を有するセンサ回路１０を備える。

動作中、センサ回路によって生成されたデバイスデータ、以下「感知データ」は、ユーザ相互作用を監視するために電子ラベル２によって処理されるか、処理のために遠隔リソースに送信され、それによりユーザ相互作用を監視することができるので、感知データの処理に応じてアクションを実行できる。

小売環境の場合、センサ回路は、関連製品の０〜１００ｃｍ以内のユーザ相互作用を検出するように構成できるが、請求項はこの点に関して限定されない。

ユーザ相互作用を検出するセンサ回路は、光学式または音響式のモーションセンサを備えていてもよい。

また、ユーザ相互作用を検出するセンサ回路は、電子ラベル２に設けられたカメラ、または電子ラベル２から離れて配置されるが（例えば無線または有線通信を介して）それと通信するカメラを備えていてもよい。以下で説明するように、カメラは、製品または製品ラインとのユーザ相互作用を検出するために使用できる。さらに、カメラは、（例えば、カメラビジョンシステムを使用して）ユーザの１つ以上の特性を検出するために、顔認識、顔検出、または身体特徴認識機能を備えていてもよい。そのような特性には、ユーザの性別、年齢、身長、靴のサイズ、体重、ウエストのサイズ、髪型、歩きぶり、ユーザが着用する衣服などが含まれるが、請求項はこの点に関して限定されない。カメラは、飛行時間（ＴＯＦ）センサを使用してユーザのジェスチャを検出することもできる。一部の例では、カメラはコンピュータビジョンシステムを備えていてもよい。

センサ回路１０は、追加的または代替的に、電子ラベルが関連付けられている製品を監視するためのさらなるセンサを備えていてもよい。例えば、そのようなセンサは、関連する製品の重量の変動を検出し、例えばユーザが関連する製品をピックアップし、触れ、および／または戻すことを検出するための重量センサを備えていてもよい。そのようなセンサは、ユーザが製品をピックアップしたときや触れたときを検出するモーションセンサを備えていてもよい。

センサ回路１０は、追加的または代替的に、光センサ、湿度センサ、および／または温度センサなど、電子ラベルへの局所的な環境の変化を検出するセンサを備えていてもよい。

センサ回路１０は、追加的または代替的に、通信回路６を含み、ユーザに関連するデバイス（以下「ユーザアプリケーションデバイス」）を介した電子ラベル２とのユーザ相互作用を検出することができる。そのようなユーザアプリケーションデバイスは携帯電話、タブレット、またはスマートウォッチなどのスマートデバイスを備えていてもよく、それによりユーザがユーザアプリケーションデバイスを介して（ＮＦＣ、ＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈなどを介して）電子ラベル２とアクティブに通信するときに感知データが生成される、または、ユーザアプリケーションデバイスがその近くにあるときにユーザアプリケーションデバイスによって生成される１つ以上の無線信号を電子ラベルが感知することができる。

電子ラベル２はまた出力回路１２を備え、出力回路１２は、ユーザが反応することができる感覚出力（例えば、視覚的出力または聴覚的出力）を生成する１つ以上の出力デバイスを備える。そのような反応は、ユーザが関連製品をピックアップしたり、製品を戻したり、オフラインの相互作用のためにコード（例えばＱＲコード）をスキャンしたりするなどのアクションを実行することを含んでいてもよい。これらのアクションは単なる例示であることが理解されよう。

例において、出力デバイスは１つ以上のライト（例えば発光ダイオード（ＬＥＤ）など）を備えていてもよく、または、出力デバイスは、ＯＬＥＤ（有機ＬＥＤ）ディスプレイ、ＬＣＤ（液晶ディスプレイ）または電子インク（ｅ−ｉｎｋ）ディスプレイなどのディスプレイを備えていてもよい。ＯＬＥＤおよびＬＣＤディスプレイと比較すると、視野角が広く、まぶしさが少なく、電力消費が比較的少ないため、一部のアプリケーションではｅ−ｉｎｋディスプレイが好ましい場合がある。

追加的または代替的に、出力デバイスは、音（例えば、ブザー、歌または話し言葉）を発するためのスピーカを備えていてもよい。

追加的または代替的に、出力回路１２は、通信回路６を出力デバイスとして利用して、ターゲットメッセージまたはコンテンツを備える通信をユーザアプリケーションデバイスに送信して、感覚出力をそこで生成させることができる。

電子ラベル２はまた、その中の様々な回路およびコンポーネントに電力を供給する電力回路１４を備える。例において、電子ラベル２は、電力回路が電気通信で提供される電力レールを使用して電力供給される。電力レールの例を図２で詳しく説明する。

電力回路１４は、追加的または代替的に、例えば電力レールを使用して（例えば誘導的にまたは他の方法で）充電することができるバッテリを備えていてもよい。

別の例では、電力回路１４は、電子ラベルに電力を供給し、および／またはバッテリを充電することができるＷｉ−Ｆｉエネルギーハーベスタなどのエネルギーハーベスタを含むことができる。

動作中、電子ラベル２は、センサ回路１０を使用してユーザ相互作用を検出し、検出された相互作用に応じてアクションを実行する。

感知されたユーザのアクティビティまたは相互作用は、ユーザの存在の検出、ユーザの動きの検出、ユーザが製品をピックアップすることおよび／または戻すことの検出、ユーザが製品を見たり調べたりする期間（滞留時間）の測定、ユーザが製品をピックアップしたり製品を戻したりする頻度の測定、製品に向かうまたは製品から離れるジェスチャの検出（眼球の動き、手の動き、足の動きの追跡など）、購入率（特定の製品に対するユーザ相互作用数対特定の製品の販売数）の測定、ユーザアプリケーションデバイスを介した電子ラベル２との相互作用の検出のうちの１つ以上を含んでもよい。これらのユーザ相互作用はすべてを網羅しているわけではなく、さらなるユーザ相互作用も感知できることが理解されよう。

電子ラベル２によって実行されるアクションには、出力デバイスからユーザの感覚出力を生成すること、ユーザアプリケーションデバイスに通信を送信してそこで感覚出力を生成し、感知データを遠隔リソースに送信することのうちの１つ以上が含まれてもよい。これらのアクションはすべてを網羅しているわけではなく、さらなるアクションを実行できることが理解されよう。

図２ａは、電子ラベル２に電力を供給するための例示的な電力レール５０を概略的に示し、図２ｂは、電子ラベルを電力レール５０に取り付けるための取り付け機構を有する電子ラベル２の側面図を概略的に示し、図２ｃは、電子ラベル２を電力レール５０に取り付けるための取り付け機構を有する電子ラベル２の背面図を概略的に示す。

電力レール５０は、互いに電気的に結合された（例えば、デイジーチェーン接続された）複数の電力ブロック５１ａ〜５１ｃを備え、各電力ブロック５１は、正（＋）レール５３および負（−）レール５４を有する。この実例では、（＋／−）レールは低電圧ＤＣレール（例えば５ｖ〜２４ｖ）であるが、請求項はこの点に関して限定されない。

図２ａの実例では、電力ブロック５１ｃは、ＡＣ電源への電力コネクタ５２を備え、電力ブロック５１ｃは、電子ラベル用の適切な出力を生成するＡＣ／ＤＣコンバータ回路（図示せず）も備える。電力コネクタ５２は、ＤＣ電源用のコネクタであってもよく、その場合、電力ブロックはＡＣ−ＤＣ変換器回路を必要としないことが理解されるであろう。

さらに、図２では複数の電力ブロックとして示されているが、他の例では、電力レールは単一の電力ブロックを備えていてもよい。

図２ｂおよび２ｃに例示的に示されるように、電子ラベル２は、図２ｂにおいて雄コネクタとして示されるコネクタ５５／５６、以下「ピン」を含み、ピンは電力レール５０のそれぞれの正および負のレールに挿入される。

例では、ピン５５／５６は、電子ラベル２の本体またはケーシング内に格納可能であり、それにより、例えば、ピン５５／５６は、リリースボタン５９の操作（例えば、押し下げ）によりピン５５／５６が電子ラベル２の本体に格納されるようにばね式である。ピンは例示にすぎず、任意の適切なタイプの電気コネクタを使用できることが理解されよう。

他の例では、電子ラベル２は誘導的に電力供給されてもよいため、外部電気コネクタを備えていなくてもよい。

電子ラベル２の本体またはケーシングはまた、電力レール５０に対して電子ラベル２を保持するための取り付け手段を備える。この実例では、取り付け手段は磁気結合を備え、それにより、磁石５８ａを使用して、電子ラベル２を電力レール５０に設けられた強磁性材料５８ｂに磁気的に結合する。しかしながら、請求項はこの点に関して限定されず、他の例では、取り付け手段は、例えば、接着剤、ホック機構（例えば、ベルクロ（登録商標））、機械的結合などを備えていてもよい。

図３は、電子ラベル２ａ〜２ｃを有するシステム１を概略的に示す。

電子ラベル２ａ〜２ｃは、例えば無線メッシュネットワークを使用して互いに通信することができるが、請求項はこの点に関して限定されない。

電子ラベル２ａ〜２ｃは、システム１内の遠隔リソース１５と通信し、遠隔リソース１５は、クラウドサービス、アプリケーション、プラットフォーム、コンピューティングインフラストラクチャなどであり得る１つ以上のサービスを備えていてもよい。

遠隔リソース１５は、電子ラベルとは異なるネットワーク（例えば、インターネット）上に配置することができ、電子ラベルはゲートウェイ（図示せず）を介してそれに接続する。しかしながら、１つ以上のサービスは、電子ラベル２ａ〜２ｃと同じネットワーク内に配置することができる（例えば、同じＷＬＡＮ内のサーバで実行される）。

この実例では、遠隔リソースは管理サービス１５ａおよびアプリケーションサービス１５ｂを備えるが、これはすべてを網羅しているわけではなく、遠隔リソースは他のサービスを備えていてもよい。

管理サービス１５ａは、ファームウェアデータ、認証データ、登録データおよび／または更新データ（例えば、ファームウェアまたは認証データの更新）などのデバイスデータを各電子ラベル２ａ〜２ｃに提供するために使用される。

アプリケーションサービス１５ｂは、そこで受信されたデバイスデータ（例えば、感知データ）に対して分析を実行し、それに基づいて、またはそれに応じて分析結果を生成する。アプリケーションサービス１５ｂはまた、電子ラベルから受信したデバイスデータを処理してもよく、機械学習、深層学習、またはニューラルネットワーク分析をそこで実行するＡＩを備え、デバイスデータの処理に応じてアクションを実行する論理エンジンも備えていてもよい。そのようなアクションは、命令または要求を備えるコマンド通信を、電子ラベル、電子サイネージデバイス、および／または第三者、例えばユーザのアプリケーションデバイスに送信することを含んでもよい。

そのようなリソース１５は、ケンブリッジ（英国）のＡＲＭ（登録商標）によるＭＢＥＤプラットフォームの一部として提供されてもよいが、請求項はこの点に関して限定されない。上記のように、電子ラベル２は、１つ以上のさらなるリソース（例えば、ゲートウェイ）を介してリソース１５に接続してもよい。このようなゲートウェイは、ＡＲＭ（登録商標）が提供するＭＢＥＤ Ｅｄｇｅプラットフォームを含んでもよい。一部の実施形態では、ゲートウェイは実行環境および計算リソースを提供して、ゲートウェイ自体でのデータの処理を可能にする。

例えば、分析結果に関心がある、および／または１つ以上の電子ラベルおよび／またはユーザアプリケーションデバイスと通信する第三者（以下「関係者」）は分析結果にアクセスでき、アプリケーションサービス１５ｂは、分析結果および／または感知データを、第三者に関連付けられたアプリケーションデバイス１６または関係者に登録されたアカウントに関連付けられた記憶装置に直接通信し、関係者がアプリケーションデバイス１６を使用して分析結果にアクセスできるようにする（例えば、アプリケーションデバイスのユーザインターフェイス（ＵＩ）を介してアカウントにアクセスする）。このような分析結果には、ピボットテーブルまたはデバイスデータのグラフィック表示（視覚的なヒートマップなど）が含まれる場合がある。

本説明の文脈において、関係者は１人以上の人間（例えば、店舗所有者、製品供給者、広告主など）であってもよいし、関係者はアプリケーションデバイスによって実行される１つ以上のアプリケーションまたはプログラムであってもよいことが理解されるであろう。例えば、アプリケーションデバイスは、感知データおよび／または分析結果に対して機械学習、深層学習、またはニューラルネットワーク分析を実行するための人工知能（ＡＩ）を備えていてもよく、それに応じてアクションを起こす論理エンジンを備えていてもよい。

関係者は、アプリケーションデバイス１６を使用して、遠隔リソース１５を介して１つ以上の電子ラベル２ａ〜２ｃと通信することができ、それによって関係者は、コマンド通信をアプリケーションデバイス１６から１つ以上の電子ラベル２ａ〜２ｃのうちの１つ以上に送信させることができる。

実例として、関係者は、分析結果の解釈時に、電子ラベル２ａに指示通信を送信して、例えばディスプレイ上の価格を調整したり、ディスプレイに特定の動画を表示したり、ディスプレイ上のバーコードを更新したり、１つ以上のライトを点滅させたり、および／または音を発したりするなどの感覚出力を生成させることができるが、これらがすべてではない。

さらなる実例では、電子ラベル２ａは、デバイスデータをアプリケーションデバイス１６に送信し、それにより関係者は、デバイス上のＵＩを介して、特定の電子ラベルの状態（例えば、現在ディスプレイにどんな情報が表示されているか、現在どのライトが点滅しているか、どんな音が発せられているか）を監視または確認することができる。

別の例では、電子ラベル２、遠隔リソース１５、または関係者は、ユーザアプリケーションデバイスに通信を送信して、（例えば、価格、レシピまたは割引券、在庫水準を表示するために）ユーザアプリケーションデバイスにおいて感覚出力を生成してもよい。例えば、アプリケーションサービス１５ｂは、感知データを関係者に送信することができ、それにより関係者は、感知データを処理して機械学習、深層学習、ニューラルネットワーク分析を実行し、論理エンジンは、分析に応じてユーザアプリケーションデバイスに送信されるコマンド通信を生成することができる。

さらなる実例では、電子ラベルまたは遠隔リソースは、ユーザが支援を必要としていると判断する場合がある（例えば、製品の滞留時間がしきい値（２分など）を超える、またはユーザが製品をピックアップすることなく同じ通路を何度も通過したと判断された場合）。電子ラベルまたは遠隔リソースは、コマンド通信をユーザアプリケーションデバイスに送信して、ユーザが支援を必要としているかどうかを判断するための感覚出力（例えば、「支援が必要ですか？」というテキストメッセージ）を生成する。ユーザは（例えば、ユーザアプリケーションデバイスのタッチスクリーンを介して）入力を提供でき、応答がリソース１５に送信され、リソースはコマンド通信を関係者（例えば、店舗労働者に関連付けられたアプリケーションデバイス）に送信し、ユーザが支援を必要としていることをその関係者に通知する。システム１はまた、デバイスデータを様々な電子ラベル２ａ〜２ｃに提供するためのブートストラップサービス１５ｃを備えることができる。この実例では、ブートストラップサービス１５ｃは管理サービス１５ａの一部として提供されるが、別個のサービス（例えばクラウドサービス）であってもよい。

各電子ラベル２ａ〜２ｃには、製造時にブートストラップサービス１５ｃの識別子やアドレスなどのブートストラップデータを提供して、最初に電源を入れたときに電子ラベルがブートストラップサービス１５ｃと通信し、そこから適切なデバイスデータを受信できるようにすることができる。

ブートストラップデータはまた、電子ラベルがブートストラップサービス１５ｃで自身を認証できるようにするための認証データを備えていてもよい。認証データは、信頼できる機関からのものであってもよい、暗号鍵（例えば、秘密鍵）または証明書を含むことができる。そのような機能により、そのような認証データを有する電子ラベルのみがブートストラップサービス１５ｃに接続でき、不正なデバイスが接続する可能性を減らすことができる。

ブートストラップサービスから受信したデバイスデータはファームウェアを含んでいてもよく、電子ラベルが通信すべき１つ以上のリソース／サービスの識別子またはアドレスを含んでいてもよい。

例では、ブートストラップサービスから受信したデバイスデータを（例えば、ブートストラップサービスの秘密鍵を使用して）暗号的に署名することができるので、電子ラベル２ａ〜２ｃは、提供された対応する認証データ（例えば、公開鍵またはブートストラップサービスの証明書）を使用して、デバイスデータが信頼できるソースからのものであると検証することができる。電子ラベルが受信した通信の署名を検証できない場合、そのような通信を無視する場合がある。したがって、電子ラベル２ａ〜２ｃは、信頼できるソースからのものであると検証されたデータのみを受け入れ、処理および／またはインストールすることができる。ブートストラップサービスと通信するための暗号鍵は、例えば、製造時にそれぞれの電子ラベルに提供することができる。電子ラベルは、ブートストラップサービスの公開鍵を使用して、ブートストラップサービスに送信される通信を暗号化できることも理解されよう。

上記のブートストラップサービスに関して説明したように、電子ラベルには、他の遠隔リソース（管理サービス、アプリケーションサービス、アプリケーションデバイス、および／または電子ラベルなど）の認証データも提供することができる。

認証データは、それぞれの遠隔リソースの公開鍵または証明書を備えることができ、例えば、ブートストラッププロセスの一部として、または管理サービス１５ａまたはアプリケーションサービス１５ｂの登録プロセスの一部として、ブートストラップサービスによって提供することができる。

このような機能は、異なるリソースによる各電子ラベルへの異なるレベルのアクセスを提供する。

実例では、第１の暗号鍵を使用して署名されたコマンド通信は、特定の電子ラベルの表示を変更するためのコマンド通信に署名するリソースを承認することができ、第２の暗号鍵を使用して署名されたコマンド通信は、署名リソースが電子ラベルからの感知データを要求することを許可し得るが、表示を変更することは許可しない。管理サービスに関連付けられた第３の鍵は、電子ラベルを無制限に制御できる。

したがって、電子ラベルは、遠隔リソースからの通信を受信すると、最初に、遠隔リソースが自身と通信することを許可されているかどうかを確認し、次に、実行される通信において命令を要求することを遠隔リソースが許可されているかどうかを確認することができる。

システム１はまた、様々な電子ラベル上の識別子データを管理するレジストリリソースを備えてもよく、識別子データの管理は、必要に応じて識別子データの生成、維持、および／または解体を含み得る。レジストリリソースは、識別子データを生成し、電子ラベルに提供するために別の遠隔リソース（製造者など）に送信できる。そのようなレジストリリソースは、管理サービス１５ａの一部として提供されてもよい。

電子ラベル２ａ〜２ｃ、遠隔リソース１５、および／またはアプリケーションデバイス１６間の通信には、トランスポート層セキュリティ（ＴＬＳ）、データグラムトランスポート層セキュリティ（ＤＴＬＳ）またはセキュアソケット層（ＳＳＬ）などのエンドツーエンドセキュリティが提供され得る。上記のように、エンドツーエンドのセキュリティに必要な認証データ（証明書／鍵）は、例えば管理サービス１５ａによって電子ラベル２ａ〜２ｃ、アプリケーションサービス１５ｂ、およびアプリケーションデバイス１６に提供することができる。

管理サービス１５ａはまた、エンドツーセンドセキュリティを使用して、電子ラベル、遠隔リソース、および／またはさらなるアプリケーションデバイスと通信するための認証データをユーザアプリケーションデバイスに提供することができる。

ラベル、リソース、および／または１つ以上の関係者間で送信される通信は、エンドツーエンドのセキュリティを提供するために、認証データ（例えば、暗号化／署名など）を使用する暗号操作を受ける場合がある。

このようなエンドツーエンドのセキュリティにより、デバイスデータまたは分析結果に不正な者がアクセスする可能性が低くなる。

電子ラベル２ａ〜２ｂは、ブートストラッププロセス中に提供されたＭＥＳＨプロトコルなどの位置決定プロトコルを使用して互いに通信することにより、特定の領域内のそれぞれの位置を自動的に決定することができる。

実例として、電子ラベルが戻されると、戻された電子ラベルの電源が入り、ブートストラッププロセスが実行され、位置決定プロトコルを備えるデバイスデータが提供され、これにより、その電子ラベルは、他の電子ラベルまたはデバイスと通信することによりその位置を解決する。次に、戻された電子ラベルは、その位置を管理サービス１５ａに伝え、管理サービス１５ａは、その位置の適切なデバイスデータを電子ラベルに提供することができる。

同様に、既存の電子ラベルが新しい位置に移動されると、電子ラベルは新しい位置の電子ラベルまたはデバイスと通信することにより新しい位置を決定し、その更新された位置を管理サービス１５ａに送信し、その結果その新しい位置に対して適切なデバイスデータが提供される。

他の例では、小売環境の特定の位置の製品または製品ラインが更新または戻されると、管理サービス１５ａは特定の位置の電子ラベルと通信して、新しい製品または製品ラインの適切な情報を電子ラベルに提供することができる。

さらに、特定の電子ラベルのデバイスデータ（ファームウェア、認証データなど）が更新されると、管理サービス１５ａは電子ラベルと通信して、更新されたデバイスデータを電子ラベルに提供することができる。

さらに、電子ラベル２ａは、他の電子ラベル２ｂ、２ｃが期待どおりに動作していることを確認することができ、電子ラベル２ａ〜２ｃは周期的（例えば、秒、分、時間など）にステータス通信を送信することができる。この実例では、ステータス通信はｐｉｎｇを含むが、任意の適切なフォーマットをとることができる。

しきい値時間内にｐｉｎｇを受信する電子ラベルは、ｐｉｎｇを送信する電子ラベルが期待どおりに動作していると判断することができる。

電子ラベルは、しきい値時間内に期待されるｐｉｎｇを受信しない場合、遠隔リソース１５へ通信を送信してｐｉｎｇが受信されなかったことを警告するなど、適切なアクションを実行することができる。次に、遠隔リソース１５は、通知を関係者（例えば、店の従業員）に送信して、誤動作している電子ラベルに関する潜在的な問題を解決することができる。

図４ａは、電子ラベル２の例を概略的に示し、図４ｂは、小売陳列２１ａおよび２１ｂ（例えば棚）に配置された複数の電子ラベル２ａ〜２ｆを有する例示的な小売環境２０を概略的に示す。

図４ｂでは、各棚２１ａおよび２１ｂは、３つの異なる製品ライン２２ａ〜２２ｆを有するものとして示されており、各電子ラベル２ａ〜２ｆは、それぞれの製品ライン２２ａ〜２２ｆの製品に関連付けられている。例えば、電子ラベル２ａは製品ライン２２ａの製品に関連付けられ、電子ラベル２ｆは製品ライン２２ｆの製品に関連付けられている。

電子ラベル２ａ〜２ｆのそれぞれは、センサ回路１０（図１に図示）の第１のセンサ１１を備え、それらの電子ラベルとの、または関連する製品とのユーザ相互作用を検出する。

電子ラベル２ａ〜２ｆのそれぞれはまた、製品説明情報１７（例えば、タイプ、ブランド、提案レシピ）、機械可読情報（例えば、オフライン相互作用のためのバーコード）１８、および価格設定情報１９（例えば、推奨小売価格、販売価格、アイテムごとの価格、ｋｇあたりの価格、リットルあたりの価格、合計税額）などの情報をユーザに出力する電子インクディスプレイ１３を備える。

しかしながら、ディスプレイ１３は任意の適切な情報をユーザに出力してもよく、情報は、例えば、遠隔リソース（例えば、管理サービス１５ａ、アプリケーションサービス１５ｂ、および／またはアプリケーションデバイス１６）から受信したコマンド通信の指示に応じて設定されてもよい。

電子ラベル２は、小売環境の従業員などの許可された関係者によって棚２１ａおよび２１ｂ上に配置／位置することができ、それにより、それぞれの電子ラベルは、上述のように電源が入ると自動的にその位置を決定する。電子ラベル２ａ〜２ｆが通信するサービス（管理サービスなど）は、異なる棚上の様々な製品の位置のデータベースを保持し、電子ラベルがその位置を決定して管理サービス１５ａに伝えると、管理サービス１５ａは、その位置にある製品のデバイスデータを電子ラベルに送信することができることが理解されよう。例では、製品のデバイスデータには、価格情報、有効期限、バーコード、特別価格、在庫残数など、ディスプレイに表示される情報が含まれる。

別の例では、所定の位置にいる場合、許可された関係者（従業員など）は、アプリケーションデバイスのＵＩまたは有線チャネルを介して、その位置の製品のデバイスデータを電子ラベル２ａ〜２ｆに提供することができる。

動作中、小売環境のユーザ（顧客など）は、様々な方法で様々な製品または電子ラベル２と相互作用する。例えば、ユーザは自分のニーズに適していると判断すると、製品をピックアップする。このような判断は、製品自体（例えば、ブランド戦略）に基づいて行われることもあるし、またはピックアップするかどうかの判断は、関連するディスプレイ上の情報（例えば、価格設定情報、ディスプレイに表示されるレシピ、ディスプレイに表示される動画、出される音など）に基づいて行われることもある。他の場合には、ユーザは製品を単に調べて（例えば、ブランド戦略／成分／カロリー量）それが適切かどうかを確認し、適切でない場合、ユーザは棚に製品を戻す。他の場合、ユーザはユーザアプリケーションデバイス（図４ｂで１６ｂとして図示）を介して電子ラベルと相互作用する場合がある。

センサ１１は、ユーザ相互作用に応じて感知データを生成し、電子ラベル２は、感知データを処理し、それに応じて感覚出力を生成する。例えば、ユーザの滞留時間がデバイスデータで指定されたしきい値の滞留時間より長いと判断された場合、または購入率が予想より低いと判断された場合、電子ラベル２はディスプレイ１３上の価格情報を調整するか、ＬＥＤを点滅させるか、音を出すか、またはユーザアプリケーションデバイスにコマンド通信を送信して、そこで感覚出力を発生させる。そうするとユーザは、更新された価格に応じて製品の購入を決定するなど、感覚出力に反応することができる。

別の例では、重量センサ（図４ａには図示せず）が各製品ラインの棚に提供され、関連する電子ラベルと通信しているので、ユーザが１つ以上の製品をピックアップすると、関連する電子ラベルが重量の減少を検出し、ユーザが製品をピックアップしたと決定する。次いで、電子ラベル２は感覚出力を生成することができる。例えば、電子ラベル２は、製品がピックアップされたという決定に基づいてディスプレイ１３上の「数量」フィールドを更新することができ、および／または電子ラベル２は、コマンド通信をユーザアプリケーションデバイスに送信して（例えば、ユーザが棚から取り出した製品のランニングコストを更新し、価格をユーザに表示するために）感覚出力を出力させる。

追加的または代替的に、電子ラベルは製品が取り出されたことを示す通信を遠隔リソース１５に送信することができ、それに応じて遠隔リソース１５は、製品の在庫レベルを適切に監視および制御できる在庫レベルデータベースを更新することができる。このような機能は、しきい値の在庫に達したときに特定の製品の在庫を補充するよう店舗所有者に警告するのに特に役立ち、これにより店舗所有者は、リアルタイムの在庫レベルに基づいて在庫レベルを管理することができる。在庫レベルのデータベースは、遠隔リソース１５上で提供されてもよいし、遠隔リソース１５と通信する異なるリソース上にあってもよいことが理解されよう。

追加的または代替的に、製品ラインの製品数がしきい値を下回っていると判断すると、電子ラベルはディスプレイ上に「価格」フィールドを調整するなどの出力を生成し、それによって感知量に基づいた動的な価格設定を提供する。ディスプレイ１３はまた、価格が有効である期間を示すカウンターを表示してもよい。別の例では、ディスプレイは、製品ラインまたは店舗自体に残っている製品の数を、例えばディスプレイの「残り在庫」フィールドに詳しく表示してもよい。さらなる例では、電子ラベルは、例えば遠隔リソース１５を介して、関係者（店舗の所有者など）に残っている数量を伝えることができる。このような機能は、しきい値の在庫に達したときに特定の製品の在庫を補充するよう店舗所有者に警告するのに特に役立つ。

図４ｂの実例では、電子ラベル２ｅに関連付けられた製品ラインには製品が残っていない。したがって、電子ラベル２は、視覚的出力（例えば、点滅光）または聴覚的出力（例えば、ブザー）を使用して、製品ライン２２ｅの在庫が補充されるべきであることを示すことができる。別の例では、電子ラベルは製品が残っていないことを関係者に伝えることができ、電子ラベルは遠隔リソース１５を介して情報を伝えることができる。

さらに、電子ラベルは、ユーザによる製品の誤配置または位置ずれを検出することができる。図４ｃに例示的に示すように、ユーザが第１の製品ライン２２ｇから製品をピックアップして、第２の製品ライン２２ｆに製品を戻すと、電子ラベル２ｆは予期しない製品が関連する製品ライン２２ｆに置かれたことを（センサ回路を使用して）検出し、予期しない製品が検出されたことを視覚的または聴覚的出力を使用して示すことができる。別の例では、電子ラベル２ｆは、予期しない製品が検出されたことを（例えば、遠隔リソース１５を介して）関係者に伝えることができる。それにより関係者は、製品を正しい位置に戻すアクションを実行することができる。別の例では、電子ラベル２ｆは、ユーザアプリケーションデバイスを介してユーザにコマンド通信を送信して、正しい位置に製品を戻すようユーザに要求するメッセージを表示させることができる。

実例として、製品が製品ラインに配置されると、その製品ラインに関連付けられた電子ラベルは、検出された重量がその製品ラインに割り当てられた製品と異なる場合、製品の位置が誤配置であると判断することができる。追加的または代替的に、電子ラベルは、製品が製品ラインに置かれるのを検出する前に電子ラベルが最初に製品のピックアップを検出していない場合、関連する製品ラインに置かれた製品は、その中で誤配置されていると判断してもよい。

上記の実例は、一般に、電子ラベル２でローカルに処理されている感知データと、それに応じてアクションをとる電子ラベル２について説明している。このような機能は、ユーザのアクティビティまたは相互作用のローカルな監視と見なすことができる。

追加的または代替的に、電子ラベルは、感知データを遠隔リソース１５に送信して、そこで感知データを処理することができる。次いで、遠隔リソース１５は、電子ラベルにコマンド通信を送信するなど、処理データに応じてアクションを実行することができる。このような機能は、ユーザのアクティビティまたは相互作用の遠隔監視と見なすことができる。

電子ラベル自体での遠隔監視は、遠隔リソースでの遠隔監視に比べていくつかの利点があり、感知データをローカルで処理する際に特定の感知データが識別されると、電子ラベル２は、例えば「平均滞留時間がＸＸ秒未満の場合は価格Ａを表示する」、「製品の数量がＹＹ未満の場合は赤色のＬＥＤを点滅させる」、「検出された温度がＺＺ℃より高い場合は温度警告をサービスＢに伝える」、「平均購入率が５０％未満の場合は価格Ｄを表示する」などの、事前にプログラムされたアクションを実行することができる。

しかしながら、感知データを遠隔処理のために遠隔リソースに送信するのは、電子ラベルの処理負担が軽減されるという点で、ローカル処理よりも利点がある。また、遠隔監視は、実行される感知データのより強力な処理を提供し、複数の電子ラベルからデータを集約し、かつそれを使用して様々な分析を実行して分析結果を提供することを可能にするので、電子ラベルおよび／またはユーザアプリケーションデバイスを、分析結果および／または感知データに基づいて、またはそれに応じて、リソースおよび／または１つ以上の関係者からコマンド通信を送信することにより制御することができる。

図５ａ〜図５ｃは、感知データの処理に応じて遠隔リソース１５によって生成された分析結果の例を概略的に示している。分析結果は、関係者のアプリケーションデバイスのディスプレイに表示される。

図５ａは、棚３２を有する複数の通路３１を有する小売環境３０の分析結果を概略的に示しており、棚３２は、上述のように異なる製品ラインに関連付けられた電子ラベルを有する。図５ｂは、両側に棚３２を有する、小売環境３０の単一の通路３１の分析結果を概略的に示しており、図５ｃは、棚３２を有する、小売環境３０の単一の通路３１の分析結果を概略的に示している。この実例では、棚３２は、異なる製品に関連付けられた電子ラベル２（図５ｃに図示）を有する。

棚上の電子ラベル２は、とりわけ各製品ラインとのユーザ相互作用を検出し、感知データを遠隔リソース１５に送信する。

遠隔リソース１５は、感知データに応じて分析を実行し、出力を生成するが、これは、図５ａ〜図５ｃの例に例示するように、小売環境３０におけるユーザのアクティビティまたは相互作用を示す視覚的なヒートマップである。

この実例では、視覚的ヒートマップは小売環境３０の写真に重ねられ、それにより、一部が３４で例示される「ホット」な濃いゾーンは、一部が３６で例示される「クール」な薄いゾーンと比較して、ユーザ相互作用がより多いことを示す。

その後、関係者は（例えばＡＩを使用して）分析結果を解釈し、必要に応じてアクションを実行することができる。例えば、店舗所有者は、ユーザとの相互作用が少ない領域３６における製品の価格を調整することができる。上記のように、価格のこのような調整は、リアルタイムで遠隔で行うことができる。

追加的または代替的に、店舗所有者は、分析結果に応じて商品を小売環境内で物理的に再配置し、「ホット」なゾーンが小売環境３０内でより均等に分散されるようにすることができる。

分析結果は、様々なユーザ相互作用（滞留時間、購入率、製品ピックアップなど）、および温度、湿度などの他の感知データに対して生成できることを理解されたい。

分析結果は、１つ以上の電子ラベルからの様々な粒度の感知データについても生成できることを理解されたい。

例えば、関係者は、特定の製品、特定の製品クラス（飲料、チョコレート、サラダなど）、または特定のブランド所有者に関連付けられた電子ラベルからの感知データを選択（例えば、フィルタリング）することができる。

追加的または代替的に、関係者は、一日の特定の期間または特定の休日中の傾向を識別するために、日、週、月、年などの異なる時間帯から感知データを選択してもよい。

追加的または代替的に、関係者は、特定の棚、通路など、単一の小売環境内の電子ラベルからの感知データを選択してもよいし、またはショッピングセンター、町、都市、または国などの２つ以上の小売環境内の電子ラベルからの感知データを選択してもよい。

分析結果および／または感知データは、機械学習、深層学習、ニューラルネットワーク、またはハイブマインド分析による分析にかけられ、その中のパターンまたは傾向、およびそれに応じてとられるアクションを識別することもできる。

実例では、感知データは、毎日同じ時間帯に特定の製品のピックアップが急増していることを示している場合がある。関係者は、急増を識別すると、アプリケーションデバイスのＵＩを介して、急増時に店舗のディスプレイ（例えば、１つ以上の電子ラベルまたはデバイス）に表示される情報を調整して、売上をさらに大きくすることができる。

さらなる実例では、分析結果および／または感知データは、新しいブランド戦略が適用された製品の滞留時間の増加または購入率の低下を示すことがあり、ユーザが製品の購入をすぐに決定できていないことを示す。関係者は、アプリケーションデバイスのＵＩを介して滞留時間の増加または購入率の低下を識別すると、製品に関連付けられた電子ラベルに異なる情報を表示させ、滞留時間の増加または購入率の低下の理由を特定することができる。そうすることで、関係者は、異なる情報を有する電子ラベルから送信された感知データを監視することにより、異なる情報が製品の滞留時間または購入率に与える影響を監視することができる。

関係者は、関連する電子ラベルのディスプレイに表示される価格を引き下げて、価格の引き下げが滞留時間または購入率に与える影響を特定することができる。

追加的または代替的に、関係者は、電子ラベルのディスプレイに他の情報（動画、レシピ、バーコードなど）を表示させ、上記のように、結果の滞留時間または購入率を監視したり、またはライトを点滅させたり、電子ラベルから音を出して、そのような情報が滞留時間または購入率に与える影響があれば、それを特定することができる。

他の例では、分析結果または感知データは、分析結果または感知データに従って行動するために、ブランド所有者、広告主、製品メーカーなどのさらなる関係者に送信されてもよい。

例えば、特定の製品の滞留時間が予想よりも長いこと、または購入率が予想よりも低いことを識別すると、ブランド所有者はその製品のブランド戦略を変更することができる。または、特定の製品のピックアップが町または市の特定のエリアで減少または減速していることを識別すると、広告主は市のそのエリアの広告板にその製品を表示させるマーケティングキャンペーンを生成することができる。さらなる実例では、関係者は、電子ラベルに（例えば、アプリケーションデバイスを介して）コマンド通信を送信して、ディスプレイに表示される情報を変更することができる（例えば、価格を下げる、またはオフライン相互作用のための新しいＱＲバーコードを生成する）。他の例では、関係者は、電子ラベルに特定の動画を表示させたり、新しいレシピを表示させたりすることができる。上記で詳述したように、各関係者は、特定のアクションを要求する権限があることを証明するために、電子ラベルに送信されるコマンド通信に署名することができる。

関係者はまた、分析結果および／または感知データに基づいて、またはそれに応じて、ターゲットメッセージを１人以上のユーザに送信することができる。

図６は、カメラ４０ａおよび４０ｂの形態のセンサを備えるさらなるセンサ回路の例を概略的に示しており、各センサは、関連付けられたそれぞれの製品とのユーザ相互作用を感知するように構成されている。

図６に例示的に示されるように、電子ラベルは、棚３２の上に（例えば、ガントリー上に）配置されたカメラ４０ａおよび４０ｂを備える。この実例では、各カメラ４０ａおよび４０ｂは、棚の指定領域４２ａおよび４２ｂにカバーするように構成されたコンピュータビジョンカメラである。

各指定領域４２ａおよび４２ｂは、複数のグリッドセル４４ａおよび４４ｂを有するグリッドシステムに分割され、各グリッドシステムは、高さ、幅およびグリッドセル間隔についてカスタマイズ可能である。製品または製品ラインをグリッドセルの１つ以上に割り当てることができ、それによりカメラ４０ａおよび４０ｂは、製品とのユーザ相互作用を検出することができる。実例では、カメラ４０ａ／４０ｂがユーザの手が製品とともにグリッドセルの内側からグリッドの外側に移動したことを感知すると、この相互作用はピックアップと判断される。逆に、カメラ４０ａ／４０ｂがユーザの手が製品とともにメッシュグリッドの外側からメッシュグリッドの内側に移動したことを感知すると、この相互作用は製品を戻したと判断される。

上記のように、電子ラベルは感知データを遠隔リソース１５に送信し、遠隔リソース１５は上記のように分析結果を生成する。

さらに、カメラ４０ａ／４０ｂは、上述のように電子ラベル上の他のセンサ（例えば、運動センサ、重量センサ、光センサ）と組み合わせて使用できることが理解されよう。

さらに、カメラ４０ａ／４０ｂは棚の上に配置するものとして説明されているが、請求項はこの点に関して限定されず、カメラは任意の適切な位置に配置することもできるし、各棚の個々の電子ラベル内に統合することもできる。

実施形態では、１つ以上のカメラからの感知データを使用して、ユーザの性別、年齢、身長、靴のサイズ、体重、ウエストサイズ、髪型、歩きぶり、ユーザが着る服などのユーザの１つ以上の特性を識別することができる。

一例として、カメラがユーザの画像をキャプチャ（つまり、感知データを生成）すると、感知データ内の画像データが処理されて、その中のオブジェクト特徴が検出される。このようなオブジェクト特徴には、線、縁、隆起、角、しみ、質感、形状、グラデーション、領域、境界、表面、色、陰影、ボリュームなどが含まれる。次に、検出されたオブジェクト特徴を使用して、例えば、合致するものがないか検出されたオブジェクト特徴を比較する対象である既知のユーザ特性（例えば、ユーザ特性テンプレート）のオブジェクト特徴を備えるデータストア（例えば、モデルベース）を検索することにより、ユーザ特性を識別することができる。

次に、識別されたユーザ特性に基づいて、またはそれに応じて、感覚出力を生成することができる。例えば、識別された特性に基づいてユーザがどのユーザ人口統計層に該当するかを（例えば、電子ラベルまたはリソースによって）決定し、そのユーザ人口統計層に対する感覚出力をユーザの近くに（例えば、ユーザの近くにある１つ以上の電子ラベル、店内のディスプレイ（例えば、電子サイネージ）、またはユーザに関連付けられたユーザアプリケーションデバイス１６ｂに）表示させることができる。

実例として、感知データを処理してオブジェクト特徴を検出し、ユーザの髪型を識別し、ユーザが男性であると判断し、男性向けの感覚出力を生成することができる（例えば、男性向けの広告を、ユーザの近くにある１つ以上の電子ラベルのディスプレイ、店舗のディスプレイ（例えば、電子サイネージ）、またはユーザアプリケーションデバイス１６ｂに表示させる）。

さらなる例として、感知データを処理してオブジェクト特徴を検出し、ユーザのおおよその年齢を判断し、その年齢範囲のユーザ人口統計層を対象とした感覚出力を生成することができる（例えば、３０〜３５歳の男性向けの広告を、ユーザの近くにある１つ以上の電子ラベルのディスプレイ、店舗のディスプレイ（例えば、電子サイネージ）、またはユーザアプリケーションデバイス１６ｂに表示させる）。

一部の実施形態では、感知データを使用して、ユーザがどのユーザ人口統計層に該当するかを決定できるが、感知データはユーザを識別せず、ユーザは匿名のままであることを理解されたい。

一部の実施形態では、感知データを使用してユーザを識別することができ、それにより、実例では、ユーザは顔または体を（例えば、小売環境でアプリケーションデバイスを使用するか、ユーザアプリケーションデバイス経由で）アプリケーションサービスに登録することによりプロファイルを作成する。感知データは、登録されたプロファイルと比較され、感知データがそのユーザに登録されたデータと一致する場合、ユーザが識別される。次に、識別されたユーザ向けの感覚出力を生成することができる（例えば、その識別されたユーザに関連付けられたユーザアプリケーションデバイス１６ｂに通信が送信される）。

小売環境の周囲に配置されたカメラは、ユーザが小売環境を動き回る間、識別されたユーザを追跡することもでき、これにより、ユーザの行動（滞留時間、ピックアップなど）を監視でき、ユーザの行動に基づいて、またはそれに応じて、様々な感覚出力が電子ラベルで生成されるか、ユーザに関連付けられたユーザアプリケーションデバイス１６ｂに送信される。

例えば、識別されたユーザが製品と相互作用すると、関連する電子ラベルの表示が更新されて、ユーザ向けにカスタマイズされた情報が表示される（例えば、価格がユーザ用に更新されるか、ユーザの性別固有の広告が示されるか、レシピが示されるか、オフライン相互作用のＱＲコードが示されるか、例えばセルラー通信（例えばＳＭＳ）またはインターネットベースのメッセージング（ＩＭ）（ＷｈａｔｓＡｐｐ、Ｔｗｉｔｔｅｒ、Ｆａｃｅｂｏｏｋ、Ｉｎｓｔａｇｒａｍなど）を介して、ユーザに関連付けられたユーザアプリケーションデバイス１６ｂにコマンド通信が送信されるが、ここで連絡先の詳細は、ユーザのプロファイルから取得することができる）。

さらなる実例では、追跡されたユーザがピックアップした商品に支払われる総費用は、ユーザが小売環境を動き回る間に生成された感知データに基づいて自動的に計算される。チェックアウト地点のカメラは、ユーザを認識し、チェックアウト時のディスプレイでユーザに決済の総費用を提示することができる。別の例では、支払いの総費用がユーザのストアアカウントから自動的に差し引かれるので、ユーザは支払いの順番を待たずに出口に進むことができる。このような機能により、チェックアウト時に順番待ちと商品のスキャンに費やす時間が大幅に短縮される。さらに、ランニングコストは、ユーザが小売環境を動き回る間に、ユーザに関連付けられたユーザアプリケーションデバイス１６ｂで更新されてもよい。

さらなる実例では、電子ラベルは製品の置き間違いまたは誤配置を検出することができ、ユーザが第１の製品ラインから製品をピックアップして第２の製品ラインに製品を戻すと、電子ラベルは第２の製品ラインに関連付けられているカメラを使用して、予期しない製品が第２の製品ラインに配置されたことを検出する。次いで、電子ラベルは、例えば、視覚的または聴覚的出力を生成することにより、および／または関係者に（例えば、遠隔リソース１５を介してデバイス１６ａに）予期しない製品が検出されたことを伝えることにより、予期しない製品が検出されたことを示すことができる。それにより関係者（例えば、店舗所有者またはユーザ）は、製品を正しい位置に戻すアクションを実行することができる。

実例では、カメラは特定のグリッドまたは製品ラインのピックアップと戻しの数を追跡またはカウントすることができ、戻しの数がピックアップの数より多い場合、関連するグリッドまたは製品内にアイテムの置き間違いがあると判断され、電子ラベルは、予期しない製品が検出されたことを示すことができる。

感知データの処理およびユーザ特性の識別は、電子ラベル自体の処理回路を使用して実行することができ、各電子ラベルは記憶回路内にデータストアを備えることが理解されよう。このような機能により、電子ラベルの通信要件を緩和することができる。追加的または代替的に、感知データは、処理およびユーザ特性の識別のために電子ラベルから遠隔リソース１５に送信されてもよい。画像処理が電子ラベルから離れて実行されるため、そのような機能は電子ラベルの処理要件を緩和することができる。

さらに、識別されたユーザ特性に応じて生成する適切な感覚出力を決定するために、電子ラベルおよび／またはリソースにＡＩ機能（例えば、機械学習、深層学習、ニューラルネットワーク）を提供することができる。

カメラはまた、製品ライン上の製品の画像および／またはユーザ相互作用が検出されたときにキャプチャすることができ、さらなる実例では、カメラが（例えば製品ラインの、または製品が戻されていることが検出されたときの）画像をキャプチャしたとき、キャプチャ画像内の画像データは、その中のオブジェクト特徴を検出するために処理される。このようなオブジェクト特徴には、線、縁、隆起、角、しみ、質感、形状、グラデーション、領域、境界、表面、色、陰影、ボリュームなどが含まれる。次に、検出されたオブジェクト特徴を使用して、例えば、合致するものがないか検出されたオブジェクト特徴を比較する対象である既知の製品のオブジェクト特徴（テンプレートなど）を備えるデータストア（モデルベースなど）を検索することにより、製品を識別することができる。識別された製品がそのグリッドまたは製品ラインの予期しない製品であると判断された場合、電子ラベルは予期しない製品が検出されたことを示すことができる。

画像データの処理および製品識別は、電子ラベル自体の処理回路を使用して実行することができ、各電子ラベルは記憶回路内にデータストアを備えることが理解されよう。このような機能により、電子ラベルの通信要件を緩和することができる。追加的または代替的に、画像データは、処理および製品識別のために電子ラベルから遠隔リソース１５に送信されてもよい。画像処理が電子ラベルから離れて実行されるため、そのような機能は電子ラベルの処理要件を緩和することができる。

図７は、カメラによって生成された感知データの処理に応じて生成された分析結果の例を示している。

製品とのユーザ相互作用（製品のピックアップ、製品の戻し、製品の吟味など）は、小売環境でユーザが動き回る間に、関連付けられた電子ラベルのカメラによって検出される。

電子ラベルによって生成された感知データは遠隔リソースに送信され、遠隔リソースは、ユーザと製品との相互作用を詳細に説明する分析結果を生成し、分析結果は、例えば、ユーザが製品をピックアップした順序、ユーザが各製品を見るのに費やした滞留時間といったユーザアクティビティの詳細を示すことができる。

このような分析結果は、図７に示すように、仮想現実（ＶＲ）出力または拡張現実（ＡＲ）出力４５として提示でき、これにより、関係者は、ユーザが店舗を動き回る仮想表現を見ることができる。

理解されるように、関係者は、様々な電子サイネージデバイスと通信して、デバイス上のディスプレイにコンテンツを生成することができる。

図８は、電子サイネージデバイス６０／７０の例を概略的に示しており、電子サイネージデバイス６０は、小売環境内で構造物（例えば、棚、冷蔵庫ユニット、宣伝スタンド）に固定されたサイネージとして描かれ、一方、電子サイネージデバイス７０は、小売環境の入り口など、小売環境の周囲に配置することができる移動可能なサイネージとして描かれている。

各電子サイネージデバイス６０／７０は、電子ラベルに関連して上述した回路を備えるが、電子サイネージデバイスは、電子ラベルと比較してより強力な計算能力（例えば、処理能力、記憶能力など）を備えることができ、さらに、情報をユーザに提示するためのより大きなディスプレイ６２／７２（例えばＬＣＤまたはＯＬＥＤ）を備えることが理解されよう。

電子デバイス６０／７０は、（例えば、ゲートウェイを介して）遠隔リソース１５と通信し、図８の実例では、電子デバイス６０または７０はまた、小売環境３０の周囲の１つ以上の電子ラベルと（例えば、直接または遠隔リソース１５経由で）通信することができる。

実例では、関係者は、コマンド通信を送信して表示情報を変更することにより、アプリケーションデバイス１６ａを介して各ディスプレイ６２／７２に表示される情報を制御することができる。さらに、それぞれのディスプレイ６２／７２に表示される情報は、ディスプレイにコマンド通信を送信することにより電子ラベル２により制御することができる。

例えば、関連製品の平均滞留時間の増加または購入率の低下の検出に応じて、電子ラベルは、コマンド通信をサイネージ６０／７０に送信して、それぞれのディスプレイ６２／７２が関連商品の割引価格を表示するよう、またはそれぞれのディスプレイ６２／７２が棚に一定量の在庫があることを示すメッセージを表示するよう要求する。コマンド通信は、分析結果または検出データに対する機械学習、深層学習、ニューラルネットワーク分析に応じて、論理エンジンによって生成することができる。

別の例では、関係者は、例えば、分析結果または感知データに応じて、広告またはレシピをそれぞれのディスプレイ６２／７２に表示させてもよい。

別の例では、電子サイネージデバイス６０／７０上のセンサ回路は、ユーザ相互作用（例えば、ある期間、ユーザがサイネージを見る）を検出し、感知データに応じて出力を生成することができる。

実例として、上記のように、センサ回路は、ユーザの１つ以上の特性を検出するカメラを備えてもよい。次に、電子サイネージデバイスは、データを処理して、ユーザがどの人口統計層に該当するかを判断し、それに応じてディスプレイ６２／７２に情報を表示させることができる。

他の例では、電子サイネージデバイス６０／７０は、感知データを処理するために、感知データを遠隔リソースに送信してもよい。次に、遠隔リソースは、コマンド通信を電子サイネージデバイス６０／７０に送信して、ディスプレイ６２／７２に表示される情報を変更し、ユーザ向けのメッセージを提供することができる。

電子サイネージデバイス６０／７０および／または遠隔リソース１５はまた、感知データの処理に応じて、小売環境の１つ以上の電子ラベルにおいて感覚出力を生成させる（例えば、ラベルによって表示される価格を変更する）こともできる。

電子サイネージデバイス６０／７０および／または遠隔リソース１５は、コマンド通信を生成して、ユーザアプリケーションデバイス１６ｂにおいて感覚出力を生成させることができる。上記のように、そのような感覚出力は、ユーザに表示されるターゲットメッセージを含むことができ、ユーザに割引を提供するコード（ＱＲコードなど）を含むことができ、またはメッセージは、ユーザが該当する人口統計層に基づいてユーザが興味を持つと判断された特定の製品に関する製品情報を含むことができる。実例では、ターゲットメッセージは、電子サイネージデバイス６０／７０から直接（例えば、ＮＦＣやＢｌｕｅｔｏｏｔｈを介して）ユーザアプリケーションデバイス１６ｂに送信されてもよく、またはターゲットメッセージは、例えば、セルラー通信（ＳＭＳなど）またはＩＭメッセージング経由で送信されてもよい。

図８には小売環境におけるサイネージとして示されているが、請求項はこの点に関して限定されず、電子サイネージデバイスは、小売環境の外部にある電子サイネージ（電子広告板、スタジアムのディスプレイ画面など）とすることもできる。

図９は、ユーザが反応できる感覚出力を電子ラベル２が生成する例示的なプロセス１００のステップのフロー図である。

ステップＳ１０１において、プロセスが開始する。

ステップＳ１０２において、電子ラベルは、最初の電源投入時に電子ラベルがブートストラップサービスと通信することを可能にするブートストラップデータを提供され、そこから適切なデバイスデータを受信することができる。ブートストラップデータには、ブートストラップサービスの識別子またはアドレスが含まれてもよく、認証データ（暗号鍵など）も含まれてもよい。

ステップＳ１０３において、電子ラベルは小売環境の所定の位置に配置され、電源が投入され、ブートストラップ処理を実行し、これにより、電子ラベルはデバイスデータを受信し、サービス（管理またはアプリケーションサービスなど）などのさらなるリソースと通信できるようになる。

ステップＳ１０４において、電子ラベルは、近くにある他の電子ラベルまたはデバイスと通信し、適切な位置決定プロトコル（例えば、ファームウェアで提供される）を使用することにより、その位置を解決する。電子ラベルは、その位置を遠隔リソースに伝達し、遠隔リソースは、解決された位置に適したデバイスデータを電子ラベルに提供する。一部の例では、遠隔リソース（管理サービスなど）は、小売環境の様々な製品または製品ラインの位置のデータベースを維持し、それぞれの位置についての適切なデバイスデータ（ファームウェア、プロトコル、認証データなど）を電子ラベルに提供する。

ステップＳ１０５において、電子ラベルは、ユーザ相互作用を感知し、それに応じて感知データを生成する。このようなユーザ相互作用には、ユーザが関連する製品に近づくこと、ユーザが関連製品をピックアップ／戻すこと、関連する製品を見るユーザの滞留時間を測定すること（例えば、製品の近くでユーザの存在を検出するか、関連する製品を見るときのユーザの眼球の動きを検出する）がある。感知データはまた、顔認識、顔検出、または身体特徴認識機能を有する１つ以上のカメラからの入力を備えることができる。感知データはまた、電子ラベルとユーザアプリケーションデバイスとの間の相互作用も備えることができる。

ステップＳ１０６ａにおいて、電子ラベルは（例えば、機械学習、深層学習、ニューラルネットワーク分析を使用して）感知データをローカルで処理し、ステップ１０７において、ユーザが反応することができる視覚的または聴覚的出力を備える感覚出力を出力デバイスから生成し、および／または電子ラベルは、コマンド通信を１つ以上の電子サイネージデバイスおよび／または１つ以上のユーザアプリケーションデバイスに送信して、そこに感覚出力を生成させる。

上述のように、電子ラベルは、温度を検出するセンサ、光および／または湿度センサを備えてもよく、そこからの感知データは電子ラベルで処理され、および／または遠隔リソースに送信されてもよい。

電子ラベルは、関係者への通信（例えば、在庫レベルが設定されたしきい値を下回ったという警告、感知された温度が設定レベルを超えたという警告など）の送信など、処理されたデータに応じて他のアクションを実行することもある。電子ラベルはまた、他のサイネージデバイスと通信して、そこに表示される情報を制御してもよい。

追加的または代替的に、ステップＳ１０６ｂにおいて、電子ラベルは、感知データを遠隔リソースに送信して、そこで感知データを処理する。遠隔リソースは、１つ以上の小売環境内の複数の電子ラベルから感知データを受信できることが理解されよう。

ステップＳ１０８において、遠隔リソースは、電子ラベルから受信した感知データを処理して分析結果を生成する。

ステップＳ１０９において、遠隔リソースは、（例えば、機械学習、深層学習、ニューラルネットワーク分析を使用した）分析結果および／または感知データに応じて、電子ラベル、１つ以上の他の電子ラベル、１つ以上の電子サイネージデバイスおよび／または１つ以上のユーザアプリケーションデバイスにコマンド通信を送信して、（Ｓ１０７でのように）感覚出力を生成する。

Ｓ１１０において、遠隔リソースは分析結果および／または感知データを関係者（例えば、店舗所有者、ブランド所有者、広告主、ＡＩなど）に提供し、それにより関係者はアプリケーションデバイスを介して分析結果および／または感知データにアクセスすることができる。上記のように、このような分析結果には、ピボットテーブルまたはデータのグラフィック表示（例えば、視覚的なヒートマップとして）、あるいはＶＲまたはＡＲ出力が含まれる場合がある。

ステップＳ１１１において、遠隔リソースは、（例えば、機械学習、深層学習、ニューラルネットワーク分析を使用した）分析結果および／または感知データの処理に応じて、電子ラベルもしくは１つ以上の他の電子ラベル、電子サイネージデバイスまたはユーザアプリケーションデバイスにコマンド通信を送信して、（Ｓ１０７でのように）感覚出力を生成する。

ステップＳ１１２において、プロセスが終了する。

上記のように、遠隔リソースまたは関係者からのコマンド通信は暗号鍵を使用して署名されて各電子ラベルが署名を検証できるようになっているおり、署名を検証できない場合、電子ラベルはコマンド通信を無視する。

電子ラベルによって生成された感知データはオフラインのリアルタイムデータであり、感知データは、物理的な小売環境での物理的な製品とのユーザ相互作用に関する情報をリアルタイムで提供することが理解されよう。これは、オンラインストア（ウェブストアなど）とのユーザ相互作用に関する情報を提供するオンラインデータとは異なる。

オフラインのリアルタイムデータにより、関係者は分析を実行し、それに応じて電子ラベルと相互作用することができる。このような電子ラベルとの相互作用には、小売環境のユーザが反応できる感覚出力を電子ラベルに生成させること、後続のユーザ相互作用に出力が実質的にリアルタイムで及ぼす影響があればそれを特定することが含まれる。このような機能は、販売時点でのみスキャンされる従来の製品ラベルよりも明らかに改善されている。

上記のように、電子ラベルは、スーパーマーケット、コンビニエンスストア、デパート、薬局、コーヒーショップ、本屋、靴屋、衣料品店など様々な小売環境で使用できるが、これらはすべてを網羅しているわけではない。同様に、電子ラベルは、食品、飲料、化粧品、医薬品、衣料品、および電子製品のうちの１つを含む多くの異なる製品に関連付けられるが、これらはすべてを網羅しているわけではない。

電子ラベルは、ほんの数例を挙げると、倉庫（倉庫作業員による商品との相互作用の感知など）、パブ（パブ会員による１つ以上の飲み物のコックとの相互作用の感知など）および図書館など、小売環境以外でも使用することができる。

電子ラベルからデバイスデータ（感知データなど）にアクセスまたは使用する関係者は、小売環境または電子ラベルの所有者、広告会社、デジタルトレードデスク、マーケティングコンサルタント、ブランド所有者、メディア代理店、デジタル広告プラットフォームを含むことができ、関係者はすべて分析結果に応じてアクションを実行することができる。実例として、広告会社は分析結果に応じて特定の商品の広告を個別に調整することができる。同様に、ブランドマネージャーは、ユーザがオフライン操作をスキャンできる、ディスプレイに表示するバーコードを生成することができる。

ある小売環境の電子ラベルまたはデバイスによって収集された感知データは、異なる小売環境の電子ラベル、デバイスまたはユーザアプリケーションのコマンド通信を生成する関係者によって使用され得ることが理解されよう。実例として、製品の在庫レベルが第１の環境でゼロであることが検出された場合、製品の価格は近隣の小売環境で上昇する可能性がある。さらなる例として、ユーザが第１の小売環境で製品に関心があると判断された場合（例えば、検出された製品における滞留時間がしきい値を超えている場合）、その製品の価格は、（例えば、顔認識を使用して）ユーザが第２の小売環境に入ったと判断された場合、第２の小売環境で引き下げられる可能性がある。

また、電子ラベル、電子サイネージデバイス、遠隔リソース、および／または関係者は、上記の分析結果および感知データ以外のさらなるデータに基づいて、またはそれに応じてコマンド通信を生成できることも理解されよう。

実例として、遠隔リソースはリアルタイムの気象データまたは予測された気象データを考慮することができ、これにより、雨が降っているとき、または雨が降ると予測されているとき、遠隔リソースはコマンド通信を送信して電子サイネージデバイスのディスプレイに傘が置かれている通路を表示させ、小売環境内のすべてのユーザアプリケーションデバイスに（例えば、ブロードキャスト通信を介して）コマンド通信を送信して、雨が降っていることまたは雨が降ると予測されていることをユーザに警告し、傘に関連する電子ラベルを更新して傘の価格を上げることができる。

さらなる実例として、（例えば、リアルタイムの交通データに基づいて、またはそれに応じて）車両の交通量が小売環境の近くで多いと検出された場合、遠隔リソースまたは関係者は小売環境のすべてのユーザアプリケーションデバイスにコマンド通信を送信して、エリア内の交通量が多いことをユーザに警告し、レストランまたはコーヒーショップの広告を小売環境の電子サイネージデバイスに表示させる一方で、レストランの割引コードを表示させるコマンド通信がユーザアプリケーションデバイスに送信される。

小売環境内を移動するユーザは、１つ以上の製品を置く搬送装置を使用することができる。そのような搬送装置は、ユーザが製品を置くことができるバスケット、ユーザが製品を置くことができるカート、またはユーザが製品を掛けることができるレール（例えば、ハンガーレール）などを含むことができる。

図１０ａ〜図１０ｃは、搬送装置１００の例を概略的に示し、図１０ａでは、搬送装置１００はバスケット１００を備え、バスケット１００は、ユーザが小売環境の中を押して回るワゴン１０１の一部である。しかしながら、搬送装置は、ユーザによって保持されてもよく、その場合、図１１ａ〜図１１ｃに示されるように、搬送装置は、ハンドル２０１を備えるバスケット２００を備える。

バスケット１００／２００は、データを処理するための関連する処理回路（図示せず）を備える。

バスケット１００／２２０はまた、電子ラベル２、ユーザアプリケーションデバイス（例えば、携帯電話またはタブレット）、コンピュータ端末、サービス（例えば、クラウドサービス）、ゲートウェイ（図示せず）など、そこから離れた１つ以上のリソースと通信するための通信回路１０６を備える。図１０ｃ／図１１ｃに示すように、バスケットは遠隔リソース１５と通信でき、これについては上で詳述した。通信回路１０６は、例えばバスケットとユーザアプリケーションデバイスとの間でやりとりしてペアリング動作を実行することにより、ユーザを特定のバスケットとペアリングするために使用されてもよい。しかしながら、請求項はこの点に関して限定されず、他の実例では、ユーザはバスケットに関連付けられたコード１０７（例えばＱＲコードまたはバーコード）をスキャンすることによりバスケットとペアリングされてもよい。他の例では、ユーザは、（例えば、カメラビジョンシステムを使用して）ユーザの１つ以上の特性を検出するために、顔認識、顔検出または身体特徴認識機能を備えた１つ以上のカメラを使用してバスケットとペアリングしてもよい。上記のように、そのような特性には、ユーザの性別、年齢、身長、靴のサイズ、体重、ウエストのサイズ、髪型、歩きぶり、ユーザが着用する衣服などが含まれるが、請求項はこの点に関して限定されない。

バスケット１００／２００はまた、位置データを生成するために全地球測位システム（ＧＰＳ）ユニットおよび／または慣性運動基準ユニットなどの位置決定回路（図示せず）を備える。通信回路は、位置データを生成するために、小売店内の１つ以上のデバイス（電子ラベル、ＢＬＥビーコン、Ｗｉ−Ｆｉルータなど）と位置合わせ動作を行うことにより、位置決定回路として機能する。このような位置交換には、Ｂｌｕｅｔｏｏｔｈ、ＢＬＥ、Ｗｉ−Ｆｉなどを使用したＲＳＳＩ（受信信号強度インジケータ）、飛行時間（ＴＯＦ）、および／または往復時間（ＲＴＴ）動作が含まれるが、これらはすべてを網羅しているわけではない。

そのような位置決定回路によって生成された位置データは、ユーザが店の中を動き回る間に位置データに基づいて、またはそれに応じてバスケットを追跡できる遠隔リソース１５に送信されてもよい。位置データは、連続的に、周期的に（例えば「Ｎ」秒ごとに）、および／またはイベント（例えばユーザ相互作用）に続いて送信されてもよい。

バスケット１００／２００はまた、ユーザ相互作用を検出するために１つ以上のカメラ１０２を備えるセンサ回路を備え、カメラ１０２はバスケット１００／２００に配置され、ユーザによって製品がバスケット１００／２００に入れられた、および／またはそこから取り出されたときを検出する。バスケット１００／２００は、特定のユーザ相互作用の検出に応じて製品ステータスデータを生成することができ、製品ステータスデータは、ユーザによって製品がバスケット１００／２００に入れられたか、バスケット１００／２００から取り出されたかを示すことができる。

図１０ｂ〜図１０ｃおよび図１１ｂ〜図１１ｃのこの実例は、各コーナーに配置された４つのカメラ１０２を有するバスケット１００／２００を示しているが、請求項はこの点に関して限定されず、当業者には明らかとなるように、任意の数のカメラ（例えば１〜１０）をバスケット１００／２００上の任意の適切な位置に設けて、ユーザ相互作用または製品を検出することができる。例えば、ワゴン１０１上に１つ以上のカメラ１０２を設けることができる一方で、１つ以上のカメラをハンドル２０１上に設けるか、または埋め込むことができる。ハンドル２０１の上または中にカメラ１０２を設けることで、ハンドルを交換することによるカメラの交換が容易になる。

一部の例では、カメラ１０２は広角カメラであり、バスケットの内部領域のすべてまたは実質的にすべてをカバーするように配置されている。他の例では、カメラ１０２は、特定の平面に沿って狭く焦点を合わせて、ユーザがバスケット１００／２００で出し入れしたときに、その平面を通過する製品だけをキャプチャすることができる。

製品１０８がピックアップされてバスケット１００／２００に入れられると、カメラ１０２は、製品１０８の画像を取得することによりユーザ相互作用を検出し、画像データを生成する。他の例では、カメラ１０２は、例えば「Ｍ」秒ごとにバスケット内のすべての製品の画像を周期的に取得することにより画像データを生成してもよい。

画像データは、適切な画像認識技術を使用して製品を識別するために処理される。

実例として、画像データは、その中のオブジェクト特徴を検出するために処理される。このようなオブジェクト特徴には、線、縁、隆起、角、しみ、質感、形状、グラデーション、領域、境界、表面、色、陰影、ボリュームなどが含まれる。当業者には理解されるように、製品の体積（例えば、その３Ｄ形状）は、既知の位置および角度に配置されたカメラによって取得された画像から計算することもでき、体積はオブジェクト特徴として検出される。次に、検出されたオブジェクト特徴を使用して、例えば、合致するものがないか検出されたオブジェクト特徴を比較する対象である既知の製品のオブジェクト特徴（テンプレートなど）を備えるデータストア（モデルベースなど）を検索することにより、製品を識別する。

画像データの処理および製品識別は、バスケット１００／２００自体の処理回路を使用して実行することができ、各バスケットは記憶回路内にデータストアを備える。追加的または代替的に、画像データは、（例えば、機械学習、深層学習、ニューラルネットワーク分析を実行するためのＡＩを使用した）処理および製品識別のために、バスケット１００／２００から遠隔リソース１５に送信されてもよい。

遠隔処理および製品識別のためにバスケット１００／２００から画像データを送信することは、バスケットの処理、記憶、および／または電力要件が、画像データ処理および製品識別がそこで実行されるバスケットと比較して削減できることを意味することが理解されよう。

バスケットから送信する前に画像データのサイズを小さくすることにより、取得した画像の一部またはサブセットのみが遠隔リソース１５に送信されるようにすることで、遠隔リソース１５の処理負荷を減らすことができる。

例えば、取得した画像をバスケットでトリミングして、バスケットに入れられた最新の製品のみを含むように、既にバスケットにあった他の製品を画像からトリミングすることができる。さらなる例として、処理回路は、製品の特定の特性を検出し、その特性の画像データのみを送信するように取得した画像をトリミングすることができ、ここで特性はテキストまたは図（製品ロゴなど）、または機械可読コード（バーコードやＱＲコードなど）を備えてもよい。

バスケット１００／２００は、画像データとともに、製品がバスケットに入れられたことを示す製品ステータスデータを遠隔リソース１５に送信してもよい。

製品が識別されると、遠隔リソース１５またはバスケット１００／２００は、識別された製品に応じて適切なアクションを実行することができる。

そのようなアクションとは、ユーザが店の中を動き回る間にバスケット内のすべての製品の支払い費用を計算できるように、識別された製品の支払い費用を決定することであってもよい（例えば、遠隔リソースで、または遠隔リソースと通信する費用データベースから決定される）。ユーザのバスケットにあるすべての製品の総費用は、例えば購入が完了したときなど、適切なタイミングでユーザに提示することができる。

例では、ユーザに総費用を提示することは、支払いキオスクでディスプレイに総費用を提示することを含み、ここでユーザは、例えばデビット／クレジットカードまたは現金を使用して、キオスクでの物理的相互作用を介して商品の代金を支払うことができる。あるいは、ユーザに総費用を提示することは、ユーザとの物理的な相互作用を必要とせずにユーザに自動的に請求することを含む。例えば、ユーザは、ユーザの支払いの詳細を登録するストアアカウント（デビットカード、クレジットカード、銀行、または支払いアカウントなど）を持っていてもよく、製品の合計支払い費用はユーザの支払いの詳細を使用して自動的に差し引かれる。そのような機能は、ユーザに摩擦のないショッピング体験を提供し、それによりユーザは、店に入り、店からバスケットに１つ以上の製品を入れ、商品の支払いをするために列を作る必要なく店から出ることができ、支払いは、ユーザが店舗を離れたことが検出されたとき、または（例えばペアリングされたユーザアプリケーションデバイス経由で）ユーザが購入を完了したことを示したとき、ユーザの支払い詳細を使用して自動的に差し引かれることが理解されよう。

追加的または代替的に、アクションは在庫レベルデータベースの更新を含んでいてもよく、小売店のスタッフが在庫レベルと在庫調査をリアルタイムで管理することができる。

追加的または代替的に、アクションは、コマンド通信をユーザアプリケーションデバイスに送信して、ユーザアプリケーションデバイスに感覚出力を生成させること（例えば、ランニングコストをユーザに表示する、メッセージをユーザに表示する（例えば、ユーザに「卵を購入」させるためのターゲット広告）を含んでいてもよい。

追加的または代替的に、アクションは、バスケット上のディスプレイ（図１０ｂのディスプレイ１０９として図示）に製品に関する情報を表示することを含んでもよい。そのような表示情報は価格情報を含んでいてもよく、例えばバスケット内のすべての製品に支払うべき総費用を示す。表示情報は、追加的または代替的に、関連製品の広告または他の適切な情報を含んでいてもよい。バスケットはまた、製品がバスケットに入れられた位置の位置データを送信することができる。遠隔リソースは、位置データを使用して、画像データで検出されたオブジェクト特徴と比較してその位置の製品のオブジェクト特徴を含めるだけで、検索すべきデータストアのスペース（検索スペース）を縮小することができる。

他の例では、検索スペースはユーザデータに応じて縮小されることもあり、これにより、リソースは特定のユーザが購入する好みの製品を認識し、検出された製品と比較して好みの製品の既知のオブジェクト特徴のみを含むことができる。縮小検索で製品が識別されない場合、検索スペースを拡張して、好みでない製品（例えば、店舗内のすべての製品）の既知のオブジェクト特徴を含めることができる。そのようなユーザデータは、以前の購入に基づいて収集されても、ユーザアプリケーションデバイスを介したユーザ入力に基づいていてもよい。

さらに、上記の図１から図９で説明した電子ラベルは、特定の製品を購入するユーザの意図を示しているが、図１０および図１１で説明したバスケットは、製品が購入されたことのさらなる確認を提供し、購入のこのさらなる確認は、適切なアクションをとるために関係者に提供される（例えば、特定の電子ラベルの表示を更新する、購入された商品のより正確なヒートマップを生成する、プロモーション資料を生成する、個別広告を生成するなど）。

上記の例では一般にユーザが製品をバスケットに入れることを説明しているが、カメラは製品がバスケットから取り出されたことを検出し、取り出された製品の画像データを遠隔リソース１５に送信することもできる。バスケット１００／２００は、製品がバスケットから取り出されたことを示す製品ステータスデータを遠隔リソースに送信することもでき、これにより、遠隔リソースは、それに応じてバスケット内の残りの製品の合計費用を更新するなどの適切なアクションを実行できるので、ユーザは取り出した製品に対して請求されることはない。別のアクションは、在庫レベルのデータベースを更新して、製品が店舗から取り出されなかったことを示すことであってもよい。

上述したように、バスケットは、製品がバスケットから取り出された位置の位置データを送信することもできるので、遠隔リソースはユーザによる製品の置き間違いを検出することができる。

実例として、ユーザがバスケットから製品を取り出すと、バスケットは画像データ、製品ステータスデータ、および位置データを遠隔リソースに送信し、遠隔リソースは製品を識別し、製品が期待される位置で取り出されたかどうかを判断できる。期待される位置で取り出されていない場合、遠隔リソースは、バスケット１００／２００からの取り出しに続いて、製品が店舗内で起き間違えられていると判断することができる。

このような機能は、上記の電子ラベルと組み合わせて使用することもでき、バスケットも電子ラベルも製品を識別できない場合でも、遠隔リソースは製品と店舗内で置き間違えられた製品の位置とを識別することができる。例えば、バスケットのカメラは、ユーザがバスケットから製品を取り出すと製品の画像を取得することができ、バスケットは、製品ステータスデータと製品が取り出された位置の位置データとともに、画像データを遠隔リソースに送信することができる。

その位置にある電子ラベルは、関連する製品ラインで予期しない製品を検出し、図４ｃで説明したようにそれに応じて遠隔リソース１５を更新することができる。

次に、遠隔リソース１５は、バスケットから取り出された製品を画像データから識別し、識別された製品が関連する製品ラインに誤って配置されたと判断することができる。その後、遠隔リソース１５は適切なアクションを実行することができる。

例えば、製品を特定の温度に維持する必要があり（例えば、製品が冷凍魚、または新鮮な肉の場合）、製品の現在の位置が特定の温度にない場合（例えば、電子ラベルから受信したデータ温度から決定される場合）、遠隔リソースは信号を送信して、店舗所有者が製品の腐敗を防ぐためのアクションを実行する必要があることを示すことができる。別の例では、リソースはユーザアプリケーションデバイスに通信を送信して、感覚出力に正しい位置にアイテムを戻すようユーザに警告させることができる。

さらなる実例では、遠隔リソース１５は、受信した位置データからユーザがバスケットを放棄したときを検出することができ、しきい値時間（例えば５分）より長い期間にわたってバスケットの動きが検出されないとき、遠隔リソース１５は、放棄されたバスケットを回収できるように、放棄されたバスケットの位置を店舗所有者に通知するなど、適切なアクションを実行することができる。遠隔リソース１５もバスケット内の製品を知っているので、遠隔リソースは信号を送信して、店舗所有者が製品の腐敗を防ぐためのアクションを実行する必要があることを示すことができる（例えば、製品を特定の温度で保管する必要がある場合）。別の例では、リソースはユーザと通信して、ユーザが意図的にバスケットを放棄したかどうかを（例えば、ユーザに買い物が終わったことを確認させることによって）判断してもよい。

上記のように、遠隔リソースは、電子ラベルから受信したデータに基づいて分析を実行することができる。

また、遠隔リソースは、電子ラベルから受信した感知データに加えて、または代替として、バスケットから受信したデータの分析を実行することができることも理解されよう。例えば、遠隔リソースは、バスケット１００／２００から受信した画像データ、製品ステータスデータ、および／または位置データに応じて分析を実行することができる。

バスケットからのデータに応じた分析結果には、ピボットテーブルまたはデータのグラフィック表示（視覚的なヒートマップなど）が含まれる場合がある。遠隔リソース１５は、バスケット１００／２００から受信したデータを処理して機械学習、深層学習、またはニューラルネットワーク分析を実行することもでき、デバイスデータの処理に応じてアクションを実行する論理エンジンを備えることもできる。そのようなアクションは、（例えば、感覚出力を生成するため、または電子ラベルに表示される情報を調整するため）電子ラベルに、または別のデバイス（例えば、プロモーション資料、レシピ、メッセージなどを表示するための電子サイネージ（図示せず））に命令または要求を含むコマンド通信を送信することを含んでいてもよい。そのようなアクションは、ユーザアプリケーションデバイス（図示せず）へのコマンド通信を含むコマンド通信を送信することを含んでいてもよい。

関係者は、分析結果にアクセスし、それに応じてアクションを実行することもできる。例えば、店舗所有者は、（例えば、関連するアプリケーションデバイス（図示せず）を使用して）ユーザとの相互作用が少ない領域における製品の価格を調整することができる。上記のように、価格のこのような調整は、動的な価格設定を提供するために、リアルタイムで遠隔で行うことができる。

追加的または代替的に、リソースまたは関係者は、分析結果に基づいて、またはそれに応じて、コマンド通信をユーザアプリケーションデバイスに送信してもよい。

追加的または代替的に、店舗所有者は、分析結果に応じて商品を小売環境内で物理的に再配置することができる。

分析結果は、カメラ１０２によって検出された異なるユーザ相互作用（例えば、購入率、ユーザが店舗で過ごす時間、ユーザが店舗内で取るルートなど）について生成できることが理解されよう。

分析結果は、１つ以上のバスケット１００／２００から受信した様々な粒度のデータについても生成できることを理解されたい。

例えば、関係者は、特定のユーザに関連付けられたバスケットから、（例えば、店舗への登録プロセス中にユーザによって提供され得る性別、年齢、賃金などに基づいて）データを選択（フィルタリングなど）することができる。

追加的または代替的に、関係者は、一日の特定の期間または特定の休日中の傾向を識別するために、日、週、月、年などの異なる時間帯からデータを選択してもよい。

追加的または代替的に、関係者は、特定の棚、通路など、単一の小売環境内のバスケットからのデータを選択してもよいし、またはショッピングセンター、町、都市、または国などの２つ以上の小売環境内のバスケットからのデータを選択してもよい。

上記のように、データは、機械学習、深層学習、ニューラルネットワーク、またはハイブマインド分析による分析にかけられ、その中のパターンまたは傾向、およびそれに応じてとられるアクションを識別することもできる。

実例では、分析結果は、毎日同じ時間帯に特定の製品の購入が急増していることを示している場合がある。関係者は、急増を特定すると、アプリケーションデバイスのＵＩを介して、ディスプレイ１０７に表示されるまたはユーザアプリケーションデバイスに送信される情報を調整して、売上をさらに大きくすることができる。

さらなる実例では、分析結果は、新しいブランド戦略が適用された製品の購入率が低下していることを示すことがあり、ユーザが製品の購入をすぐに決定できていないことを示している。関係者は、購入率の低下を識別すると、製品に関連付けられた電子ラベルに様々な情報を表示させることができる。

関係者は、バスケットから受け取ったデータおよび／または電子ラベルから受け取った感知データを監視することにより、製品の購入率に対する様々な情報の影響を監視することができる。

例えば、関係者は、電子ラベルに表示され価格を引き下げて、価格の引き下げが購入率に与える影響を識別することができる。追加的または代替的に、関係者は、特定の製品の近くにある画面に広告情報（動画、レシピ、バーコードなど）を表示させ、上記のように結果の購入率を監視することができる。追加的または代替的に、関係者は、製品に関連付けられた電子ラベルのライトを点滅させたり、音を出させたりして、そのような感覚出力が購入率に与える影響を識別することができる。

上記のように、バスケット１００／２００によって検出されたユーザ相互作用の結果である分析結果は、分析結果に従って行動するために、ブランド所有者、広告主、製品メーカーなどのさらなる当事者に送信されてもよい。

例えば、特定の製品の購入率が予想よりも低いことを識別すると、ブランド所有者はブランドを変更することができる。または、特定の製品の購入が町または市の特定のエリアで減少または減速していることを識別すると、広告主は市のそのエリアの電子広告板にその製品を表示させるマーケティングキャンペーンを生成することができる。さらなる実例では、関係者は、特定の製品に関連付けられた電子ラベルにコマンド通信を送信して、関連付けられたディスプレイに表示される情報を変更することができる。

図１２は、図１０ａ〜図ｃまたは１１ａ〜図１１ｃのバスケットなどの搬送装置を使用するユーザのための例示的なプロセス２００のステップのフロー図である。

ステップＳ２０１において、プロセスが開始する。

ステップＳ２０２において、ユーザはバスケットとペアリングされる。そのようなペアリングは、バスケット上の通信回路とユーザアプリケーションデバイスとの間のペアリング動作によるものであってもよい。あるいは、ペアリングは、ユーザがバスケット上のコード（ＱＲコードなど）をスキャンするか、顔認識を介して提供されてもよい。

ステップＳ２０３において、バスケット上の１つ以上のカメラは、ユーザが製品をバスケットに入れるか、バスケットから製品を取り出すことを含み得る、検出された製品とのユーザ相互作用に応じて製品の画像を取得する。

ステップＳ２０４において、画像データは、処理および画像識別のために遠隔リソースに送信される。バスケットはまた、ユーザ相互作用を示す製品ステータスデータを送信してもよく、さらに、ユーザ相互作用が発生した位置に関する位置データを送信してもよい。

ステップＳ２０５において、遠隔リソースは画像データを処理し、適切な画像認識技術を使用して製品を識別する。

ステップＳ２０６において、遠隔リソースは、識別された製品およびユーザ相互作用に応じてアクションを実行し、それにより、例えば、ユーザが製品をバスケットに入れると判断された場合、製品の支払い費用をバスケット内のすべての製品の総費用に足すことができ、および／またはそれに応じて在庫レベルのデータベースを更新することができる。

追加的または代替的に、識別された製品およびユーザ相互作用に基づいて、またはそれに応じてコマンド通信をユーザアプリケーションデバイスに送信することができ、これにより、例えば、ユーザが製品をバスケットに入れると判断された場合、ランニングコストの合計が更新され、ユーザに提示することができる。

あるいは、ユーザがバスケットから製品を取り出すと判断された場合、バスケット内の製品の総費用から製品の費用が差し引かれ、それに応じて在庫レベルのデータベースが更新され、および／またはリソースは、バスケットから取り出された製品が店舗内の予想される位置に戻されたかどうかを判断してもよく、そうでない場合（つまり置き間違えた場合）、必要に応じて店舗所有者または（例えば、ユーザアプリケーションデバイスを介して）ユーザに警告する。

ステップＳ２０７において、ユーザがすべての購入を完了したかどうかが判断される。例えば、ユーザは、ユーザアプリケーションデバイスまたはバスケットのディスプレイを介して、購入が完了したことを確認することができる。他の例では、ユーザが小売店を出るのを検出されたときに購入が完了したと判断されてもよい。

ステップＳ２０８において、購入が完了したと判断された場合、総費用がユーザに提示される。上記のように、ユーザに総費用を提示することは、支払いキオスクにおいて物理的相互作用を介して決済のためにユーザに総費用を提示すること、または摩擦のない買い物のためにユーザからの物理的相互作用を必要とせずにユーザに自動的に請求することを含むことができる。

購入が完了していないと判断された場合、ステップｓ２０３からｓ２０６が繰り返される。

ステップＳ２０９において、プロセスが終了する。

本技術の実施形態は、プロセッサに実装されると、プロセッサに本明細書に記載の方法を実行させるコードを運ぶ非一時的データキャリアをさらに提供する。

これらの技術は、例えば汎用コンピュータシステムまたはデジタルシグナルプロセッサ（ＤＳＰ）で上記の方法を実装するためのプロセッサ制御コードをさらに提供する。これらの技術はまた、実行されると、特に非一時的なデータキャリア、あるいはディスク、マイクロプロセッサ、ＣＤまたはＤＶＤ−ＲＯＭなどの非一時的なコンピュータ可読媒体、読み取り専用メモリ（ファームウェア）などのプログラムされたメモリ、あるいは光または電気信号キャリアなどのデータキャリア上で上記の方法のいずれかを実行するプロセッサ制御コードを運ぶキャリアを提供する。コードは、ディスク、マイクロプロセッサ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、不揮発性メモリ（フラッシュなど）または読み取り専用メモリ（ファームウェア）などのプログラムメモリなどの（非一時的な）キャリアで提供されてもよい。技術の実施形態を実装するためのコード（および／またはデータ）は、ソース、オブジェクト、またはＣなどの従来のプログラミング言語（解釈またはコンパイル済み）で実行可能なコード、またはアセンブリコード、ＡＳＩＣ（特定用途向け集積回路）をセットアップまたは制御するためのコードまたはＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＶｅｒｉｌｏｇ（登録商標）やＶＨＤＬ（超高速集積回路ハードウェア記述言語）などのハードウェア記述言語のコードを含んでいてもよい。当業者は理解するように、そのようなコードおよび／またはデータは、互いに通信する複数の結合されたコンポーネント間で配信され得る。この技術は、システムのコンポーネントの１つ以上に結合されたマイクロプロセッサ、作業メモリ、およびプログラムメモリを含むコントローラを備えてもよい。

上述の技術の動作を実行するためのコンピュータプログラムコードは、オブジェクト指向プログラミング言語および従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書くことができる。コードコンポーネントは、プロシージャ、メソッドなどとして具体化でき、ネイティブ命令セットの直接マシン命令から高レベルにコンパイルまたは解釈された言語構造まで、いずれかの抽象化レベルの命令または命令シーケンスの形をとり得るサブコンポーネントを含むことができる。

また、本技術の好ましい実施形態による論理的方法の全部または一部は、上述の方法のステップを実行する論理要素を含む論理装置で適切に具体化され得ること、およびそのような論理要素は、例えば、プログラマブル論理アレイまたは特定用途向け集積回路内の論理ゲートなどのコンポーネントを含むことができることも当業者には明らかであろう。そのような論理構成は、例えば、固定または送信可能なキャリア媒体を使用して格納および送信できる仮想ハードウェア記述子言語を使用して、そのようなアレイまたは回路で論理構造を一時的または永続的に確立するための要素を有効にすることでさらに具体化されてもよい。

一実施形態では、本技術は、機能データを有するデータキャリアの形で実現することができ、前記機能データは、コンピュータシステムまたはネットワークにロードされてそれによって動作するときに、コンピュータシステムに上記の方法のすべてのステップを実行できるようにする機能的コンピュータデータ構造を備える。

前述の説明では、特許請求された主題の様々な実施形態が説明された。説明の目的で、例として、量、システムおよび／または構成などの詳細が示された。他の例では、特許請求された主題を不明瞭にしないために、よく知られている特徴は省略および／または簡略化された。本明細書では特定の特徴を例示および／または説明してきたが、多くの修正、置換、変更、および／または同等物が当業者には思い浮かぶであろう。したがって、添付の特許請求の範囲は、特許請求の主題に含まれるすべての修正および／または変更を網羅することを意図していることを理解されたい。実例として、搬送装置はバスケットに限定されず、製品を運ぶための任意の適切な装置であり得る。

Claims (84)

1. 第１のリソースにおいて、電子デバイスにおけるユーザ相互作用の感知に基づいて、またはそれに応じて感知データを含む通信を前記電子デバイスから受信するステップと、
   前記第１のリソースにおいて前記感知データを処理するステップと、
   感知データに応じて前記電子デバイスにおいて感覚出力を生成するための第１のコマンド通信を、前記第１のリソースから前記電子デバイスに送信するステップとを含む、
   方法。
2. 前記第１のリソースからユーザアプリケーションデバイスに、前記ユーザアプリケーションデバイスに前記ユーザアプリケーションデバイスにおける動作を実行させるための第２のコマンド通信を送信するステップをさらに含む、
   請求項１に記載の方法。
3. 前記ユーザアプリケーションデバイスにおける前記動作が、前記関連するユーザを対象とした感覚出力を生成するステップを含む、請求項２に記載の方法。
4. 前記感知データを処理するステップが、機械学習、深層学習、およびニューラルネットワーク分析のうちの１つ以上を実行するステップを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記第１のリソースにおいて論理エンジンを使用して前記第１のコマンド通信を生成するステップをさらに含む、
   請求項１から４のいずれか一項に記載の方法。
6. 前記第１のコマンド通信において暗号操作を実行するステップをさらに含む、
   請求項１から５のいずれか一項に記載の方法。
7. 前記暗号操作が、暗号化操作および署名操作の一方または両方を含む、請求項６に記載の方法。
8. 前記感知データを処理するステップが、前記感知データの画像データを処理して、ユーザの１つ以上の特性を識別するステップを含む、
   請求項１から７のいずれか一項に記載の方法。
9. 前記識別された１つ以上のユーザ特性に基づいて、またはそれに応じて、前記第１または第２のコマンド通信を生成するステップをさらに含む、
   請求項８に記載の方法。
10. 前記感知データに基づいて、またはそれに応じて、遠隔リソースにおいて分析結果を生成するステップをさらに含む、
    請求項１から９のいずれか一項に記載の方法。
11. 第２のリソースにおいて前記分析結果にアクセスするステップを含む、
    請求項１０に記載の方法。
12. 前記分析結果に基づいて、またはそれに応じて、前記第２のリソースから前記電子デバイスに第３のコマンド通信を送信するステップを含む、
    請求項１１に記載の方法。
13. 電子デバイスにおいて、前記電子デバイスにおけるユーザ相互作用の感知に基づいて、またはそれに応じて感知データを生成するステップと、
    前記電子デバイスにおいて、前記感知データに基づいて、またはそれに応じて感覚出力を生成するステップとを含む、
    方法。
14. 前記感覚出力を生成するステップが、前記電子デバイスからユーザアプリケーションデバイスに、前記ユーザアプリケーションデバイスに動作を実行させるためのコマンド通信を送信するステップを含む、
    請求項１３に記載の方法。
15. 前記電子デバイスにおいて前記感知データを処理するステップをさらに含む、請求項１３または１４のいずれか一項に記載の方法。
16. 前記感知データを処理するステップが、機械学習、深層学習、およびニューラルネットワーク分析のうちの１つ以上を実行するステップを含む、請求項１５に記載の方法。
17. 前記感知データを遠隔リソースに送信するステップをさらに含む、請求項１３から１６のいずれか一項に記載の方法。
18. 前記電子デバイスにおいて、前記遠隔リソースから第１のコマンド通信を受信するステップと、
    前記電子デバイスにおいて、前記第１のコマンド通信に基づいて、またはそれに応じて前記感覚出力を生成するステップとをさらに含む、
    請求項１７に記載の方法。
19. 前記第１のコマンド通信に暗号操作を実行するステップをさらに含み、前記暗号操作が、前記第１のコマンド通信を復号するステップ、および署名を検証するステップのうちの１つ以上を含む、
    請求項１８に記載の方法。
20. 前記感知データを処理するステップが、前記感知データの画像データを処理して、ユーザの１つ以上の特性を識別するステップを含む、
    請求項１５から１９のいずれか一項に記載の方法。
21. 前記電子デバイスが、電子棚ラベルおよび電子サイネージのうちの１つを備える、請求項１から２０のいずれか一項に記載の方法。
22. 電子ラベルにおけるユーザ相互作用の感知に応答する方法であって、前記方法が、
    前記電子ラベルにおいてユーザ相互作用を感知するステップと、
    前記電子ラベルにおいて、前記感知されたユーザ相互作用に基づいて、またはそれに応じて感知データを生成するステップと、
    前記電子ラベルにおいて認証データを使用して、前記感知データを備える安全な通信を生成するステップと、
    前記電子ラベルから遠隔リソースに前記安全な通信を送信するステップと、
    前記電子ラベルにおいて、前記遠隔リソースから安全なコマンド通信を受信するステップと、
    前記安全なコマンド通信に基づいて、またはそれに応じて前記電子ラベルにおいて感覚出力を生成するステップとを含む、方法。
23. 前記電子ラベルにおいて前記感知データをローカルで処理するステップおよび前記感知データを遠隔リソースに送信するステップのうちの１つ以上を含む、
    請求項２２に記載の方法。
24. １つ以上の電子デバイスと通信する第１のリソースを備え、前記第１のリソースが前記１つ以上の電子デバイスから感知データを受信し、
    前記第１のリソースが、前記感知データの処理に基づいて、またはそれに応じて、前記１つ以上の電子デバイスおよびユーザアプリケーションデバイスの一方または両方に第１のコマンド通信を送信する、
    システム。
25. 前記第１のリソースが、前記分析結果および／または感知データに対して機械学習、深層学習またはニューラルネットワーク分析を実行する人工知能（ＡＩ）を備える、請求項２４に記載のシステム。
26. 前記第１のリソースが、前記分析結果または感知データに対する前記機械学習、深層学習またはニューラルネットワーク分析に応じて、前記第１のコマンド通信を生成する第１の論理エンジンを備える、請求項２５に記載のシステム。
27. 前記第１のリソースにおいて、前記感知データの処理に基づいて、またはそれに応じて分析結果を生成するステップをさらに含む、
    請求項２４から２６のいずれか一項に記載のシステム。
28. 前記第１のリソースにおいて前記分析結果または感知データにアクセスするために、前記第１のリソースと通信する第２のリソースを備える、
    請求項２７に記載のシステム。
29. 前記第２のリソースが、前記分析結果および／または感知データに対して機械学習、深層学習またはニューラルネットワーク分析を実行する人工知能（ＡＩ）を備える、請求項２８に記載のシステム。
30. 前記第２のリソースが、前記アクセスされた分析結果または感知データに対する前記機械学習、深層学習またはニューラルネットワーク分析に応じて、第２のコマンド通信を生成する第２の論理エンジンを備える、請求項２９に記載のシステム。
31. 前記システムが複数の電子デバイスを備え、前記分析結果が、前記複数の電子デバイスからの感知データに基づいて、またはそれに応じて生成される、請求項２５から３０のいずれか一項に記載のシステム。
32. 前記電子ラベルが、ユーザの１つ以上の特性を検出するためのカメラを含む、請求項２４から３１のいずれか一項に記載のシステム。
33. 前記カメラが、前記ユーザの前記１つ以上の特性を検出するために、顔認識、顔検出、または身体特徴認識機能のうちの１つ以上を備える、請求項３２に記載のシステム。
34. 前記第１のリソースが、管理サービス、アプリケーションサービス、およびブートストラップサービスのうちの１つ以上を備える、請求項２４から３３のいずれか一項に記載のシステム。
35. 前記第２のリソースが、アプリケーションデバイスを備える、請求項２８から３４のいずれかに記載のシステム。
36. 前記１つ以上の電子デバイスが、電子棚ラベルおよび電子サイネージのうちの１つ以上を含む、請求項２４から３５のいずれか一項に記載のシステム。
37. 前記１つ以上の電子棚ラベルが小売環境内に設けられる、請求項２４から３６のいずれか一項に記載のシステム。
38. 近接するユーザ相互作用を検出し、前記ユーザ相互作用に応じて感知データを生成するセンサを備えたセンサ回路と、
    前記感知データを処理する処理回路と、
    感覚出力を生成する出力デバイスを備える出力回路とを備えた電子デバイスであって、
    前記電子デバイスが、前記感知データの処理に基づいて、またはそれに応じて前記感覚出力を生成するように構成される、
    電子デバイス。
39. 前記処理回路が、前記感知データに対して機械学習、深層学習、またはニューラルネットワーク分析を実行するように動作可能である、請求項３８に記載の電子デバイス。
40. 前記処理回路が、前記感覚出力を生成する論理エンジンを備える、請求項３８または請求項３９に記載の電子デバイス。
41. 前記センサ回路が、ユーザの１つ以上の特性を識別するための画像データを生成する１つ以上のカメラを備える、請求項３８から４０のいずれか一項に記載の電子デバイス。
42. 前記センサ回路が前記ユーザ相互作用を検出する通信回路を備え、前記ユーザ相互作用がユーザアプリケーションデバイスからの通信を検出するステップを含む、請求項３８から４１のいずれか一項に記載の電子デバイス。
43. 前記電子デバイスが、前記感知データに基づいて、またはそれに応じて、コマンド通信を前記ユーザアプリケーションデバイスに送信するように構成される、請求項４２に記載の電子デバイス。
44. １つ以上の電子デバイスから受信した感知データを処理し、前記感知データに基づいて、またはそれに応じて前記１つ以上の電子デバイスおよびユーザアプリケーションデバイスの一方または両方に第１のコマンド通信を送信する論理エンジンを備える、
    リソース。
45. 前記論理エンジンが、前記感知データに基づいて、またはそれに応じて分析結果を生成するように動作可能である、請求項４４に記載のリソース。
46. 前記感知データに対して機械学習、深層学習、またはニューラルネットワーク分析を実行する処理回路を備える、請求項４５に記載のリソース。
47. プロセッサに実装されると、前記プロセッサに請求項１から２３のいずれか一項に記載の方法を実行させるコードを備える、非一時的なコンピュータ可読記憶媒体。
48. 小売環境における製品とのユーザ相互作用に応答する方法であって、前記方法が、
    搬送装置に関連付けられた１つ以上のカメラを使用して、前記ユーザ相互作用を検出するステップと、
    前記製品の画像データを前記１つ以上のカメラで生成するステップと、
    前記画像データに基づいて、またはそれに応じて前記製品を識別するステップと、
    前記識別された製品との前記ユーザ相互作用に基づいて、またはそれに応じて遠隔リソースにおいて前記製品の費用を決定するステップとを含む、方法。
49. 前記ユーザ相互作用が、前記製品を前記搬送装置に入れるステップおよび前記製品を前記搬送装置から取り出すステップのうちの一方を含む、
    請求項４８に記載の方法。
50. 前記搬送装置から前記遠隔リソースに製品ステータスデータを送信するステップをさらに含み、前記製品ステータスデータが前記ユーザ相互作用を示す、
    請求項４８または請求項４９に記載の方法。
51. 前記製品を識別するステップが、前記搬送装置において前記画像データを処理するステップを含む、
    請求項４８から５０のいずれか一項に記載の方法。
52. 前記搬送装置から遠隔リソースに前記画像データを送信するステップをさらに含む、
    請求項４８から５１のいずれか一項に記載の方法。
53. 前記製品を識別するステップが、前記遠隔リソースにおいて前記画像データを処理するステップを含む、
    請求項５２に記載の方法。
54. 前記画像データを処理するステップが、その中のオブジェクト特徴を検出するステップ、および前記検出されたオブジェクト特徴を既知のオブジェクト特徴と比較するステップを含む、請求項５１から５３のいずれか一項に記載の方法。
55. 前記既知のオブジェクト特徴が、線、縁、隆起、角、しみ、質感、形状、グラデーション、領域、境界、表面、色、陰影、およびボリュームのうちの１つ以上を含む、請求項５４に記載の方法。
56. 前記位置データおよびユーザデータのうちの１つ以上に基づいて、またはそれに応じて、前記比較で使用される前記既知のオブジェクト特徴を制限するステップをさらに含む、請求項５４または請求項５５に記載の方法。
57. 前記搬送装置から前記リソースに、前記搬送装置の前記位置および前記ユーザ相互作用の前記位置のうちの１つ以上に関する位置データを送信するステップをさらに含む、
    請求項４８から５６のいずれか一項に記載の方法。
58. 前記遠隔リソースにおいて、前記位置データに基づいて、またはそれに応じて、前記搬送装置から取り出された製品がいつ前記小売環境で置き間違えられたか決定するステップをさらに含む、
    請求項５７に記載の方法。
59. 前記遠隔リソースにおいて、前記位置データに基づいて、またはそれに応じて、前記小売環境でのユーザの動き回りを追跡するステップを含む、
    請求項５７または５８に記載の方法。
60. 前記搬送装置から受信したデータに基づいて、またはそれに応じて、前記遠隔リソースから在庫レベルデータベースを更新するステップをさらに含む、
    請求項４８から５９のいずれか一項に記載の方法。
61. 前記遠隔リソースにおいて、前記搬送装置から受信したデータに基づいて、またはそれに応じて分析結果を生成するステップをさらに含む、
    請求項４８から６０のいずれか一項に記載の方法。
62. 前記分析結果に基づいて、またはそれに応じて、前記遠隔リソースから前記小売環境の１つ以上の電子ラベルにコマンド通信を送信するステップを含む、
    請求項６１に記載の方法。
63. さらなるリソースにおいて前記分析結果にアクセスするステップ、および
    前記分析結果に基づいて、またはそれに応じて、前記さらなるリソースから前記１つ以上の電子ラベルにコマンド通信を送信するステップを含む、
    請求項６２に記載の方法。
64. 前記コマンド通信が、前記製品の価格設定情報を調整する、請求項６２または請求項６３に記載の方法。
65. 前記搬送装置から受信した前記データが、前記画像データ、前記位置データ、前記製品ステータスデータ、および前記ユーザデータのうちの１つ以上を備える、請求項６０から６４のいずれか一項に記載の方法。
66. 前記ユーザに前記費用を提示するステップをさらに含む、
    請求項４８から６５のいずれか一項に記載の方法。
67. 製品とのユーザ相互作用を検出するための１つ以上のカメラおよび無線通信のための通信回路を有する搬送装置と、
    前記搬送装置と無線通信するリソースとを備えるシステムであって、
    前記１つ以上のカメラが、ユーザ相互作用の検出に応じて製品の画像データを生成するように構成され、前記遠隔リソースおよび搬送装置の一方が、前記画像データに基づいて、またはそれに応じて前記製品を識別し、前記製品の費用を決定する、
    システム。
68. 前記搬送装置が位置データを前記遠隔リソースに送信し、前記遠隔リソースが、前記位置データに基づいて、またはそれに応じて前記搬送装置の動きを追跡する、請求項６７に記載のシステム。
69. 近接するユーザ相互作用を検出し、前記ユーザ相互作用に応じて感知データを生成するセンサを備えたセンサ回路と、前記感知データを処理する処理回路と、感覚出力を生成する出力デバイスを備える出力回路とをさらに有し、前記電子ラベルが、前記感知データの処理に基づいて、またはそれに応じて前記感覚出力を生成するように構成される、請求項６７または６８のいずれか一項に記載のシステム。
70. 前記遠隔リソースが、前記画像データ、前記位置データ、前記搬送装置から受信した製品ステータスデータ、および前記電子ラベルから受信した感知データのうちの１つ以上に基づいて、またはそれに応じて分析結果を生成する、請求項６９に記載のシステム。
71. 前記リソースが、前記画像データ、前記位置データ、搬送装置から受信した製品ステータスデータ、および前記電子ラベルから受信した感知データのうちの１つ以上に基づいて、またはそれに応じて、前記搬送装置から取り出された製品が前記小売環境内で起き間違えられているかどうかを判断する、請求項７０に記載のシステム。
72. 小売環境用の搬送装置であって、前記搬送装置が、
    製品とのユーザ相互作用を検出し、前記ユーザ相互作用に応じて画像データを生成するように構成された１つ以上のカメラと、
    前記ユーザ相互作用の位置の位置データを生成するための位置決定回路と、
    前記搬送装置を前記ユーザとペアリングし、前記画像データおよび位置データをそこから離れたリソースに送信するための通信回路とを備える、搬送装置。
73. 小売環境内で置き間違えられた製品を識別する方法であって、前記方法が、
    搬送装置において、ユーザによる前記搬送装置からの製品の取り出しを検出するステップと、
    前記搬送装置から遠隔リソースに、前記製品の画像データと、前記製品が取り出された位置を示す位置情報とを送信するステップと、
    前記遠隔リソースにおいて、前記製品が取り出された位置が前記製品の正しい位置であるかどうかを判断するステップと、
    前記製品が取り出された位置が前記製品の誤った位置であると判断された場合、前記製品が置き間違えられたことを示す信号を前記遠隔リソースから第三者に送信するステップとを含む、方法。
74. 電子ラベルを使用して、前記電子ラベルに関連付けられた製品ラインに置かれた予期しない製品を検出するステップをさらに含む、
    請求項７３に記載の方法。
75. 前記予期しない製品の検出に応じて、前記電子ラベルにおいて視覚的または聴覚的出力を生成するステップをさらに含む、
    請求項７４に記載の方法。
76. 前記電子ラベルから遠隔リソースに、前記予期しない製品が検出されたことを示す信号を送信するステップを含む、
    請求項７４または７５に記載の方法。
77. 前記遠隔リソースにおいて前記画像データを処理し、前記製品を識別するステップを含む、
    請求項７６に記載の方法。
78. 小売環境内で置き間違えられた製品を識別する方法であって、前記方法が、
    電子ラベルに関連付けられたセンサ回路を使用して、いつ製品が前記小売環境の誤った位置に置かれたかを検出するステップと、
    前記電子ラベルを使用して、前記置き間違えられた製品が検出されたことを示すステップとを含み、前記置き間違えられた製品が検出されたことを示すステップが、視覚的出力または聴覚的出力を生成するステップおよび遠隔リソースに信号を送信するステップのうちの１つ以上を含む、方法。
79. 前記電子ラベルが小売陳列に関連付けられている、請求項７８に記載の方法。
80. 小売環境における複数の製品とのユーザ相互作用を分析する方法であって、前記方法が、前記各製品に関連付けられた電子ラベルにおいて、前記各製品とのユーザ相互作用を感知するステップと、前記電子ラベルにおいて、前記感知されたユーザ相互作用に基づいて、またはそれに応じて感知データを生成するステップと、前記電子ラベルから遠隔リソースに前記感知データを送信するステップと、前記電子ラベルから受信した前記感知データに基づいて、またはそれに応じて前記遠隔リソースにおいて分析結果を生成するステップとを含む、方法。
81. 前記感知データに基づいて、またはそれに応じて、在庫レベルデータベースを更新するステップをさらに含む、請求項８０に記載の方法。
82. 前記遠隔リソースから前記電子ラベルの１つ以上に、前記分析結果に基づいて、またはそれに応じて、前記電子ラベルに情報を表示させるコマンド通信を送信するステップをさらに含む、
    請求項８０または請求項８１に記載の方法。
83. 前記表示される情報が、価格設定および広告情報のうちの１つ以上である、請求項８２に記載の方法。
84. プロセッサに実装されると、前記プロセッサに請求項４８から６６および請求項７３から８３のいずれか一項に記載の方法を実行させるコードを備える、非一時的なコンピュータ可読記憶媒体。

Images