JP2021503636A5 - - Google Patents

Description

被写体識別サブシステム２６０２（第１の画像プロセッサとも呼ばれる）は、複数のカメラ１１４から対応する画像シーケンスを受信する被写体画像認識エンジンを含む。被写体画像認識エンジンは、画像を処理して、対応する画像シーケンス内の画像に表される被写体を識別する。一実施形態では、被写体画像認識エンジンが関節ＣＮＮ１１２ａ〜１１２ｎと呼ばれる畳み込みニューラル・ネットワーク（ＣＮＮ）として実装される。重なり合う視野を有するカメラに対応する関節ＣＮＮ１１２ａ〜１１２ｎの出力は、各カメラの２Ｄ画像座標から実空間の３Ｄ座標に関節の位置をマッピングするために組み合わされる。ｊが１〜ｘに等しい被写体（ｊ）毎の関節データ構造８００は、各画像について実空間及び２Ｄ空間における被写体（ｊ）の関節の位置を識別する。被写体データ構造８００の幾つかの詳細を図８に示す。

Claims (15)

1. 実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡する方法であって、
   各カメラの視野が少なくとも１つの他のカメラの視野と重なり合う、在庫陳列構造の上方に設置された複数のカメラを使用して、前記実空間内の対応する視野内の在庫陳列構造のそれぞれの画像シーケンスを生成すること、
   被写体のジェスチャ、及び、前記画像シーケンス内の前景データを処理して前記ジェスチャに関連付けられた在庫商品を識別することによって、在庫商品を置くこと及び取ることを検出すること、を備えることを特徴とする方法。
2. 前記画像シーケンス内の背景データを処理して、在庫陳列構造上の在庫商品における意味的に重要な変化を識別することによって在庫商品を置くこと及び取ることを検出することを含む請求項１に記載の方法。
3. 被写体画像認識エンジンを含む、第１画像プロセッサを使用して、画像を処理して、対応する画像シーケンス内の前記画像に表される被写体を識別することを含み、
   前記在庫商品における意味的に重要な変化を識別することによって在庫商品を置くこと及び取ることを検出することが、背景画像認識エンジンを含み、前記画像シーケンス内の画像の識別された被写体をマスクし、マスクされた画像を生成し、前記マスクされた画像を処理して、前記対応する画像シーケンス内の前記画像に表される背景変化を識別し分類する第２画像プロセッサを使用することを含み、
   前記被写体のジェスチャ及び前記ジェスチャに関連付けられた在庫商品を識別することによって在庫商品を置くこと及び取ることを検出することが、前景画像認識エンジンを含み、前記複数のカメラから対応する画像シーケンスを受信し、画像を処理して、前記対応する画像シーケンス内の前記画像に表される前景変化を識別且つ分類する第３の画像プロセッサを使用することを含む請求項２に記載の方法。
4. 前記背景画像認識エンジン及び前記背景画像認識エンジンが、畳み込みニューラル・ネットワークを含む請求項３に記載の方法。
5. 識別された背景変化と識別された前景変化を識別された被写体に関連付けることを含む請求項３に記載の方法。
6. 前記第２画像プロセッサを使用することが、
   対応する画像シーケンスの背景画像を格納すること、
   前記画像シーケンス内の画像を処理し、前記マスクされた画像を提供するために、前記識別された被写体を表す前景画像データを、前記対応する画像シーケンスの前記背景画像からの背景画像データで置き換える請求項３に記載の方法。
7. 前記画像シーケンス内の画像を処理することが、前記画像シーケンス内のＮ個のマスクされた画像のセットを組み合わせて、各カメラのファクタ化画像のシーケンスを生成することを含み、
   前記第２の画像プロセッサが、前記ファクタ化画像のシーケンスを処理することによって、背景変化を識別し、分類する請求項３〜６のいずれか１項に記載の方法。
8. 前記第２画像プロセッサを使用することが、
   前記対応する画像シーケンスのための変化データ構造を生成することと、
   重なり合う視野を有するカメラのセットからの変化データ構造を処理して、実空間内での前記識別された背景変化の位置を見つけることと、を含み、
   前記変化データ構造が、識別された背景変化の前記マスクされた画像内の座標、前記識別された背景変化の在庫商品被写体の識別子、及び、前記識別された背景変化の分類を含む請求項３〜７のいずれか１項に記載の方法。
9. 前記変化データ構造における識別された背景変化の前記分類が、前記識別された在庫商品が前記背景画像に対して追加されたか除去されたかを示す請求項８に記載の方法。
10. 前記変化データ構造における識別された背景変化の前記分類が、前記識別された在庫商品が前記背景画像に対して追加されたか除去されたかを示し、
    背景変化を識別された被写体に関連付け、前記識別された被写体による在庫商品を取ること、及び前記識別された被写体による在庫商品を棚に置くことの検出を行うことを含む請求項８に記載の方法。
11. 前記第１の画像プロセッサを使用することが、識別された被写体の手の位置を識別することを含み、
    前記変化の前記位置を前記識別された被写体の手の位置と比較して背景変化を識別された被写体と関連付け、前記識別された被写体による在庫商品を取ること、及び前記識別された被写体による在庫商品を在庫陳列構造上に置くことの検出を行うことを含む請求項３〜１０のいずれか１項に記載の方法。
12. 背景変化を識別された被写体と関連付け、前記識別された被写体による在庫商品を取ることと、前記識別された被写体による在庫商品を在庫陳列構造上に置くことの第１の検出セットを作成すること、
    前景変化を識別された被写体と関連付け、前記識別された被写体による在庫商品を取ることと、前記識別された被写体による在庫商品を在庫陳列構造上に置くことの第２の検出セットを作成すること、及び、
    前記第１及び第２の検出セットを処理し、識別された被写体に関する在庫商品のリストを含むログ・データ構造を生成することを含む請求項３〜１１のいずれか１項に記載の方法。
13. 前記複数のカメラにおいて、カメラからの前記画像シーケンスを同期させることを含む請求項１〜１２のいずれか１項に記載の方法。
14. メモリに接続された１以上のプロセッサを含むシステムであって、
    前記メモリに、請求項１〜１３のいずれか１項に係る実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡する方法のためのコンピュータ命令がロードされていることを特徴とするシステム。
15. 非一時的なコンピュータ可読記憶媒体であって、
    請求項１〜１３のいずれか１項に係る実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡する方法のためのコンピュータ命令が格納されていることを特徴とする非一時的なコンピュータ可読記憶媒体。