JP2019513274A - 品物の設置、特定および計数のためのシステムおよび方法 - Google Patents

Abstract

製品ライブラリを構築するシステムは、プラノグラムを必要とすることなく、品物の画像を提供するように操作される画像キャプチャ部を含む。棚ラベル検出器および深度マップ生成部からデータを取得すると、処理モジュールは、検出された棚ラベルと深度マップとを比較し、製品のバウンディングボックスを画定し、バウンディングボックスを画像キャプチャ部によって提供される画像に関連付けて、画像記述子を構築するために使用され得る。システムは、画像キャプチャ部および他の構成要素を支持し、および移動するための１つまたは複数の自律型ロボットを含み得る。【選択図】図６

Description

（関連特許出願とのクロスリファレンス）
本開示は、２０１６年３月２９日出願のタイトル「System and Method for Locating, Identifying and Counting Products on Shelves」の米国特許出願第６２／３１４，７８５号、および２０１６年１１月２９日出願のタイトル「System and Method for Locating, Identifying and Counting Items」の米国特許出願第６２／４２７，５０９号の優先権を主張する非仮特許出願の一部である。

（技術分野）
本開示は、概して、初期プラノグラムを必要とせずに、小売または倉庫製品の在庫を正確に監視することができる複数のカメラセンサスイート（suite、群）に関する。或る実施形態では、複数のカメラセンサスイートは、自律型ロボットに搭載することができ、ほぼリアルタイムの製品追跡を提供するオンボード処理を含む。

小売店や倉庫は、しばしば販売され、取り除かれ、追加され、または再配置される何千もの異なる製品を有し得る。補充のスケジュールが頻繁であっても、在庫があると想定される製品は在庫切れになる可能性があり、これは、売上と顧客の満足感の両方を低下させる。販売時点情報管理（ＰＯＳ：point of sales）データは、製品の入手の可能性をおおまかに見積もるために使用することができるが、誤って配置されたり、盗難されたり、または破損した製品の特定には役に立たず、これらの全てが製品の入手の可能性を低下させ得る。しかし、製品の在庫を手動で監視し、製品の位置を追跡することは、高価であり、時間がかかる。

製品在庫を追跡するための１つの解決策は、機械視覚技術と組み合わせたプラノグラム（特定の製品を棚やディスプレイ上にどのようにして、およびどこに配置されるべきかを示すリストまたは図表）に頼っている。プラノグラムが与えられると、棚スペースのコンプライアンスを補助するために、機械視覚を使用することができる。例えば、多数の固定位置カメラを店舗全体にわたって使用して通路を監視することができ、プラノグラムまたは棚のラベルに反する棚スペースの大きな隙間をチェック可能であり、必要であれば「在庫切れ」とフラグが立てられる。代わりに、より少数の可動カメラを使用して店舗通路をスキャンすることができる。このようなシステムであっても、製品識別、配置、およびカウントを含むことができるバウンディングボックス（bounding box）に関する詳細情報を含む初期プラノグラムを構築するためには、人間の介入が一般に必要とされる。プラノグラムを更新し、および間違った位置に配置された製品在庫を検索するためにもまた、かなりの人間の介入が必要とされ得る。

製品または他の在庫の監視のための低コストで正確で拡張性のあるカメラシステムは、可動ベースを含み得る。可動ベースによって支持された複数のカメラは、棚或いは製品または在庫を保持するための他のシステムに向けて誘導可能である。処理モジュールは、複数のカメラに接続され、そのカメラで生成された画像から製品または在庫位置の更新可能なマップを構築することができる。

いくつかの実施形態では、在庫監視のための記載されるカメラシステムは、棚ラベルを検出するために使用することができ、棚ラベルを深度マップと随意に比較し、製品のバウンディングボックスを画定し、バウンディングボックスを棚ラベルに関連付けて訓練データセットを構築し、訓練データセットを使用して製品分類器を訓練する。

他の実施形態では、製品ライブラリを構築するシステムは、品物の画像を提供するように操作される画像キャプチャ部を含むことができる。このシステムはまた、棚ラベル検出器（高解像度のズーム可能なカメラとすることができる）と、随意に深度マップ作成部（レーザ走査、飛行時間レンジ検知、またはステレオイメージングによって提供することができる）と、検出された棚ラベルを深度マップと随意に比較し、製品のバウンディングボックスを画定し、並びに、バウンディングボックスを棚ラベルに関連付けて、訓練データセットを構築するか、または画像記述子を学習する、処理モジュールと、を含む。画像キャプチャ部と処理モジュールの両方を自律型ロボットに搭載することができる。

それが棚上での現実を表すので、本明細書に開示されるような在庫マップは、従来の「プラノグラム」と区別するために、「リアログラム」として知られ得、これは、３Ｄモデル、カートゥーン、図またはリストの形を取り、特定の小売製品および標識が、棚またはディスプレイ上にどのように、およびどこに配置されるべきかを示す。リアログラムは、処理モジュールに接続されたデータ記憶モジュールを用いてローカルに記憶することができる。通信モジュールは、リアログラムデータを遠隔地に転送し、また、追加で、リアログラム構築を補助するためのプラノグラムを含む在庫情報を受信するために、処理モジュールに接続することができ、遠隔地は、店舗サーバまたは他のサポートされたカメラシステムを含む。リアログラムのマッピングに加えて、このシステムは在庫切れの製品の検出、枯渇した製品の推定、積み重なった山を含む製品の量の推定、製品の高さ、長さ、および幅の推定、製品の３Ｄモデルの構築、製品の位置と向きの判定、１つまたは複数の製品が、向きの操作や、区分けの操作などの是正措置を必要とする、棚上でのまとまりのない見栄えであるかどうかの判定、農産物などの製品の鮮度の評価、パッケージの完全性を含む製品の品質の評価、ホーム位置、二次位置、トップストック、ボトムストック、および裏の部屋を含む製品の位置決め、誤って配置された製品の事象（プラグ（plug）としても知られる）の検出、誤って配置された製品の特定、製品の面の数の推定またはカウント、製品の面の数のプラノグラムとの比較、ラベルの位置決め、ラベルの並びの決定、ラベルの種類の検出、製品名、バーコード、ＵＰＣコード、および価格設定を含むラベルコンテンツの読み取り、ラベルの欠落の検出、ラベル位置のプラノグラムとの比較、製品位置のプラノグラムとの比較、製品の期限切れの判定、農産物を含む製品の鮮度の判定、棚の高さ、棚の深さ、棚の幅と区画の幅の測定、標識の認識、表示、標識、および目玉商品を含むプロモーション用具の検出と、その提示と引下げの回数の測定、季節の製品およびプロモーション製品の検出および認識と、製品アイランドおよび目玉商品などの陳列、個々の製品、製品グループ、および、例えば、全体の通路、棚の区画、通路上の特定の製品、および、製品のディスプレイおよび製品アイランドなどの固定された備品のグループの画像のキャプチャ、仮想的に歩きまわることを可能にする仮想ツアーアプリケーションで視覚化される環境の３６０度および球面ビューのキャプチャ、拡張現実や仮想現実で見るための環境の３Ｄ画像のキャプチャ、周辺光のレベルを含む環境条件のキャプチャ、身体障害および安全基準への空間の準拠の測定、並びに電球が切れたかどうかの判定を含む、環境に関する情報のキャプチャ、リモートモニタへの空間のリアルタイムのビデオフィードの提供、ライブまたはスケジュール設定を含む特定の場所のオンデマンドの画像およびビデオの提供、および製品画像のライブラリの構築、のために使用することができる。

一実施形態では、可動ベースは手動で押すことができ、またはガイド可能なカートであってよい。或いは、可動ベースは、遠隔操作されるロボット、または好ましい実施形態では、自らを店舗または倉庫を通してガイドすることができる自律型ロボットとすることができる。店舗や倉庫のサイズに応じて、複数の自律型ロボットを使用することができる。製品の動きの多い通路をより頻繁に検査したりして、通路は定期的に検査され得、在庫切れを特定したり、またはリアログラムを作成したりする。

別の実施形態では、在庫監視方法は、複数のカメラのための可動ベースとして動作する自律型ロボットを用いて、在庫または製品を保持することができる棚が並ぶ通路に沿って、自律型ロボットを移動させることを可能にするステップを含む。複数のカメラは、通路に並んだ棚上の在庫に向けられ、少なくとも部分的にはこれらのカメラから得られたデータは、自律型ロボットに含まれる処理モジュールを使用する在庫のリアログラムまたはパノラマ画像を構築するために使用される。処理モジュールによって作成されたリアログラムデータまたはパノラマ画像は、通信モジュールを使用して遠隔地に転送することができ、通信モジュールを介して受信された在庫情報は、リアログラムの構築を補助するために使用することができる。

さらに別の実施形態では、在庫監視方法は、複数のカメラのための可動ベースとして動作する自律型ロボットを用いて、自律型ロボットが通路に並ぶ在庫を保持している棚に沿って移動することを可能にするステップを含む。自律型ロボットは、順方向または逆方向に動いている間、在庫を保持しながら通路に並んだ棚から実質的に一定の距離または厳密に制御された距離を維持することができる。在庫を保持しながら通路に並ぶ棚に沿って位置付けられた在庫のリアログラムの少なくとも一部を、通路に並ぶ棚上の在庫に向けられた複数のカメラを使用して構築することができる。典型的には、リアログラムは、ローカルに置かれたデータ記憶装置および自律型ロボットに含まれる処理モジュールを用いて作成および更新される。通路に並ぶ棚の完全な、またはほぼ完全なカメラのカバレッジを確保するために、通路に並ぶ棚の一部に対するデータのキャプチャが不完全な場合、さらなる複数のカメラの検査のために自律型ロボットは一時停止、反転、またはマークすることができる。

通路棚または他の適切なターゲットにおける製品の変化を追跡するために可動ベースに搭載されたカメラシステムの図である。 通路における向かい側の棚を検査する２つの自律型ロボットを図解するカートゥーンである。 在庫カメラに接続された様々なシステムおよび電子モジュールの図である。 動作の一実施形態におけるステップの図である。 カメラシステムのための可動ベースとして動作することのできる自立型ロボットの側面図の例である。 カメラシステムのための可動ベースとして動作することのできる自立型ロボットの断面図の例である。 初期プラノグラムを必要とせずに、リアログラムのための製品スペースをどのように作成することができるかをより詳細に示すフローチャート６００である。 開示されたシステムの態様を管理するための追加の処理の詳細を示すフローチャート７００である。

図１は、初期プラノグラムを必要とせずに、通路棚または他のターゲット１０２における製品の変化を追跡するための可動ベース１１０（駆動ホイール１１４を備える）に搭載された在庫監視カメラシステム１００の図である。

可動ベース１１０は、建物全体で独立してナビゲートおよび移動することができるナビゲーションおよび物体検知スイート（suite、一式）１３０を備える自律型ロボットとすることができる。自律型ロボットは、垂直に延びるカメラ支持体１４０によって可動ベース１１０に取り付けられた複数のカメラ１４０を備える。光源１５０は、ターゲット１０２に光を向ける位置に置かれる。物体検知スイートは、物体の検出、位置の特定、およびナビゲーションに役立つ前方（１３３）、側面（１３４および１３５）、上部（１３２）および／または後方（図示せず）の画像センサ並びに深度センサを含む。レーザ測距部１３６および１３８（並びにそれぞれのレーザ走査ビーム１３７および１３９）などの追加のセンサも、正確な距離の決定のために有用なセンサスイートの一部を形成する。特定の実施形態では、画像センサは、ステレオ画像から深さを推測したり、画像内の物体距離の大まかな決定を可能にする赤外線メッシュオーバーレイ（infrared mesh overlay）を投影したり、またはターゲットから反射する光の飛行時間から深さを推測する深度センサとすることができる。他の実施形態では、オブジェクトの位置および配置を識別するための単純なカメラおよび様々な画像処理アルゴリズムを使用することができる。選択された用途では、超音波センサ、レーダーシステム、磁力計などをナビゲーションを補助するために使用することができる。さらに他の実施形態では、電磁気、光、または他の位置ビーコンを検出することができるセンサは、自律型ロボットの正確な位置決めに有用であり得る。

図１に示されるように、更新可能なリアログラムを構築するために有用な様々な代表的なカメラの種類が示されている。前述したように、リアログラムは、製品位置または在庫位置の更新可能なマップを生成するために、カメラで生成された画像を使用することができる。典型的には、１つまたは複数の棚部（例えば、ターゲット１０２）は、様々な一式のカメラの種類によって撮影されることになり、これらは、対象となる棚部の全体よりも小さい画定されたフィールドをカバーする下方への固定焦点距離カメラ（１４２および１４４）または上方への固定焦点距離カメラ（１４３および１４８）、撮像される対象からの距離に焦点を合わせる可変焦点カメラ、固定焦点距離カメラよりも大きな写真範囲を提供するための広視野カメラ１４５、および、バーコード、製品識別番号、および棚ラベルをキャプチャするための狭い視野のズーム可能な望遠１４６を含む。或いは、棚ラベルを識別するために高解像度カメラ、傾きを制御可能なカメラ、高さを調整可能なカメラを使用することができる。これらのカメラ１４０で生成された画像は、識別された画像内の製品および決定された位置を用いて互いにつなぎ合わせる（stitched）ことができる。

画像処理を簡素化し、正確な結果を提供するために、複数のカメラは、典型的には検査プロセスの期間中に棚から決まった距離に位置付けられる。棚は、カメラ上またはカメラの近くに位置するＬＥＤまたは他の方向付け可能な光源１５０を用いて照らすことができる。複数のカメラは、カメラ支持体上に、垂直に、水平に、または他の適切な向きで線状に取り付けられ得る。いくつかの実施形態では、コストを低減するために、複数のカメラがカメラ支持体に固定して取り付けられる。このようなカメラは、カメラ支持体および棚に対して上方、下方、または水平を向くように配置することができる。わずかに異なる方向を向いた複数のカメラは、グレアが僅かなまたは全くない少なくとも１つの画像をもたらし得るので、これは、高反射性の表面を有する製品からのグレアの低減を有利に可能とする。

電子制御部１２０は、自律型ロボット検知およびナビゲーション制御モジュール１２４を含み、これはロボットの応答を管理する。ロボットの位置特定は、外部マーカおよび基準点を利用してよく、またはロボットに搭載されたセンサによって提供される位置特定情報のみに頼ってもよい。位置決定のためのセンサは、前述のイメージング、光学、超音波ソナー、レーダー、ライダー（Lidar）、飛行時間、構造化された光、またはロボットと環境間の距離を測定する他の手段、或いは、移動ベースによって移動された増分距離を計測する他の手段を含み、増分距離を計測する他の手段は、三角測量、視覚フロー、視覚走行距離測定法、ホイール走行距離測定法を含むが、これらに限定はされない技術を用いる。

電子制御部１２０はまた、カメラ制御およびデータ処理モジュール１２２を使用して画像処理を提供する。自律型ロボット検知およびナビゲーション制御モジュール１２４はロボットの応答を管理し、また、通信モジュール１２６はデータの入力および出力を管理する。カメラ制御およびデータ処理モジュール１２２は、処理モジュール１２５に接続された個別のデータ記憶モジュール１２３（例えば、ソリッドステートハードドライブ）を含むことができる。通信モジュール１２６は、処理モジュール１２５に接続されており、店舗サーバまたは他のサポートされているカメラシステムを含む遠隔地にリアログラムデータまたはパノラマ画像を転送し、さらに、リアログラムの構築に役立つ在庫情報を受信する。特定の実施形態では、リアログラムデータが主として格納され、画像は自律型ロボット内で処理される。有利なことに、これは、データ転送の必要性を低減し、ローカルサーバまたはクラウドサーバが利用できない場合でさえも動作が可能である。

図２は、図１に関して論じたものと同様の２つの自律型ロボット２３０および２３２を示すカートゥーン２００であり、２つの自律型ロボット２３０および２３２は、通路において向かい側の棚２０２を検査する。示されているように、各ロボットは、複数のカメラで棚２０２の画像をキャプチャしながら、通路の長手方向に沿って経路２０５を辿る。

いくつかの実施形態では、ロボット２３０および２３２は、複数のカメラ、棚、および棚上の製品の間の距離を、５ｃｍ未満の精度で、および典型的には、約５ｃｍから１ｍｍの間の範囲の精度で測定するための少なくとも１つの測距センサを支持する。認識されるように、同様の精度を有するライダー（ＬＩＤＡＲ）または他の距離検知機器もまた、選択された用途において使用することができる。絶対位置センサ、棚への相対距離測定、既知のランドマークへの三角測量、従来のＳＬＡＭ（simultaneous localization and mapping）法を用いて、或いは設計図または以前に構築されたマップ内の既知の位置に配置されたビーコンに頼って、ロボット２３０および２３２は、棚２０２に略平行な経路に沿って移動することができる。ロボットが動くと、垂直方向に位置するカメラは、棚２０２の画像を同時にキャプチャするように同期される。特定の実施形態では、棚および製品の深度マップは、画像深度センサおよびまたはレーザ測距機器を使用して、棚部の長手方向にわたって棚カメラからの棚および製品までの距離を測定することによって生成される。深度マップは、棚カメラによってキャプチャされた画像上に登録され、ターゲット上の各ピクセルの位置を３Ｄで見積もることができる。利用可能な情報を使用して、連続的な画像は、互いにつなぎ合わせて、棚部の全体にわたるパノラマ画像を作成することができる。連続的な画像は、最初に全てのカメラの間で垂直につなぎ合わせられ、次いで、ロボット２３０および２３２が通路に沿って移動するにつれて、垂直方向の画像のそれぞれの新しい連続的なセットを用いて水平方向に、および漸進的につなぎ合わせられる。

図３は、ロボットナビゲーションおよび検知３１０を有する自律型ロボットによって支持される様々なシステムおよび電子モジュール３００の図である。在庫カメラ３４０は、ロボットナビゲーションおよび検知モジュール３１０の補助を用いて所望の位置へと移動される。光源３５０は、製品在庫に向けられ、在庫カメラ制御および画像再構成３１２は、リアログラムの形成または更新を補助するために互いにつなぎ合わせることができる一連の在庫写真を撮影する（および随意に深度を測定する）。パノラマ画像、リアログラムデータ、または他の在庫関連情報は、通信システム３１６を介して関連情報を送信または受信することができる在庫データおよびローカル更新モジュール３１４によって処理される。データは、店舗へのローカルなサーバに伝達することができ、或いは、適切なインターネットまたはネットワーキング装置によりリモートサーバまたはクラウドアクセス可能なデータサイトに送信することができる。

在庫カメラ３４０は、製品の識別または画像の構築を補助するために、可動カメラ、ズームカメラ、フォーカス可能カメラ、広視野カメラ、赤外線カメラ、紫外線カメラ、または他の特殊カメラの１つ以上を含むことができる。例えば、広視野カメラは、狭い視野を有する高解像度カメラからのデータがマッピングまたは登録される画像組織化テンプレートを作成するために使用することができる。別の例として、おおよそ棚のへりの高さにあるカメラ支持体上に配置された傾きを制御可能な高解像度カメラを使用して、棚に取り付けられたバーコード、識別番号、またはラベルを読み取ることができる。特定の実施形態では、従来のＲＧＢ ＣＭＯＳまたはＣＣＤセンサは、単独で、或いは狭帯域、広帯域、または偏光フィルタを含み得るスペクトルフィルタと組み合わせて使用することができる。実施形態はまた、ハイパースペクトル画像処理を可能にするために、赤外線、紫外線、または他の波長を検出することが可能なセンサを含むことができる。これは、例えば、人には見えないマーカ、ラベル、またはガイドの監視および追跡、或いはエネルギー消費およびモーションブラーを減らしながら健康リスクの不快感を引き起こさない不可視スペクトルにおける点滅光の使用を可能にすることができる。

光源は、センサと一緒に、またはセンサとは別個に取り付けることができ、レーザ、発光ダイオード（ＬＥＤ）、または有機発光ダイオード（ＯＬＥＤ）などの単色またはほぼ単色の光源を含むことができる。広帯域光源は、（赤外線ＬＥＤまたは紫外線ＬＥＤを含む）様々な波長の複数のＬＥＤ、ハロゲンランプ、または他の適切な従来の光源によって提供されてよい。狭帯域、広帯域、または偏光フィルタおよび光シールド、レンズ、ミラー、反射面、ディフューザ、コンセントレータ、或いは他の光学系を含み得る様々なスペクトルフィルタは、局所照明強度を改善するために、領域照明またはきつく収束したビームに対して幅のある光線を提供することができる。

いくつかの実施形態によれば、カメラ３４０と光源３５０の両方は、移動可能に取り付けることができる。例えば、カメラまたは光源をプログラム的に回転させる、上昇させる、押し下げる、振動させる、或いは、横方向または垂直方向に再配置するために、ヒンジ式、レール式、電磁式ピストン、または他の適切な作動機構が使用される。

さらに他の実施形態では、１つまたは複数のカメラは、ローリングシャッタ効果の利点と自律型ロボットの移動方向とをとるように搭載することができる。ローリングシャッタの「ラスタライズ」された遅延を利用するような方法でカメラをアライメントすると、ロボットがその経路を移動している間に生じ得るアーチファクト（伸び／短縮）を低減することができる。

在庫データ３１４は、製品種類、製品寸法、製品３Ｄモデル、製品画像、および現在の製品価格、棚位置、棚の在庫数、並びに、表面の数にそれぞれが関連付けられた複数の製品のデータを格納することが可能な在庫データベースを含むことができるが、これに限定はされない。異なる時刻にキャプチャされ、および生成されたリアログラムを保存することができ、製品の入手の可能性の見積もりを改善するためにデータ分析が使用される。特定の実施形態では、リアログラム生成の頻度を増減することができる。

通信システム３１６は、サーバ、デスクトップコンピュータ、ラップトップ、タブレット、またはスマートフォンなどのデバイスと相互作用するための有線または無線接続のサブシステムのいずれかへの接続を含むことができる。データおよび制御信号は、無線ネットワーク、パーソナルエリアネットワーク、セルラネットワーク、インターネット、またはクラウド媒介データソースを含む様々な外部データソース間で受信、生成、または転送することができる。さらに、ローカルデータのソース（例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、或いはＳＲＡＭまたはＤＲＡＭなどのダイナミックメモリを含む任意の他の適切なメモリ）は、ユーザ指定のプリファレンスまたはプロトコルのローカルデータ記憶を可能にすることができる。１つの特定の実施形態では、複数の通信システムを提供することができる。例えば、ダイレクトＷｉ−Ｆｉ接続（８０２．１１ｂ／ｇ／ｎ）および個別の４Ｇセルラ接続を使用することができる。

リモートサーバ３１８は、サーバ、デスクトップコンピュータ、ラップトップ、タブレット、またはスマートフォンを含むことができるが、これらに限定はされない。リモートサーバの実施形態はまた、クラウドコンピューティング環境において実装され得る。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、サーバ、ストレージ、アプリケーション、およびサービス）の共有プールへのユビキタスで便利なオンデマンドネットワークアクセスを可能にするためのモデルとして定義され得、これは、仮想化を介して迅速に提供され、最小限の管理作業、またはサービスプロバイダとのやりとりでリリースされ、その後、適宜に拡張され得る。クラウドモデルは、様々な特性（例えば、オンデマンドセルフサービス、広域ネットワークアクセス、リソースプーリング、高速な融通性、測定されたサービスなど）、サービスモデル（例えば、サービスとしてのソフトウェア（「ＳａａＳ」）、サービスとしてのプラットフォーム（「ＰａａＳ」）、サービスとしてのインフラストラクチャ（「ＩａａＳ」）、並びに、実装モデル（例えば、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウドなど）から成ることができる。

図４は、動作の一実施形態におけるリアログラムまたはパノラマ更新ステップの図である。フローチャート４００に見られるように、ロボットは識別された位置に移動し、通路の経路に沿って所定の距離で進む（ステップ４１０）。経路が人や物によって妨げられている場合、ロボットは経路が妨げられなくなるまで待ったり、移動を開始して減速したり、障害物にそれが近づくので待ったり、経路を再取得する前に物の周りを迂回することが要求されるまでその経路に沿って移動したり、或いは、単純に代替通路を選択したりすることができる。

ステップ４１２において、複数の画像がキャプチャされ、互いにつなぎ合わせられて画像パノラマを画定する。任意に、特定の実施形態では、パノラマカメラまたは広視野カメラは、単一の大きな画像をキャプチャすることができる。これらの画像は、レーザ測距システム、赤外線深度センサ、或いはデシメートルまたはそれ以下のスケールで深度を区別することができる類似のシステムによって生成された任意的な深度情報とともに、パノラマまたはリアログラムのいずれかを作成するために使用される（ステップ４１４）。この情報は、製品を識別するための棚ラベル、バーコード、および製品識別データベースから得られたデータとともに、パノラマおよび／またはリアログラムを作成、変更、または更新するために、クラウドまたはリモートサーバに伝達される（ステップ４１６）。パノラマ画像とデータを使用して作成されたリアログラムは、製品やラベルの場所を突き止めたり、製品数を見積もったり、製品の面の数を数えたり、或いは、不足している製品を特定したりまたは不足している製品の場所を見つけたりするために、例えば、店舗管理者、ストック従業員、または顧客アシスタント販売員が使用することができる。さらに、いくつかの実施形態では、他のロボット、更新された製品データベース、または他の店舗から受け取ったリアログラムまたは他の情報を使用して、後のリアログラムを更新したり、後のリアログラムの作成を補助したりすることができる（ステップ４１８）。

図５Ａおよび図５Ｂはそれぞれ、本開示に係るカメラシステムのための可動ベースとして動作することのできる自律型ロボット５００の側面図および断面図を例示する。ロボットナビゲーションおよび検知部は、前方、側面、後方、および上部に取り付けられた複数のカメラを有するトップマウントセンサモジュール５１０を含む。垂直に整列された光源５２０のアレイは、垂直に配置されたカメラ５３０のラインの隣に配置され、この両方は、制御電子回路、電源、およびドッキング相互接続を含む駆動ベース５４０によって支持される。可動性は駆動ホイール５６０によって提供され、安定性はキャスターホイール５５０によって改善される。

在庫監視は、自律型ロボットカメラシステムの画像の使用に頼ることができる。典型的には、さらなる分析のために、複数の画像が処理され、結合され、およびセグメント化される。セグメント化された画像は、製品の面を特定していると想定される製品バウンディングボックスの画定において役立てることができる。この情報は、製品ライブラリの開発にしばしば必要である。セグメント化された画像は、典型的に、アウトライン化した画像領域または個別の画像領域の数十から数百の範囲の複数の製品バウンディングボックスを含むことができる。バウンディングボックスは、製品の面、製品のグループ、または製品間のギャップのいずれかを囲むことができる。製品バウンディングボックス内の製品は、手動で識別することができ、クラウド（crowd）ソースまたは有料レビューアの画像識別システムを使用して識別することができ、初期プラノグラムの補助をうけてまたは初期プラノグラムの補助なしで識別することができ、或いは、本明細書で説明される様々な画像分類器を使用して自動的に識別することができる。製品間の隙間は、棚の間隔、製品の分離、在庫の不足／欠落の識別に役立つ。

自動識別は、自律型ロボットを単独で用いて、または外部画像分類システムと組み合わせて用いて実行することができる。特定の実施形態では、製品バウンディングボックスは、現在の棚とその上の棚との間の距離にまたがる垂直スペースとともに、同じ製品の１つ以上のコピー（面）によって占められる棚上の水平スペースとして画定することができる。現在の棚がトップの棚である場合、垂直スペースは、概して固定具の頂部までの距離に対応する数である。或いは、垂直スペースは、深度センサによって検知される製品の頂部とすることができる。

製品バウンディングボックスおよび製品識別の作成を自動的を補助する画像セグメンテーションは、いくつかの実施形態では画像テンプレートの使用に頼ることができる。典型的には、各画像テンプレートは、自律型ロボットに搭載されたカメラシステムによってキャプチャされた画像と比較される。合致が肯定的である場合、画像の合致した区画は、その製品の画像セグメンテーションとして使用される。

セグメンテーションは、注釈付き訓練データセットで分類器を訓練することで改善することができ、ここでは、バウンディングボックスは手動で製品の周囲に描かれる。訓練は、教師ありまたは教師無しの機械学習、深層学習、或いは機械学習および深層学習のハイブリッド技術を用いて行うことができ、これらは畳み込みニューラルネットワークを含むがこれに限定はされない。

いくつかの方法は、製品識別子と対応するテンプレート、または、スキャンされている棚の場所の近位にある製品オブジェクトと対応するテンプレートと合致することのみによって、考慮しなければならない画像テンプレートの数を減らすことを含む。製品オブジェクトは、以下を含むことができるが、これらに限定はされない：

製品識別子

記述子の１つまたは複数のセット

記述子の各セットに対する信頼度

１つまたは複数の棚位置のメートル法での推定値

各棚位置のメートル法での推定値に対する信頼度

１つまたは複数の棚位置のトポロジカルな推定値

各棚位置のトポロジカルな推定値のカウント数

製品の１つまたは複数の画像テンプレート

製品の寸法

製品オブジェクトは、製品仕様の変更に合わせて、更新、手動または自動での修正、拡張、或いは訂正、並びに変更することができる。

いくつかの方法は、製品が外部から供給された画像とは異なる方向に向いているかどうかをさらに検出する。テンプレートの合致を見つけられないが、製品の記述子が可能性の高い合致を見つけた場合、これは、可動ベースシステムの外部から供給された画像のものとは異なる製品の向きを示す。外部から供給された画像が製品の正面のビューであることがわかっている場合、この方法は、棚上で不適切な向きの製品を特定する。不適切な向きに置かれた製品の角度の偏差を、外部から供給された画像の記述子のセットと、計算された画像のセグメント化された部分との間のアフィン変換で推定することができる。

テンプレートの合致が成功する状況では、画像内の製品のセグメンテーションが正確であると見做すことができ、製品の実際の寸法を画像内の製品の見かけの寸法と比較することで撮像センサと製品との間の距離推定値を抽出する。さらに、距離推定値と組み合わされた画像内の製品の見かけの位置は、撮像センサと製品との間の３次元位置および向きを計算することを可能にする。

いくつかの方法は、プラノグラムから各製品のトポロジカルな棚位置を抽出する。これらの方法は、セグメンテーションによって識別された製品オブジェクトの範囲をさらに広げ、以下の内容を含むものとして再画定する。

１つの製品識別子

記述子の１つまたは複数のセット

記述子の各セットに対する信頼度

１つまたは複数の棚位置のメートル法での推定値

各棚位置のメートル法での推定値に対する信頼度

１つまたは複数の棚位置のトポロジカルな推定値

各棚位置のトポロジカルな推定値のカウント数

製品の１つまたは複数の画像テンプレート

製品の寸法

プラノグラムからの１つまたは複数のトポロジカルな棚位置

他の実施形態では、ＲＦＩＤタグ、無線ビーコン、ロケータ、またはトラッカを単独で使用して、または組み合わせて使用して、製品のバウンディングボックスを画定するのを補助することができる。例えば、いくつかの実施形態では、自律型ロボットは、１つまたは複数のＲＦＩＤリーダーを追加で装備することができる。ＲＦＩＤタグを装備した製品の在庫のカウントの実行は、一実施形態では以下のように進めることができる。

各製品の総タグ数は、在庫管理ソフトウェアによって、自律型ロボットに搭載された、または自律型ロボットに関連付けられたＲＦＩＤリーダーに伝達される。

ＲＦＩＤリーダーは、自律型ロボットが静止しているか、または動いている間にＲＦＩＤタグを収集する。

ＲＦＩＤリーダーが所定の製品のすべてのタグを収集しない場合、および：

自律型ロボットが動いている場合、その後、自律型ロボットは停止して残りのタグの収集を試みる、または

自律ロボットが停止している場合には、自律型ロボットを所定の探索経路で移動させて残りのタグの収集を試みる。

適切な変更を加えれば、ＲＦＩＤシステムの代わりにブルートゥース、近距離通信、または他の従来の無線システムを使用することができる。

いくつかの実施形態では、数値、アルファベット、１次元バーコードまたは２次元バーコード、或いは類似の画像ベースの棚ラベルまたは製品ラベルに基づく視覚画像を、単独で使用することができ、或いは、画像をセグメント化して製品のバウンディングボックスを画定するのを助けるために、様々な画像の特徴と組み合わせて使用することができる。棚上の個々の価格タグまたは製品ラベルを検出するために、各棚の画像を分析し、セグメント化することができる。これに代えて、または加えて、個々の製品および製品パッケージの識別印を検出するために、各画像を使用することができる。セグメント化は、以下を含む技術を使用することができるが、これらに限定はされない：

−エッジ検出；

−以下を含むがこれに限定はされない深度推定技術を用いた深度推定：

ステレオカメラ

モーションからの構造

フォーカスからの構造

飛行時間を用いた深度カメラ

三角測量を用いた深度カメラ

平面または３Ｄレーザ／ライダースキャナ

色のセグメント化；

製品の形状、色、テキスト、および縦横比を含むが、これに限定はされない製品の特長；

畳み込みニューラルネットワークおよび深層学習などの機械学習技術を使用して識別され、並びに学習される製品形状

位置ヒューリスティックに基づく個々の製品画像の識別子への関連付け。ヒューリスティックは、識別子を製品画像の下または別の近位の場所に配置し得る。

ヒューリスティックは、ラベルの計画された位置を、ラベルの測定された位置、及び左側のラベル（the left label）と対応する製品の幅によって分割される連続したラベル間の測定された距離を有する各面のグループに対する面の数と、相関させることによって、プラノグラムから通知されてもよい。これらの相関は、例えば、面のグループとラベルとの間の最尤関係を生成するように、グラフ理論アプローチを用いることによって、最適化することができる。

関係性はまた、棚上の左の最大のラベルを自己相似の面の左の最大のグループとマッピングし、同じ棚上の右の最大のラベルを右の最大のラベルの面のグループとマッピングし、並びに、全ての面のグループが関連するラベルを有するまで、内向きに作業することによって通知されてもよい。

さらに、関係性は、訓練データセットからの手書きの注釈付けされた関係性で訓練される分類器によって、および上記のものと同様のヒューリスティックを使用して訓練される分類器によって通知されてもよい。いくつかの方法は、識別子の位置を、その識別子が置かれる棚の始まりまたは終わりの位置と比較することによって、棚上の各識別子の位置を推定することをさらに含む。或いは、方法は、製品の位置を、製品が置かれる棚の始まりまたは終わりの位置と比較することによって、棚上の各製品の位置を推定することに基づくことが可能である。

いくつかの方法では、識別子の棚の位置および／または製品の位置は、メートル法の用語で表され、すなわち、特定の棚の始めまたは終わりからの測定距離で表される。他の方法では、識別子の棚の位置および／または製品の位置は、トポロジー的に表され、例えば、特定の棚の始まりまたは終わりから、並びに棚の底から上へ、または上から底への一連の識別子として表される。例えば、特定の識別子は、第４の棚の開始から３番目であってよい。

製品ライブラリが作成される、または利用可能になった場合、製品のバウンディングボックスの進展を補助するために、多数の同様の特徴を持つ製品オブジェクトに対してライブラリを検索することができる。潜在的な製品オブジェクトの合致ごとに、ライブラリ内の特徴の位置の幾何学的整合性を棚の画像の特徴と比較することができる。いくつかの方法は、検索性能の改善のために、および／またはストレージ要件の低減のために、ライブラリ内の記述子のセットをインデックス化することをさらに含む。インデックス化の方法は、ハッシュ技術、木表現、およびバッグオブワーズ（Bag-of-Words）エンコーディングを含むが、これらに限定はされない。或いは、プラノグラムの情報、または製品ライブラリからの製品の位置情報は、検索しなければならない製品の数を、画像の棚に含まれる製品だけに減らすために使用することができる。さらに他の変形例では、識別された製品は、各識別される製品に近接して位置する価格タグまたは製品ラベルをセグメント化し、および復号し、並びに、それを製品オブジェクトの識別子と比較することによって検証することができる。

図６は、自律型ロボットによって支持されるセンサおよびカメラシステムによってキャプチャされた情報から、前述のような製品のバウンディングボックスがどのように作成され得るかの一例をより詳細に示すフローチャート６００である。図６を参照すると、最初のステップ６１０において、棚ラベルは、個々の棚の画像または、つなぎ合わせられたパノラマのいずれかで検出される。畳み込みニューラルネットワークまたは他の深層学習方法、テンプレートマッチング、或いはＨＡＡＲカスケードなどの分類アルゴリズムは、各棚ラベルの検出を補助するために使用することができる。各棚ラベルは、１つまたは複数の製品識別子を得るために分析される。分析は、光学式文字認識、バーコード走査、ＱＲコード走査、ＡＲコード走査、またはホログラムコード走査を含み得るが、これらに限定はされない。製品識別子は、ＵＰＣコード、製品名、或いは文字、数字、またはその他の記号のコード化されたコレクションであってよい。複数の識別子が利用可能である場合、ＵＰＣコードなどの好ましい識別子を選択することができる。特定の実施形態では、製品のパッケージングまたは棚ラベルに埋め込まれた赤外線または紫外線検出可能な製品識別子を使用することができ、並びに、製品のパッケージング上の可視のＵＰＣコードまたはシリアル番号などの他の適切なタグ、マーカ、または検出可能な識別印を使用することもできる。

任意のステップ６１２において、棚ラベルの画像位置が深度マップに登録され、または比較され、空間内でのその３Ｄ位置を取り戻す。深度マップは、ステレオ画像から深さを推測したり、画像内の物体距離のおおまかな決定を可能にする赤外線メッシュオーバーレイを投影したり、対象から反射する走査レーザまたはＬＥＤの飛行時間から深度を推測する１つまたは複数の深度センサを使用することによって、或いは、典型的にはサブミリメートルからサブセンチメートルの分解能を有する深度マップを構築するための任意の他の適切な方法を使用することによって生成することができる。

ステップ６１４において、バウンディングボックスは、同じ製品の１つまたは複数の面、または製品間の隙間を含むがこれに限定されない棚上の任意のスペースを囲む周辺（perimeter）として画定される。バウンディングボックスは、手動で画定すること、若しくは分類器の訓練、深層学習、画像セグメンテーション、或いは任意の他の技術または技術の組み合わせを使用して自動的に画定することができる。バウンディングボックスは、隣接するラベル間の水平距離を、１つの面の製品に対するバウンディングボックスの幅を画定するために使用するとともに、高さによってグループ化されたラベルを参照して作成することができる。複数の面の製品の場合、バウンディングボックスの幅は製品の幅に等しい区画でさらに分割（サブ分割）される。

バウンディングボックスの高さは、棚の高さの検出から導出することができる。棚の高さは、棚の底とその下に積み重ねられた製品との間の距離に対応する水平の窪みを識別するために深度マップを分析することによって検出することができる。これらの水平なくぼみは、棚のへりと対応しており、棚の高さを測定する。

代わりに、ラベルグループは、次の基準に従って水平スパン（グループの最初のラベルと最後のラベルの間の水平距離として画定される）でフィルタすることができる。

ラベルグループは、その水平スパンが現在のラベルグループのスパンと重なっている場合にフィルタを通過する。

ラベルグループは、その水平スパンが現在のラベルグループのスパンからベイ（bay）の幅を表す数を超えていない場合にフィルタを通過する。概して、ベイの幅は、店舗全体で使用される標準的な３フィートまたは４フィートの幅の棚である。

フィルタされたラベルグループを高さにより順序付けし、現在のラベルグループの後で、次に高いラベルグループを選択する。

代わりに、棚の高さは、棚の手動で注釈を付けた色および（利用可能であれば）深度画像上で訓練された深層学習分類器によって検出することもできる。

選択されたラベルグループと現在のラベルグループとの高さの差が決定されると、バウンディングボックスの高さを完全に画定することができる。

垂直に積み重ねられた製品の場合、バウンディングボックスの高さは、製品の高さに等しい区画でサブ分割される。

特定の実施形態では、バウンディングボックスを決定するための先の方法は、各方法についての信頼度を推定し、それらの結果を加算することによって、確率的に組み合わせることができる。

次に、ステップ６１６において、各バウンディングボックスは、ラベル位置のヒューリスティックに基づく識別子と一貫して関連付けられる。識別子は、左または右の棚のラベルのいずれかを起点として選択することができる。バウンディングボックスと識別子との関連付けは、棚区画全体または通路全体にわたる最適化によってさらに洗練され得る。識別子を有するバウンディングボックスは、棚の単純な画像またはパノラマのつなぎ合わせた画像と、バウンディングボックスに含まれる画像の部分について抽出された画像記述子とに登録することができる。画像記述子を生成するための方法は、画像テンプレート、勾配ヒストグラム、色ヒストグラム、スケール不変特徴変換、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、最大安定極値領域法（Maximally Stable Extremal Regions，ＭＳＥＲ）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＦＲＥＡＫ（Fast Retina Keypoints）、ＫＡＺＥ特徴、およびそれらの変形形態を含むが、これに限定はされない。

製品の記述子を抽出する代替形態は、ラベルされたカテゴリとしてバウンディングボックスを使用し、バウンディングボックスに含まれる画像上で分類器を訓練することである。分類器は、深層構造学習、階層学習、深層機械学習、或いは畳み込み、順伝搬型、再帰型、または他の適切なニューラルネットワークに関連する他の適切な深層学習アルゴリズムに基づくものを含み得る。深層学習ベースの分類器は、注釈付きの訓練データに基づいて画像記述子を自動的に学習することができる。例えば、深層学習ベースの画像記述子は、深層畳み込みニューラルネットワークにおける複数の層に対応して階層化することができる。畳み込み層ネットワークの最終層は、指定された画像カテゴリの１つにある製品の信頼値を出力する。画像記述子生成器部分および分類部分は、畳み込みニューラルネットワークに統合され、これらの２つの部分は、訓練セットを使用して一緒に訓練される。

代わりに、または、加えて、深層学習ベースの画像記述子と従来の画像記述子の両方を使用する実施形態を、ハイブリッドシステムにおいて組み合わせることができる。

ステップ６１８では、画像記述子を分類することができ、識別子を用いてラベル付けすることができる。分類のアルゴリズムは、サポートベクターマシンを含むことができるが、これに限定はされない。このプロセスは、画像が同じ店舗で異なる時間にキャプチャされるか、または異なる店舗でキャプチャされるかにかかわらず、同じ識別子に関連付けられたバウンディングボックスの各画像ごとに、繰り返すことができる。そうするうちに、これにより、初期プラノグラムまたは特定の製品のデータベースの記憶を必要とせずに、製品ライブラリ（すなわち、「製品のライブラリ」）を自動的に構築することが可能である。

深層学習ベースの画像記述子を利用する実施形態の場合、ニューラルネットワーク分類器は、同じ訓練された畳み込みニューラルネットワークの一部とすることもできる。畳み込みニューラルネットワークの異なる層から抽出される自動的に学習された特徴は、より大きな製品認識システムで使用することができる。これらの特徴は、他の分類器と組み合わせて、またはハイブリッドシステムにおける従来の画像記述子と組み合わせて使用することができる。

図７は、製品のライブラリの一実施形態を管理するための追加の処理の詳細を示すフローチャート７００である。製品のライブラリは、本明細書で説明するような単一の自律型ロボットに格納することができ、２つ以上の自律型ロボット間で分散させることができ、或いは、ローカル、リモート、またはクラウドサーバに全体的にまたは部分的に格納することができる。一実施形態では、ステップ７１０は、識別子に関連付けられた各製品画像から１組の記述子を抽出することを要求する。記述子の１つまたは複数のセットを発展することができ、記述子の各セットに対する信頼度が設定され、記述子の各セットが生成された日付が記録され、１つまたは複数の棚位置のメートル法の推定値が作成され、各棚位置のメートル法の信頼度が推定され、１つまたは複数の棚位置がトポロジカルに推定され、或いは、各棚位置のカウント数がトポロジカルに推定される。他の実施形態では、製品の１つまたは複数の画像テンプレート、或いは製品の寸法を使用して製品オブジェクトの範囲を決定することができる。

ステップ７１４において、各識別子および製品記述子のセットは、以下のように製品オブジェクトのデータベースまたはライブラリに格納される。

識別子がライブラリ内の既存の識別子と合致しない場合、識別子、製品記述子のセット、製品記述子のセットに対するエントリの信頼度、および日付を含む新しいオブジェクトを作成する。エントリの信頼度はユニークである。

製品の識別子がライブラリ内の既存の識別子と合致する場合は、その新規と既存の記述子のセットが同じオブジェクトから抽出された可能性を記述する既存の記述子のセットごとにスコアを計算する。

最尤スコアが肯定的な合致に対してヒューリスティック値を超える場合、記述子の新規のセットと、最尤の特徴のセットとを組み合わせ、オブジェクト内の記述子の他のセットに関して記述子のこのセットの信頼度を増加させ、および、既存の記述子のセットにその日付を追加する。

最尤スコアが肯定的な合致に対してヒューリスティック値を超えない場合、オブジェクトに記述子のセットを追加し、エントリのレベルに信頼度を設定し、日付を追加する。

深層学習ベースの画像認識を利用する実施形態では、入力画像は、信頼度を出力する畳み込みニューラルネットワークを使用して、製品カテゴリの１つに属するように分類される。次に、この信頼度を使用して、画像記述子を上記と同じ方法でライブラリに格納する。

ステップ７１６において、ライブラリ内の記述子セットは、検索性能の改善のために、および／またはストレージ要件の低減のために使用することができる。インデックス化の方法は、ハッシュ技術、木表現、およびバッグオブワーズ（Bag-of-Words）エンコーディングを含むが、これらに限定はされない。

ステップ７１８では、エラーおよびデータベースのサイズを低減するために、製品ライブラリを任意に刈り込むことができる。記述子のセット、並びにメートル法での棚位置またはトポロジカルな棚位置の刈り込みは、次のように発生することができる。

記述子のセット：信頼度がヒューリスティック値を下回るすべてのセットを、信頼度と日付のエントリとともに削除するが、可動ベースシステムに外部から供給された画像に由来するものは除く。

メートル法の棚位置：エントリの日付が、レコードの最後の日付である場合をのぞき、信頼度がヒューリスティック値を下回るすべてのメートル法の位置を、その信頼度と日付のエントリとともに削除する。

トポロジカルな棚位置：エントリの日付が、レコードの最後の日付である場合をのぞき、カウント数がヒューリスティック値を下回るすべてのトポロジカルな位置を、そのカウント数と日付のエントリとともに削除する。

代わりに、刈り込みは以下を含むことができる：

ｉｖ）記述子のセット：信頼度が最も高いセットを除くすべてのセットを、その信頼度と日付のエントリとともに削除するが、可動ベースシステムに外部から供給された画像に由来するものは除く。

ｖ）メートル法の棚位置：その関連する信頼度がヒューリスティック値よりも高い場合、最新の日付を除き、すべてのメートル法の位置を、その信頼度と日付のエントリとともに削除する。それ以外の場合は、ヒューリスティック値を上回る信頼度が見つかるまで、最後の２つ以上の日付のデータを保持する。

ｖｉ）トポロジカルな棚位置：その関連するカウント数がヒューリスティック値よりも高い場合は、最新の日付を除き、すべてのトポロジカルな位置をそのカウンターの数および日付のエントリとともに削除する。それ以外の場合は、ヒューリスティック値を上回るカウント数が見つかるまで、最後の２つ以上の日付のデータを保持する。

いくつかの実施形態では、製品ライブラリを変更することは、外部の画像データの供給源を利用して、製品の識別を補助することができる。これらの画像は、以下の供給源の１つ以上から取得できる：

製品識別子と対応する画像の製品を運ぶ小売業者

製品識別子と製造業者の命名および画像を合致させた後の製品の製造業者

製品のサードパーティの写真撮影業者

オンラインデータベース、画像検索エンジン、或いは、製品リストの、または他のインターネットデータベースのオンライン小売業者からのデータ。検索は、好ましくは、製品識別子に対応する製造業者の命名を用いて行われる。いくつかの方法では、この検索は自動的に実行され、人間の介入なしに１つまたは複数の画像が挿入される。

１つまたは複数の外部に由来する画像は、製品の少なくとも１つの正面のビュー、および随意に、同じ識別子と対応する製品の裏面、側面、上部および下部、または異なるパッケージングの外観などの追加のビューを含むことができる。製品が外部から供給された画像と異なる方向に向いている場合、製品記述子は、可能性の高い合致を見つけることを試みることができる。いくつかの実施形態では、可能性のある製品と異なる向きの製品との間の角度偏差は、外部から供給される画像の記述子のセットと利用可能な製品の画像との間のアフィン変換を計算することによって決定することができる。

テンプレートの合致が成功し、画像内の製品セグメンテーションが正確である状況では、製品の実際の寸法を画像内の製品の見かけの寸法と比較して、撮像センサと製品との間の距離推定値を抽出することができる。さらに、距離推定値と組み合わされた画像内の製品の見かけの位置は、撮像センサと製品との間の３次元位置および向きの計算を可能にする。

深層学習ベースの代替的な実施形態では、製品のセグメンテーションは、画素を製品内部および製品背景に属するものとして分類する畳み込みニューラルネットワークによって実行することができる。製品の寸法は、セグメンテーションから推定される。

本発明の多くの修正形態および他の実施形態は、前述の説明および関連する図面に提示された教示の利益を有する当業者の心に思い浮かぶだろう。従って、本発明は、開示された特定の実施形態に限定されるものではなく、その修正形態および実施形態は、添付の特許請求の範囲内に含まれることが意図されることが理解される。本発明の他の実施形態は、本明細書に具体的に開示されていない、要素／ステップが存在しない場合にも実施され得ることも理解される。

Claims (22)

1. 少なくとも１つの棚上の棚ラベルを検出して読み取るステップと、
   少なくとも１つのカメラで撮影された画像内の潜在的在庫の周りに１つまたは複数のバウンディングボックスを画定するステップと、
   製品分類器または製品ライブラリの少なくとも１つを構築するために、前記画像内の前記バウンディングボックスを棚ラベルに関連付けるステップと、
   を含む、在庫監視方法。
2. 自律型ロボットが、棚ラベルを自律的に読み取って、複数のバウンディングボックスを画定することを可能にする可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１に記載の在庫監視方法。
3. 自律型ロボットが、複数のカメラおよびライダー距離検知システムを有する可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１に記載の在庫監視方法。
4. 自律型ロボットが、棚の深度マップと、棚上に置かれた製品とをキャプチャする可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１に記載の在庫監視方法。
5. １つの製品識別子、１つまたは複数の記述子のセット、記述子の各セットに対する信頼度、記述子の各セットが生成された日付、１つまたは複数の棚位置のメートル法の推定値、各棚位置のメートル法の推定値に対する信頼度、１つまたは複数の棚位置のトポロジカルな推定値、各棚位置のトポロジカルな推定値に対するカウント数、製品の１つまたは複数の画像テンプレート、および前記製品の寸法、
   のうちの少なくとも１つ以上を含む製品範囲を有する製品ライブラリを構築するステップ、をさらに含む、請求項１に記載の在庫監視方法。
6. 少なくとも１つのカメラで撮影された前記画像内の前記複数のバウンディングボックス内に指定される潜在的在庫を識別するために、手動入力を使用するステップ、をさらに含む、請求項１に記載の在庫監視方法。
7. 潜在的な在庫と、潜在的な在庫間の隙間との双方の周りのバウンディングボックスが自動的に画定される、請求項１に記載の在庫監視方法。
8. バウンディングボックスは、棚ラベルまたは製品上のマーカの少なくとも１つに手動で関連付けられる、請求項１に記載の在庫監視方法。
9. バウンディングボックスは、棚ラベルまたは製品上のマーカの少なくとも１つに自動的に関連付けられる、請求項１に記載の在庫監視方法。
10. 初期プラノグラムを使用せずに前記製品ライブラリを構築するステップを、さらに含む、請求項１に記載の在庫監視方法。
11. 画像キャプチャ部と、
    棚ラベルデータをキャプチャするための棚ラベル検出器およびリーダーと、
    複数のバウンディングボックスを画定する処理モジュールと、
    前記バウンディングボックス内の画像を前記棚ラベルデータと関連付けるための訓練可能な画像分類器と、
    を含み、
    前記画像は前記画像キャプチャ部によって提供される、製品分類器を構築するためのシステム。
12. 前記画像キャプチャ部は、自律型ロボットに搭載され、前記棚ラベル検出器および前記リーダーに接続される、請求項１１に記載のシステム。
13. 前記訓練可能な画像分類器は、機械学習を使用して訓練される、請求項１１に記載のシステム。
14. 前記訓練可能な画像分類器は、深層学習システムを使用して訓練される、請求項１１に記載のシステム。
15. 棚ラベルを検出して読み取るステップと、
    少なくとも１つのカメラから少なくとも１つの棚までの距離を検出するステップと、
    少なくとも１つのカメラで撮影された画像内の潜在的在庫の周りにバウンディングボックスを画定するステップと、
    製品分類器または製品ライブラリの少なくとも１つを構築するために、前記画像内の選択されたバウンディングボックスを選択された棚ラベルに関連付けるステップと、
    を含む、在庫監視方法。
16. 自律型ロボットが、距離を検出すること、棚ラベルを読み取ること、およびバウンディングボックスを確定することを可能にする可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１５に記載の在庫監視方法。
17. 自律型ロボットが、複数のカメラと、ＬＩＤＡＲ距離検知システムまたは深度カメラのうちの少なくとも１つとを備える可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１５に記載の在庫監視方法。
18. 自律型ロボットが、棚の深度マップと、棚上に置かれた製品とをキャプチャする可動ベースとして機能しつつ、前記自律型ロボットが前記少なくとも１つの棚の横に移動することを可能にするステップ、をさらに含む、請求項１５に記載の在庫監視方法。
19. １つの製品識別子、１つまたは複数の記述子のセット、記述子の各セットに対する信頼度、記述子の各セットが生成された日付、１つまたは複数の棚位置のメートル法の推定値、各棚位置のメートル法の推定値に対する信頼度、１つまたは複数の棚位置のトポロジカルな推定値、各棚位置のトポロジカルな推定値に対するカウント数、製品の１つまたは複数の画像テンプレート、および前記製品の寸法、
    のうちの少なくとも１つ以上を含む製品範囲を有する製品ライブラリを構築するステップ、をさらに含む、請求項１５に記載の在庫監視方法。
20. 少なくとも１つのカメラで撮影された前記画像内の複数のバウンディングボックス内に指定される潜在的在庫を識別するために、手動入力を使用して製品ライブラリを構築するステップ、をさらに含む、請求項１５に記載の在庫監視方法。
21. 前記バウンディングボックスは、潜在的な在庫間の隙間の周りを取り囲むことが可能である、請求項１５に記載の在庫監視方法。
22. 初期プラノグラムを使用せずに前記製品ライブラリを構築するステップを、さらに含む、請求項１５に記載の在庫監視方法。