JP2022515238A - 空の容器の検出 - Google Patents

Abstract

ロボットピッキング解決策の状況における、容器が空であるかどうかを判定するためのデバイス、システム、および方法。本システムは、第１の場所において容器に関する容器データを収集するように構成される、複数のセンサであって、容器データは、容器に関連する重量データと、容器に関連する深度データと、容器に関連する色センサデータとのうちの少なくとも２つを含む、複数のセンサと、メモリ上に記憶される命令を実行することと、受信された容器データを処理し、容器が空であるかどうかを判定するように構成される、センサ融合モジュールを提供することとを行うように構成される、プロセッサとを含む。

Description

（関連出願の相互参照）
本願は、その開示全体が、本明細書に記載されている場合と同様に参照することによってその全体として本明細書に組み込まれる、２０１８年１２月２０日に出願された、米国仮出願第６２／７８２，５１７号の利益および優先権を主張する。

（技術分野）
本明細書に説明される実施形態は、概して、容器の内容物を検出することに関し、より具体的には、容器の空状態に関するデータを収集するためのセンサの使用に関する。

（背景）
倉庫環境におけるもの等の物流動作は、多くの場合、容器からアイテムを収集し、アイテムを異なる場所（例えば、コンベヤベルト）に設置する（または逆もまた同様である）ためのロボットピッキングデバイスを使用する。これらの既存の技法または環境では、ロボットデバイスは、概して、容器が空になるまで、容器からアイテムをピッキングする。人物は、次いで、容器が空であること（すなわち、全てのアイテムが、容器からピッキングされていること）を手動で確認し、次いで、ピッキングデバイスを別の容器に切り替える、または別の満杯の容器をピッキングデバイスに渡さなければならない。本手動の介入は、必然的に、時間を消費し、生産の停止をもたらす。

したがって、既存の技法の不利点を克服する方法およびシステムの必要性が、存在する。

（要約）
本発明の概要は、発明を実施するための形態の節において下記にさらに説明される、一連の概念を簡略化形態において導入するために提供される。本発明の概要は、請求される主題の重要な特徴または不可欠な特徴を識別もしくは除外することを意図していない、もしくは請求される主題の範囲を判定する際の支援として使用されることを意図していない。

一側面では、実施形態は、容器が空であるかどうかを検出する方法に関する。本方法は、第１の場所において容器を受容することと、複数のセンサから容器データを受信することであって、容器データは、容器に関連する重量データと、容器に関連する深度データと、容器に関連する色センサデータとのうちの少なくとも２つを含む、ことと、メモリ上に記憶される命令を実行し、かつセンサ融合モジュールを提供する、プロセッサを使用して、受信された容器データを処理し、容器が空であるかどうかを判定することと、センサ融合モジュールが容器が空であると判定することに応じて、第１の場所から容器を自律的に除去することとを含む。

いくつかの実施形態では、本方法はさらに、容器を摂動させることと、容器を摂動させた後に、容器が空ではないと判定することと、容器が空ではないと判定した後に、容器から少なくとも１つのアイテムを除去することとを含む。

いくつかの実施形態では、本方法はさらに、容器が空である尤度に関する信頼度スコアを発生させることを含み、信頼度スコアは、受信された容器データに基づく。

いくつかの実施形態では、本方法はさらに、信頼度スコアが所定の閾値未満であると判定することに応じて、容器を摂動させることと、摂動された容器に関するデータの第２のセットを収集することと、データの第２のセットを分析し、容器が空である、第２の尤度に関する第２の信頼度スコアを発生させることとを含む。いくつかの実施形態では、容器は、コンベヤベルト上にあり、本方法はさらに、信頼度スコアが所定の閾値を上回ると判定することに応じて、容器をコンベヤベルトを用いて第１の場所から第２の場所に移動させることを含む。

いくつかの実施形態では、本方法はさらに、容器が、第１の場所に存在することを検出することを含む。

いくつかの実施形態では、複数のセンサが、重量データ、深度データ、および色センサデータのうちの少なくとも２つを提供するために使用され、複数のセンサは、ロボットピッキングデバイスと共位置する。

いくつかの実施形態では、本方法はさらに、受信された容器データを、メモリ上に記憶される、容器の既知の重量データまたは容器の既知の外観データのうちの少なくとも一方と比較し、容器が空であるかどうかを判定することを含む。

いくつかの実施形態では、本方法はさらに、感知モダリティを使用し、全ての主要な方向における長さが少なくとも０．５ｃｍのアイテムを検出することを含む。

いくつかの実施形態では、本方法はさらに、ロボットピッキングデバイスを用いて容器を握持し、およびそれを振動させ、容器の中のアイテムを移動させることを含む。

別の側面によると、実施形態は、容器が空であるかどうかを検出するためのシステムに関する。本システムは、第１の場所において容器に関する容器データを収集するように構成される、複数のセンサであって、容器データは、容器に関連する重量データと、容器に関連する深度データと、容器に関連する色センサデータとのうちの少なくとも２つのものを含む、複数のセンサと、メモリ上に記憶される命令を実行することと、受信された容器データを処理し、容器が空であるかどうかを判定するように構成される、センサ融合モジュールを提供することとを行うように構成される、プロセッサとを含む。

いくつかの実施形態では、本システムはさらに、容器を摂動させるためのピッキングデバイスを含む。いくつかの実施形態では、ピッキングデバイスはさらに、容器を握持し、容器の中のアイテムを移動させるように構成される。

いくつかの実施形態では、メモリは、既知の重量データおよび既知の外観データのうちの少なくとも一方を記憶し、プロセッサは、記憶されたデータを受信された容器データと比較し、容器が空であるかどうかを判定するように構成される。

いくつかの実施形態では、容器は、コンベヤベルト上に位置し、コンベヤベルトは、センサ融合モジュールが容器が空であると判定することに応じて、容器を第１の場所から第２の場所に移動させるように構成される。

いくつかの実施形態では、プロセッサはさらに、容器が空である尤度に関する信頼度スコアを発生させるように構成される。いくつかの実施形態では、プロセッサはさらに、信頼度スコアが所定の閾値未満であると判定することに応じて、信号を送信し、容器を摂動させ、複数のセンサを用いて、摂動された容器に関するデータの第２のセットを収集し、データの第２のセットを分析し、容器が空である、第２の尤度に関する第２の信頼度スコアを発生させるように構成される。

いくつかの実施形態では、本システムはさらに、少なくとも１つのピッキングデバイスと通信するように構成される、インターフェースを含む。

いくつかの実施形態では、複数のセンサは、ピッキングデバイス上に共位置する。

いくつかの実施形態では、複数のセンサデバイスは、複数の相互接続されたセンサデバイスを含む。

本明細書における実施形態の非限定的かつ非網羅的実施形態が、同様の参照番号が、別様に規定されない限り、種々の図全体を通して同様の部分を指す、以下の図を参照して説明される。

図１は、一実施形態による、容器が空であるかどうかを検出するためのシステムを図示する。

図２は、一実施形態による、ピッキング動作を実施するロボットピッキングデバイスを図示する。

図３は、一実施形態による、ピッキング動作を実施するロボットピッキングデバイスを図示する。

図４は、一実施形態による、容器が空であるかどうかを検出するための方法のフローチャートを描写する。

図５は、一実施形態による、発生された信頼度スコアに基づいて容器と相互作用するための方法のフローチャートを描写する。

図６は、一実施形態による、摂動を実施するロボットピッキングデバイスを描写する。

（詳細な説明）
種々の実施形態が、本明細書の一部を形成し、具体的例示的実施形態を示す、付随の図面を参照して下記により完全に説明される。しかしながら、本開示の概念は、多くの異なる形態において実装され得、本明細書に記載される実施形態に限定されるものとして解釈されるべきではなく、むしろ、これらの実施形態は、本開示の概念、技法、および実装の範囲を当業者に完全に伝えるために、徹底的かつ完全な開示の一部として提供される。実施形態は、方法、システム、またはデバイスとして実践され得る。故に、実施形態は、ハードウェア実装、完全なソフトウェア実装、またはソフトウェアおよびハードウェア側面を組み合わせる実装の形態をとり得る。したがって、以下の発明を実施するための形態は、限定的な意味でとられるものではない。

本明細書における「一実施形態」または「ある実施形態」の言及は、実施形態に関連して説明される特定の特徴、構造、もしくは特性が、本開示による少なくとも１つの例示的実装または技法に含まれることを意味する。本明細書の種々の場所における語句「一実施形態では」の表出は、必ずしも全てが同一の実施形態を指しているわけではない。本明細書の種々の場所における語句「いくつかの実施形態では」の表出は、必ずしも同一の実施形態を指しているわけではない。

加えて、本明細書に使用される言語は、主として、可読性および教育目的のために選択されており、開示される主題を境界する、または範囲を定めるために選択されていない場合がある。故に、本開示は、本明細書に議論される概念の例証であり、その範囲を限定するものではないことを意図している。

本明細書に説明される種々の実施形態の特徴は、新規の検出システム、方法、およびデバイスを提供する。具体的には、本明細書に説明される実施形態は、容器が空であるかどうかを検出するための自動的システムおよび方法を提供する。本明細書に説明されるシステムおよび方法は、パーティション化されるかどうかにかかわらず、任意のタイプの剛性または半剛性のタイプの運搬箱、容器、箱、ビン、もしくは同等物（単純化のために、「容器」）と併せて稼働し得る。

本明細書に説明されるシステムおよび方法は、容器に関連する重量データと、容器に関連する深度データと、容器に関連する色データとのうちの少なくとも２つ依拠してもよい。センサ融合モジュールは、次いで、収集されたデータを組み合わせ、それを処理し、容器が空であるかどうかを判定してもよい。センサ融合モジュールが、容器が空であると判定した場合、本システムは、例えば、ロボットピッキングデバイスの近接位置から容器を自動的に除去し、新しい非空の容器をロボットピッキングデバイスに送達する（またはロボットピッキングデバイスを新しい非空の容器に移動させる）ためのステップを講じてもよい。

本明細書に説明されるシステムおよび方法は、物流倉庫または他の類似の場所等における環境において実装される、もしくは容器内の全体的または個々のパーティションのいずれかとして、アイテムで充填される、アイテムで部分的に充填される、もしくは空の種々の異なるタイプの容器と併せて稼働してもよい。

図１は、一実施形態による、容器が空であるかどうかを検出するためのシステム１００の略図を提示する。システム１００は、物流管理モジュール１０４およびデータベース１０６と通信する、ピッキングデバイス１０２を含んでもよい。いくつかの実施形態では、物流管理モジュール１０４は、プロセッサによって実行されるコンピュータ実行可能命令を成してもよい。いくつかの実施形態では、物流管理モジュール１０４は、物流管理モジュール１０４のメモリ１２４の中に記憶される、データベース１０６を含んでもよい。

ピッキングデバイス１０２は、下記により詳細に説明されるように、図２および３のピッキングデバイスに類似し得る。ピッキングデバイス１０２は、重量センサ１１０、距離／深度センサ１１２、および色カメラセンサ１１４等の第１の場所に位置する容器に関する容器データを収集するように構成される、複数のセンサを含んでもよい。容器データは、重量センサ１１０、距離／深度センサ１１２、色センサ１１４のうちの少なくとも２つによって収集されてもよく、また、下記により詳細に説明されるように、センサ融合モジュール１１６によって収集されてもよい。

複数のセンサ１１０、１１２、および１１４は、ピッキングデバイス１０２上、または別様に、ピッキングデバイス１０２に近接する場所に共位置し、ピッキングデバイス１０２もしくはその近傍における容器に関するデータを収集してもよい。いくつかの実施形態では、センサ１１０、１１２、および１１４は、相互接続されるセンサであってもよい。ピッキングデバイス１０２はさらに、他のデバイスおよび／またはシステムと通信するためのインターフェース１１８を含んでもよく、また、１つ以上の輸送デバイス１２０を含んでもよい。ピッキングデバイス１０２はまた、１つ以上の摂動デバイス１３０を含んでもよい。いくつかの実施形態では、輸送デバイス１２０および摂動デバイス１３０は、同一のデバイスであってもよい。

潜在的に容器の中にある任意の物体またはアイテムに関して考慮するための最大重量が、ある閾値（例えば、３０グラム）を上回るもの等のある場合には、測量計等の重量センサ１１０が、容器がアイテムを含有するかどうかを検出するために十分であり得る。

いくつかの環境では、重量センサ１１０は、コンベヤベルトシステムまたはピッキングステーションに統合されることができる。これらの重量センサ１１０は、インターフェース１１８を介して、物流管理モジュール１０４を含む、コンピュータまたは他のハードウェアもしくは処理構成要素とさらに通信してもよい。

いくつかの実施形態では、容器の空の重量は、先験的に把握され得る。物流管理モジュール１０４は、１つ以上のデータベース１０６の中に記憶されるデータに依拠することによって、本データを提供してもよい。

容器が、ピッキング場所に到達すると、メモリ１２４上に記憶される命令を実行する、センサ融合モジュール１１６またはある他の分析モジュール１２２は、容器データを受信し、それを処理し、容器が空であるかどうかを判定してもよい。いくつかの実施形態では、センサ融合モジュール１１６は、重量センサ１１０からの容器の検出された重量を、データベース１０６の中、または別様にメモリ１２４の中に記憶された、同一のタイプの容器の空のバージョンの既知の重量と比較するための命令等の命令を実行する。到達する容器の重量が、既知の空の重量よりも高い場合、容器は、非空として分類されてもよい。

いくつかの実施形態では、データベース１０６は、容器の既知の外観およびその容器の重量に関するデータを記憶してもよい。例えば、データベース１０６はまた、容器が空であるときの容器の底部の色、容器が空であるときの容器の音、容器が空であるときの容器の深度、および／またはこれが空であるときの容器に関する他の特徴を含んでもよい。

いくつかの実施形態では、システム１００は、センサ融合モジュール１１６を使用し、全ての主要な方向における長さが少なくとも０．５ｃｍの検出されたアイテムを処理してもよい。いくつかの実施形態では、センサ融合モジュール１１６は、全ての主要な方向における長さが少なくとも０．３ｃｍの検出されたアイテムを処理してもよい。いくつかの実施形態では、センサ融合モジュール１１６は、全ての主要な方向における長さが少なくとも０．７ｃｍの検出されたアイテムを処理してもよい。

アイテムが、重量センサ１１０がそれらを確実に検出し得ないほど十分に軽量である、または距離／深度センサ１１２がそれらを確実に検出にし得ないほど十分に小さいもの等のいくつかの状況では、システム１００は、摂動デバイス１３０との随意の組み合わせにおける、センサ１１０、１１２、および１１４ならびにセンサ融合モジュール１１６の組み合わせに依拠し、容器が空であるかどうかを判定してもよい。いくつかの実施形態では、距離／深度センサ１１２（単純化のために、「深度センサ１１２」）は、重量センサ１１０のみによって確実に検出可能ではない、軽量のアイテムを検出することができる。深度センサ１１２は、アイテムが、１つの深度センサ１１２によって視認されるときにそれらを非常に薄く見えるようにする方法において配向されていない限り、容器の中のアイテムを検出することができる。例えば、クレジットカードまたはマッチブックが、ある配向において、非常に薄く見え得る。しかしながら、複数の深度センサ１１２は、例えば、１つ以上の主要な寸法が少なくとも０．５ｃｍであるアイテムを検出することができる。

展開される深度センサ１１２の数は、サイズ、重量、電力、コンピューティングハードウェア、または費用の制約に応じて変動し得る。例えば、いくつかの実施形態では、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）等の単一の市販の（ＯＴＳ）深度センサが、容器面積の上方に搭載され、容器がロボットピッキングデバイス１０２にもたらされるにつれてその像を捕捉し得る。本構成では、深度センサ１１２は、容器内部全体を撮像するために十分に高いが、その中のアイテムを適正に感知し、アイテムと容器自体とを区別するために十分に近接して搭載されてもよい。

他の実施形態では、容器の内部の高忠実度の３次元（３Ｄ）再構築物を算出するための深度センサ１１２のアレイが、存在し得る。これは、高精度な検出を可能にするが、より高い経済上の統合および算出費用がかかる。深度センサ１１２のアレイは、容器の上部を中心として内側を向いて、または容器の底部に沿って搭載され、深度センサ１１２に近接して何かがあるかどうかを容易に検出してもよい。

深度センサ１１２の厳密な構成にかかわらず、センサ融合モジュール１１６は、幾何学および／または画像処理アルゴリズムを実行し、容器が空であるかどうかを検出し得る。容器の幾何学形状が、先験的に既知であると仮定して、これらのアルゴリズムは、深度センサ１１２によって視認される完全な３Ｄ空間を再構築することができ、センサ融合モジュール１１６は、反復最接近点（ＩＣＰ）等のオブジェクト整合アルゴリズムを使用して、その空間を位置特定することができる。いくつかの実施形態では、物流管理モジュール１０４およびデータベース１０６は、センサ融合モジュール１１６の中に組み込まれてもよく、ピッキングデバイス１０２上に共位置してもよい。

いったん容器空間が、位置特定されると、容器内部の予期される底部および／または壁からの逸脱が、使用され、容器を空もしくは非空であるものとして分類することができる。これは、単純な幾何学的推論を使用して行われ得る、または「空」もしくは「非空」の手動で判定された分類標識を用いて複数の画像の可用性を仮定して、センサ融合モジュール１１６は、深層学習技法を含む、機械学習技法、畳み込みニューラルネットワーク、および／または教師あり学習アルゴリズムを使用し、容器を分類する方法を学習することができる。

色カメラセンサ１１４（単純化のために、「色センサ１１４」）はまた、アイテムの検出を補助するための有益なデータを提供し得る。深度センサ１１２と同様に、色センサ１１４は、容器の内部のほぼ全ての中に観測性を提供し得る。

容器の中に観測性を提供する、較正された色センサ１１４のセットを前提として、いくつかの画像処理方法が、そうでなければ検出不可能である容器の中のアイテムを検出するために採用されることができる。例えば、センサ融合モジュール１１６は、バックグラウンド除去およびセグメント化等の視覚技法を使用し、容器が空であるときに容器のように見えない物体を見出し得る。加えて、または代替として、センサ融合モジュール１１６は、深層学習ベースの方法を使用し、容器から握持されるべき候補アイテムを発生させてもよい。

メモリ１２４上またはデータベース１０６の中に記憶される命令を実行するセンサ融合モジュール１１６またはある他の分析モジュール１２２は、重量センサ１１０、深度センサ１１２、および色センサ１１４のうちの少なくとも２つからのデータを融合し、容器が空であるかどうかを判定してもよい。いくつかの実施形態では、センサのうちの１つのみからのデータが、要求されてもよい。

センサ融合モジュール１１６は、単純な発見的手法に依拠してもよい（例えば、センサのうちのいずれかが、空状態を検出した場合、センサ融合モジュール１１６は、容器が空であると宣言するであろう）。しかしながら、複数のセンサの雑音性質が、時間的に、またはある他の潜在変数において相互と相関される場合、センサ融合モジュール１１６は、収集されたデータを処理するためのより厳格な方法に依拠してもよい。例えば、ある場合には、センサ融合モジュール１１６は、ベイズ推論を使用し、種々のセンサ間の任意の相関をモデル化し、考慮してもよい。センサ融合モジュール１１６は、例えば、異なるプロセスを、階層的なディリクレプロセスから導出される、バイナリ確率変数としてモデル化し、推定される混合パラメータを介してそれらの変数の相関を判定してもよい。センサ融合モジュール１１６はまた、深層学習技法を実行し、センサからのデータをニューラルネットワークへの複数の入力として組み合わせてもよい。センサ融合モジュール１１６は、次いで、分類関数を学習し、２つ以上のデータ入力を組み合わせてもよい。最適な選択肢は、センサ構成、先験的情報（例えば、容器モデルおよびそれらの記憶されたデータ）の忠実度、ならびにデータ／標識化品質に依存してもよい。

ある場合には、処理アルゴリズムは、受信された容器データに基づいて、容器が空である尤度に関する信頼度スコアを発生させてもよい。ある場合には、処理アルゴリズムは、容器の状態（すなわち、容器が空であるかどうか）の低信頼度の推定値のみを発生させてもよい。これは、例えば、小さい軽量の物体が、容器の縁または隅の近傍にあるとき、もしくは不十分な照明があるときに生じ得る。いくつかの実施形態では、処理アルゴリズムが、容器が空であるかどうかに関して確信していない（例えば、出力された信頼度値が、ある閾値を下回る）とき、ロボットピッキングデバイス１０２の摂動デバイス１３０が、容器を摂動させてもよい。ピッキングデバイス１０２の輸送デバイス１２０は、いくつかの実施形態では、摂動デバイス１３０として使用されてもよい。

例えば、ピッキングデバイス１０２は、容器を握持し、およびそれを振動させ、それ自体によって、または摂動デバイス１３０もしくは輸送デバイス１２０と併せて潜在的にその中にあるアイテムを移動させてもよい。ピッキングデバイス１０２は、それ自体によって、または摂動デバイス１３０もしくは輸送デバイス１２０と併せて容器の中のアイテムを握持してもよい。ピッキングデバイス１０２は、加えて、または代替として、処理アルゴリズムが、物体が存在するかどうかを確信を持って判定することが不可能であった面積の近傍の容器の中に直接達してもよい。触覚センサ１３４または撮像センサ１３６に結合される付加的な照明を伴う撮像センサ１３６は、より高い忠実度において（例えば、これらの面積により近接する、もしくは潜在的物体により近接して）感知し、アイテムが存在するかどうかを判定するように試みてもよい。

そのような感知が、利用可能ではない場合、システム１００は、摂動デバイス１３０を用いて潜在的アイテムを摂動させる、操作する、または別様に移動させ、容器が空であるかどうかをより容易に判定してもよい。いくつかの実施形態では、容器は、摂動デバイス１３０によってその側面または底部から摂動されてもよい。いったん容器が、摂動されると、適切なセンサが、データを再入手することができ、処理アルゴリズムが、再び実行され、スコアを発生させることができる。本プロセスは、いくつかの実施形態では、確信を持った判定が行われるまで反復されてもよい。

上記に議論されるように、返された信頼度スコアは、システム１００が容器が空であり得ると判定する前に、所定の閾値を上回る必要があり得る。いくつかの実施形態では、計算された信頼度スコアが、所定の閾値を下回る場合、システム１００は、データの第２のセットを収集してもよい。上記に議論されるように、システム１００は、摂動デバイス１３０または輸送デバイス１２０を用いて容器を摂動させ、次いで、摂動された容器に関するデータの第２のセットを収集してもよい。システム１００は、次いで、第２の信頼度スコアを計算してもよい。第２の信頼度スコアが、所定の閾値よりも高い場合、システム１００は、容器が空であると判定してもよい。

システム１００は、容器が空であると判定することに応じて、容器を１つの場所から別の場所に移動させてもよい。例えば、容器が、コンベヤベルト上にあり、本システムが、容器が空であると判定する場合、本システムは、コンベヤベルトを制御し、容器を保管場所に移動させてもよい。いくつかの実施形態では、システム１００は、空の容器を第２のコンベヤベルトに、または第２の場所に移動させ、より多くのアイテムで再充填されてもよい。

いくつかの実施形態では、第２の信頼度スコアが、所定の閾値よりも低い場合、本システムは、容器が空であるかどうかを手動で検証するように、人物に警告してもよい。加えて、または代替として、システム１００は、データ収集プロセスを繰り返してもよい。

ロボットピッキングデバイスは、容器からアイテムをピッキングする任務を負う、および／または容器の中にアイテムを設置する任務を負ってもよい。例えば、図２は、これらのタイプのロボットピッキングデバイスを採用し得る、例示的倉庫環境２００を図示する。図２に見られるように、ロボットピッキングデバイス２０２は、容器２０４からアイテムをピッキングする任務を負ってもよい。

図２は、空いている容器２０４を描写するが、ロボットピッキングデバイスは、異なるタイプの容器からアイテムをピッキングしてもよい。容器は、パーティションを有する、またはパーティションを有していなくてもよい。いくつかのパーティション化されたビンの中には、パーティションのうちのいくつかのもののみが、ピッキングするためのアイテムを含んでもよい。いくつかの実施形態では、ビン内の全てのパーティションが、ピッキングするためのアイテムを含んでもよい。容器は、任意のタイプの剛性または半剛性の容器を含んでもよい。他のタイプの容器は、これらに加えて、またはその代わりに、本明細書に説明されるシステムおよび方法と併せて使用されてもよい。

いくつかの実施形態では、容器２０４は、例えば、コンベヤベルト２０６上に位置してもよい。いくつかの実施形態では、コンベヤベルト２０６は、ロボットピッキングデバイス２０２が容器２０４からアイテムをピッキングしているとき、移動していてもよい。いくつかの実施形態では、コンベヤベルト２０６は、ロボットピッキングデバイス２０２が容器２０４からアイテムをピッキングしているとき、停止してもよい。

容器２０４が空であるかどうか（例えば、容器２０４の中のアイテム全てがピッキングされているかどうか）が不明瞭であるシナリオが、存在し得る。これらの事例では、ロボットピッキングデバイス２０２は、容器２０４を握持し、およびそれを振動させ、潜在的に容器の中にある任意のアイテムを移動させてもよい。センサは、ロボットピッキングデバイスのアクションの結果として移動するアイテムによって引き起こされる、雑音、視覚運動、または振動を検出してもよく、容器２０４が空ではないことを示す信号を送信してもよい。

図３は、ロボットピッキングデバイス３０２が容器３０４からアイテムをピッキングする任務を負う、別の例示的環境３００を図示する。これらのアイテムは、さらなる出荷または処理のために、容器装填場所３０６ならびに／もしくは出荷容器３０８等の場所の中に設置されてもよい。

本システムは、センサ（例えば、測量計、距離カメラ、ＲＧＢカメラ）のセットまたは同等物を含み、新規の処理アルゴリズムを実行し、これらのセンサモダリティからのデータを融合し、上記に議論されるように、容器が空であるかどうかを判定してもよい。使用されるセンサは、ピッキングデバイスのエンドエフェクタ（すなわち、手の部分）上に静的に搭載される、またはそれに取り付けられる、任意のタイプのカメラ（例えば、可視スペクトル型、赤外線型、ハイパースペクトル型、深度型等）を含んでもよい。

上記に議論されるように、本明細書に説明される実施形態は、ＲＧＢカメラ、距離センサ、重量センサ、深度センサ、または同等物からのデータを組み合わせ、種々の視覚処理ならびに／もしくは機械学習プロシージャを実行し、容器が空であるかどうかを判定してもよい。各感知モダリティはまた、容器の存在を検出するために使用されてもよい。容器が空であるかどうかを判定するように構成される、システムの例示的実施形態が、図６に示され、下記により詳細に説明される。

前述に議論されるように、本明細書に説明されるシステムおよび方法は、摂動デバイスを使用し、容器（または潜在的にその中にあるアイテム）を摂動させてもよく、摂動の結果として、センサを使用し、容器が空であるかどうかを判定してもよい。いくつかの実施形態では、ピッキングデバイス３０２は、摂動デバイスとしての役割を果たしてもよい。加えて、または代替として、摂動デバイスは、コンベヤベルト上、容器の下に位置する、もしくは別様に、ロボットピッキングデバイスと別個であってもよい。

いくつかの実施形態では、センサは、摂動の結果として音を検出してもよく、音は、容器が空ではないことを示す。加えて、または代替として、センサは、摂動からの振動を検出してもよく、振動は、容器が空ではないことを示す。加えて、または代替として、センサは、容器内の移動を検出してもよく、移動は、容器が空ではないことを示す。いくつかの実施形態では、これらのセンサのうちの１つ以上からの値が、種々のアルゴリズムを使用して組み合わせられ、容器が空であるかどうかを判定してもよい。

いくつかの実施形態では、本システムは、（摂動の結果である、または摂動を要求しないかどうかにかかわらず）容器が空でないことを判定してもよい。本システムが、容器が空でないと判定した場合、ピッキングシステムは、本システムが容器が空であると判定するまで、容器からアイテムをピッキングし続けてもよい。

いったんセンサおよび任意の関連付けられる処理デバイスが、容器が空であると検出すると、本システムは、新しい非空の容器がロボットピッキングデバイスにもたらされるように、コンベヤベルトを移動させること等のあるアクションを実施してもよい。または、他の実施形態では、本システムは、ピッキングデバイスを新しい非空の容器に移動させてもよい。ロボットピッキングデバイスは、新しい容器に対して、そのピッキング関連タスクを実施し続けてもよい。

図４は、一実施形態による、容器が空であるかどうかを検出する方法４００のフローチャートを描写する。ステップ４０２は、第１の場所において容器を受容することを伴う。本場所は、ロボットピッキングデバイスに近接するピッキング場所であってもよい。いくつかの実施形態では、本システムは、容器が第１の場所に存在することを検出してもよい。

ステップ４０４は、第１の場所における容器に関する容器データを収集するように構成される、１つ以上のセンサからの容器データを受信することを伴う。いくつかの実施形態では、センサは、容器に関連する重量データと、容器に関連する深度データと、容器に関連する色センサデータとのうちの少なくとも２つに関する容器データを収集するように構成される。いくつかの実施形態では、センサは、少なくとも１つの深度撮像センサと、少なくとも１つの色センサと、少なくとも１つの重量計センサとを備えてもよい。１つのセンサは、少なくとも２つのタイプのデータを収集するように構成されてもよい。これらのセンサは、それぞれ、容器が空であるかどうかを判定するために使用され得る、容器に関するデータを提供してもよい。いくつかの実施形態では、これらのセンサは、データをプロセッサに送信してもよい。

ステップ４０６において、プロセッサが、メモリ上に記憶される命令を実行し、センサ融合モジュールを提供し、受信された容器データを処理し、容器が空であるかどうかを判定する。センサ融合モジュールは、上記に議論される技法のうちのいずれか１つ以上を実行し、容器が空であるかどうかを判定してもよい。

図５は、発生された信頼度スコアに基づいて容器と相互作用するための方法５００のフローチャートを描写する。ステップ５０２は、随意であり、容器を摂動させることと、摂動された容器に関するデータをプロセッサに送信することとを伴う。いくつかの実施形態では、容器は、ピッキングデバイスが容器を握持し、容器を摂動させる場合等、ピッキングデバイスによって摂動されてもよい。いくつかの実施形態では、容器は、第２のデバイスによって摂動されてもよい。いくつかの実施形態では、図５の方法を実行するシステムが、プロセッサを使用し、容器が摂動されたときの容器の音、容器が摂動されたときの容器内のいずれかの移動、または容器が摂動されたときの容器からのいずれかの振動等の摂動された容器についてのデータを受信してもよい。

ステップ５０４は、受信されたデータに基づいて信頼度スコアを発生させ、容器が空であるかどうかを判定することを伴う。いくつかの実施形態では、信頼度スコアは、ステップ５０２において受信されたデータに基づいてもよい。いくつかの実施形態では、信頼度スコアは、容器と関連付けられる、重量、深度、および色データのうちの少なくとも２つに基づいてもよい。いくつかの実施形態では、信頼度スコアは、容器が摂動されたときの容器の重量、深度、色、または音、もしくはそれらの任意の組み合わせに基づいてもよい。

いくつかの実施形態は、プロセッサを用いて、受信されたデータを分析してもよい。いくつかの実施形態では、プロセッサは、所定の閾値よりも高い信頼度スコアを発生させてもよい。所定の閾値よりも高い信頼度スコアが、容器が空であることを示してもよい（ステップ５０６）。随意のステップ５０８において、図５に示される方法を実行するシステムは、容器が空であると判定することに応じて、第１の場所から容器を自律的に除去してもよい。ステップ５０８において、コンベヤベルトが、容器を第１の場所から第２の場所に移動させてもよい。いくつかの実施形態では、図３のロボットピッキングデバイス３０２等のピッキングデバイスが、容器を第１の場所から空の容器のための保管庫等の第２の場所に移動させてもよい。いくつかの実施形態では、ステップ５０８は、アイテムで最充填されるように空の容器を第２の場所に自律的にもたらすデバイスを伴ってもよい。

図６は、一実施形態による、摂動動作を実施する、ロボットピッキングデバイス６００を描写する。いくつかの実施形態では、ロボットピッキングデバイスが、基部６１４と、デバイス６００を移動させるための枢軸６１２、６２０、および６２６において接続される、複数のアーム区画６１０、６２２とを有してもよい。いくつかの実施形態では、ヘッド部分６０２が、容器６０６の中のアイテムを摂動させるための把持部を含んでもよい。いくつかの実施形態では、ヘッド部分６０２は、完全な並進および回転の自由度を有してもよい。ロボットピッキングデバイス６００は、ヘッド部分６０２を容器６０６の中に降下させ、ヘッド６０２をその中に水平または垂直に移動させることによって、容器６０６の中のアイテムを摂動させてもよい。ヘッド部分６０２の把持部はまた、容器６０６の縁を握持し、容器６０６を振動させ、アイテムが容器６０６の中に留まっているかどうかを判定してもよい。ヘッド部分６０２の把持部はまた、容器６０６の中のアイテムを握持し、容器６０６からアイテムを除去してもよい。いくつかの実施形態では、センサが、ロボットピッキングデバイス６００の基部６１４の中、またはロボットピッキングデバイス６００のアームに沿って位置してもよい。センサは、上記の図５に説明されるように、プロセッサにデータを送信し、受信されたデータに基づいて、容器６０６が空である信頼度スコアを発生させてもよい。

いくつかの実施形態では、プロセッサは、所定の閾値よりも低い信頼度スコアを発生させてもよい。所定の閾値よりも低い信頼度スコアは、容器が空ではないこと、または図５に示される方法を実行するシステムが、容器が空であると確実に判定し得ないことを示し得る。この場合では、方法５００は、容器から少なくとも１つのアイテムを除去するように試みることを伴う、ステップ５１０に進んでもよい。ステップ５１２は、次いで、容器を摂動させることと、摂動された容器に関するデータの第２のセットを収集することとを伴う。いくつかの実施形態では、ステップ５１２において収集されたデータは、容器が摂動されるときに容器が発する音、容器が摂動されるときの容器からのいずれかの振動、容器が摂動されるときのいずれかの視覚的に検出された移動、またはそれらの任意の組み合わせのうちの少なくとも１つを含んでもよい。いくつかの実施形態では、図５に示される方法を実行するシステムが、摂動された容器に関するデータの第２のセットを収集すると、本システムは、次いで、ステップ５１４によって示されるようにステップ５０４を繰り返し、受信されたデータに基づいて第２の信頼度スコアを発生させてもよい。

いくつかの実施形態では、プロセスが、時間がかかりすぎる、または信頼度スコアがある回数の反復にわたって所定の閾値よりも低い場合、容器が、手動でチェックされ、容器が空であるかどうかを判定してもよい。

上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、適宜、種々の手順または構成要素を省略、代用、もしくは追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、その種々のステップは、追加される、省略される、または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素が、類似する様式で組み合わせられてもよい。また、技術は、進歩し、したがって、要素のうちの多くは、実施例であり、本開示または請求項の範囲を限定しない。

例えば、本開示の実施形態は、本開示の実施形態による、方法、システム、およびコンピュータプログラム製品のブロック図ならびに／もしくは動作図を参照して上記に説明される。ブロック内に記述される機能／行為は、任意のフローチャートに示されるような順序以外で行われてもよい。例えば、連続して示される２つのブロックは、実際には、実質的に並行して実行されてもよい、またはブロックは、時として、関与する機能性／行為に応じて、逆の順序で実行されてもよい。加えて、または代替として、任意のフローチャートに示されるブロックの全てが、実施および／または実行される必要があるわけではない。例えば、所与のフローチャートが、機能／行為を含有する５つのブロックを有する場合、５つのブロックのうちの３つのみが、実施および／または実行される場合があり得る。本実施例では、５つのブロックのうちの３つのうちのいずれかが、実施および／または実行されてもよい。

ある値が第１の閾値を超える（またはそれを上回る）という文言は、その値が第１の閾値をわずかに上回る第２の閾値を満たす、または超えるという文言と同等であり、例えば、第２の閾値は、関連するシステムの分解能において第１の閾値よりも１つ高い値である。ある値が第１の閾値を下回る（またはそれ以内である）という文言は、その値が第１の閾値よりもわずかに低い第２の閾値を下回る、またはそれに等しいという文言と同等であり、例えば、第２の閾値は、関連するシステムの分解能において第１の閾値よりも１つ低い値である。

具体的詳細が、例示的構成（実装を含む）の徹底的な理解を提供するために説明において与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を不明瞭にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、適用性、または構成を限定しない。むしろ、構成の先述の説明は、当業者に、説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列において行われてもよい。

いくつかの例示的構成を説明したが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく使用されてもよい。例えば、上記の要素は、より大きいシステムの構成要素であってもよく、他のルールが、本開示の種々の実装または技法の適用に優先する、もしくは別様にそれを修正してもよい。また、いくつかのステップは、上記の要素が考慮される前、その間、またはその後に行われてもよい。

本願の説明および例証を提供したが、当業者は、以下の請求項の範囲から逸脱しない、本願に議論される一般的な発明的概念内に該当する変形例、修正、および代替実施形態を想定し得る。

Claims (20)

1. 容器が空であるかどうかを検出する方法であって、前記方法は、
   第１の場所において容器を受容することと、
   複数のセンサから容器データを受信することであって、前記容器データは、
   前記容器に関連する重量データと、
   前記容器に関連する深度データと、
   前記容器に関連する色センサデータと
   のうちの少なくとも２つを含む、ことと、
   メモリ上に記憶される命令を実行し、かつセンサ融合モジュールを提供する、プロセッサを使用して、前記受信された容器データを処理し、前記容器が空であるかどうかを判定することと、
   前記センサ融合モジュールが前記容器が空であると判定することに応じて、前記第１の場所から前記容器を自律的に除去することと
   を含む、方法。
2. 前記容器を摂動させることと、
   前記容器を摂動させた後に、前記容器が空ではないと判定することと、
   前記容器が空ではないと判定した後に、前記容器から少なくとも１つのアイテムを除去することと
   をさらに含む、請求項１に記載の方法。
3. 前記容器が空である尤度に関する信頼度スコアを発生させることをさらに含み、前記信頼度スコアは、前記受信された容器データに基づく、請求項１に記載の方法。
4. 前記信頼度スコアが所定の閾値未満であると判定することに応じて、前記容器を摂動させることと、
   前記摂動された容器に関するデータの第２のセットを収集することと、
   前記データの第２のセットを分析し、前記容器が空である第２の尤度に関する第２の信頼度スコアを発生させることと
   をさらに含む、請求項３に記載の方法。
5. 前記容器は、コンベヤベルト上にあり、前記方法はさらに、前記信頼度スコアが所定の閾値を上回ると判定することに応じて、前記容器を前記コンベヤベルトを用いて前記第１の場所から第２の場所に移動させることを含む、請求項３に記載の方法。
6. 前記容器が前記第１の場所に存在することを検出することをさらに含む、請求項１に記載の方法。
7. 前記複数のセンサは、前記重量データ、前記深度データ、および前記色センサデータのうちの少なくとも２つを提供するために使用され、前記複数のセンサは、ロボットピッキングデバイスと共位置する、請求項１に記載の方法。
8. 前記受信された容器データを、前記メモリ上に記憶される、前記容器の既知の重量データまたは前記容器の既知の外観データのうちの少なくとも一方と比較し、前記容器が空であるかどうかを判定することをさらに含む、請求項１に記載の方法。
9. 感知モダリティを使用し、全ての主要な方向における長さが少なくとも０．５ｃｍのアイテムを検出することをさらに含む、請求項１に記載の方法。
10. ロボットピッキングデバイスを用いて前記容器を握持し、およびそれを振動させ、前記容器の中のアイテムを移動させることをさらに含む、請求項１に記載の方法。
11. 容器が空であるかどうかを検出するためのシステムであって、前記システムは、
    第１の場所において容器に関する容器データを収集するように構成された複数のセンサであって、前記容器データは、
    前記容器に関連する重量データと、
    前記容器に関連する深度データと、
    前記容器に関連する色センサデータと
    のうちの少なくとも２つを含む、複数のセンサと、
    メモリ上に記憶される命令を実行することと、受信された容器データを処理し、前記容器が空であるかどうかを判定するように構成されている、センサ融合モジュールを提供することとを行うように構成されている、プロセッサと
    を備える、システム。
12. 前記容器を摂動させるように構成されたピッキングデバイスをさらに備える、請求項１１に記載のシステム。
13. 前記ピッキングデバイスはさらに、前記容器を握持し、前記容器の中のアイテムを移動させるように構成されている、請求項１２に記載のシステム。
14. 前記メモリは、既知の重量データおよび既知の外観データのうちの少なくとも一方を記憶し、前記プロセッサは、前記記憶されたデータを前記受信された容器データと比較し、前記容器が空であるかどうかを判定するように構成されている、請求項１１に記載のシステム。
15. 前記容器は、コンベヤベルト上に位置し、前記コンベヤベルトは、前記センサ融合モジュールが前記容器が空であると判定することに応じて、前記容器を前記第１の場所から第２の場所に移動させるように構成されている、請求項１１に記載のシステム。
16. 前記プロセッサはさらに、前記容器が空である尤度に関する信頼度スコアを発生させるように構成されている、請求項１１に記載のシステム。
17. 前記プロセッサはさらに、
    前記信頼度スコアが所定の閾値未満であると判定することに応じて、信号を送信し、前記容器を摂動させることと、
    前記複数のセンサを用いて、前記摂動された容器に関するデータの第２のセットを収集することと、
    前記データの第２のセットを分析することと、
    前記容器が空である第２の尤度に関する第２の信頼度スコアを発生させることと
    を行うように構成されている、請求項１６に記載のシステム。
18. 少なくとも１つのピッキングデバイスと通信するように構成されたインターフェースをさらに備える、請求項１１に記載のシステム。
19. 前記複数のセンサは、ピッキングデバイス上に共位置する、請求項１１に記載のシステム。
20. 前記複数のセンサは、複数の相互接続されたセンサを含む、請求項１１に記載のシステム。

Images