JP2020116726A - 移送ロボットの操作方法、移送ロボットを操作するためのシステム、有形の非一時的なコンピュータ可読媒体 - Google Patents

移送ロボットの操作方法、移送ロボットを操作するためのシステム、有形の非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
JP2020116726A
JP2020116726A JP2019079502A JP2019079502A JP2020116726A JP 2020116726 A JP2020116726 A JP 2020116726A JP 2019079502 A JP2019079502 A JP 2019079502A JP 2019079502 A JP2019079502 A JP 2019079502A JP 2020116726 A JP2020116726 A JP 2020116726A
Authority
JP
Japan
Prior art keywords
target object
grip
motion plan
gripper
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019079502A
Other languages
English (en)
Other versions
JP6678911B1 (ja
Inventor
デアンコウ,ロセン
Diankov ROSEN
リュウ,フアン
Huan Liu
カヌニコフ,デニス
Kanunikov Denys
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Priority to JP2020029846A priority Critical patent/JP7349094B2/ja
Application granted granted Critical
Publication of JP6678911B1 publication Critical patent/JP6678911B1/ja
Publication of JP2020116726A publication Critical patent/JP2020116726A/ja
Priority to JP2023139633A priority patent/JP2023155399A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0004Gripping heads and other end effectors with provision for adjusting the gripped object in the hand
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0019End effectors other than grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/0683Details of suction cup structure, e.g. grooves or ridges
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39107Pick up article, object, measure, test it during motion path, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45063Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボットの様々な態様を制御及び管理するための、向上した技術及びシステムを提供する。【解決手段】ベースとなるモーションプランを計算する。ベースとなるモーションプランは、ロボットアーム及びグリッパを操作して、ターゲットとなる対象をスタート位置から作業位置に移送する、コマンドもしくは設定、またはそれらの組合せのシークエンスを含む。ベースとなるモーションプランを実行している間に、ターゲットとなる対象上のグリッパのグリップの量を示す接触基準を受領する。接触基準が閾値を満たさない場合に、ベースとなるモーションプランから外れた1つまたは複数のアクチュエータコマンド/設定を生成する。その1つまたは複数のアクチュエータコマンド/設定が、ロボットアーム、グリッパ、またはそれらの組合せを操作して、ベースとなるモーションプランに含まれない1つまたは複数の応答動作を実行するように構成されている。【選択図】図5

Description

本技術は概して、ロボットシステムを対象とし、より詳細には、ピースロスのシナリオを検出及び管理するためのシステム、プロセス、及び技術を対象とする。
多くのロボット(たとえば、自動的に/独立して物理的動作を実行するように構成されたマシン)は、その絶えず向上する性能及び低下するコストにより、現在、多くの分野で広く使用されている。たとえば、ロボットは、製造及び/または組立て、パッキング及び/またはパッケージング、移送及び/または輸送などにおいて、様々な作業(たとえば、空間を通しての対象の操縦または移動)を実行するように使用することができる。作業の実行において、ロボットは、人間の動作を反復することができ、それにより、そうでなければ危険又は反復的な作業を行うことが要求される人間の関与を置き換えたり、低減したりする。
しかし、技術的な進歩に関わらず、ロボットはしばしば、より複雑な作業を実行するために必要な人間の感受性及び/または適応性を複製するのに必要な洗練さが欠如している。たとえば、ロボットのエンドエフェクタ(たとえば、ロボットハンドまたはグリッパ)は、しばしば、接触センサの感度の不足及び/または力の制御における不十分な粒度(granularity)に起因して、比較的柔らかく、及び/または、不規則な表面を持つ対象を把持することが困難である。また、たとえば、ロボットは、しばしば、適応性の欠如に起因して、ターゲットとなる条件/シナリオの外の条件または状況に対処することができない。したがって、ロボットの様々な態様を制御及び管理するための、向上した技術及びシステムが必要とされている。
ピースロス管理メカニズムを有するロボットシステムが作動し得る例示的環境を示す図である。 本技術の1つまたは複数の実施形態に係るロボットシステムを示すブロック図である。 本技術の1つまたは複数の実施形態に係るグリップ状態の例を示す図である。 本技術の1つまたは複数の実施形態に係るグリップ状態のさらなる例を示す図である。 本技術の1つまたは複数の実施形態に係るロボットシステムによって実行される例示的作業を示す上面図である。 本技術の1つまたは複数の実施形態に係る、図1のロボットシステムを作動するためのフロー図である。
ピースロス管理メカニズムを有するロボットシステムのためのシステム及び方法が、本明細書に記載されている。いくつかの実施形態に従って構成されたロボットシステム(たとえば、1つまたは複数の専用の作業を実行するデバイスの統合システム)は、接触基準に従って、ターゲットとなる対象について粒度の細かい制御/操縦を実施することにより、ピースロス管理を行う。1つまたは複数のセンサを使用することにより、ロボットシステムは、エンドエフェクタに対するターゲットとなる対象の安定性に対応する、量子化された接触量を示す接触基準を判定することができる。換言すると、接触基準は、エンドエフェクタがターゲットとなる対象に対して有する、量子化されたグリップ量を示すことができる。接触基準に基づき、ロボットシステムは、ターゲットとなる対象を再度グリップし、指定された位置においてターゲットとなる対象の制御されたドロップを実行し、モーションプランを選択及び/または調整し、または、それらの組合せを行うことができる。
ロボットシステムは、ターゲットとなる対象を操縦すること(たとえば、物理的移動及び/または再度の方向付け)に基づいて、作業を実行するように構成することができる。たとえば、ロボットシステムは、供給元(たとえば、大箱、パレット、またはコンベアベルト)の位置からターゲットとなる対象を取り上げ、それを目的地の位置に移動させることに基づき、様々な対象を並び替え又は置き換えることができる。いくつかの実施形態では、ターゲットとなる対象を操縦するために、ロボットシステムは、ロボットアームに操作可能に接続されたグリッパを備えることができる。グリッパは、ロボットアームに対してターゲットとなる対象を添付するように構成することができる。換言すると、ロボットシステムは、グリッパを(たとえば、1つまたは複数の関連するモータ/アクチュエータ及びセンサを介して)操作して、ターゲットとなる対象を把持し、この対象をロボットアームに対して保持することができる。ロボットシステムは、ロボットアームを同様に操作して、グリッパ、このグリッパに保持されたターゲットとなる対象、またはそれらの組合せを操縦することができる。
作業を実行するために、いくつかの実施形態では、ロボットシステムは、ターゲットとなる対象の位置及び/またはポーズ(たとえば、休止している向き)、及び/または、ターゲットとなる対象の周りの環境を識別するために使用される、撮像デバイス(たとえば、カメラ、赤外センサ/カメラ、レーダー、ライダーなど)を備えることができる。前記位置、ポーズ、またはそれらの組合せに応じて、ロボットシステムは、作業を実行するためのモーションプラン(たとえば、1つまたは複数のリンク及び/またはジョイントを移動させるためのアクチュエータに関する制御のシークエンス)を実施することができる。たとえば、ターゲットとなる対象の並び替え及び/または置き換えのために、モーションプランは、最初に供給元の位置でターゲットとなる対象をグリップすること、空間にわたって対象を操縦すること、及び、対象を目的地の位置に置くことに対応することができる。
しかし、いくつかの状況では、ターゲットとなる対象上のグリッパのグリップ(たとえば、固定の程度)が、作業の実行の間、不足する場合がある。結果として、ターゲットとなる対象は、グリッパに対して移動する又はシフトする場合がある。いくつかのケースでは、グリップの欠如は、操縦の間にグリッパがターゲットとなる対象を落とす又は制御を失う場合など、ピース(たとえば、目的地の位置及び/または意図されたポーズに置かれなかったターゲットとなる対象)を失うことにつながる場合がある。グリップの欠如は、たとえば、操縦によって生じる、ターゲットとなる対象に印加された力、及び/または、ターゲットとなる対象の慣性、ターゲットとなる対象(たとえば、ボックス、もしくはボックス内の内容物)のシフト、またはそれらの組合せによって生じる場合がある。また、たとえば、グリップの欠如は、撮像メカニズムの較正エラーによって生じる場合がある。
従前のマニピュレータ(たとえば、ピッカーロボット)は、しばしば、作業から外れない、比較的固定されたモーションプランを実施する。従来のマニピュレータが対象の様々な位置及び/またはポーズに対処する場合があるが、いったん対象がピックアップされると、目的地の位置/方向に対象を操縦するためのモーションプランは不変のままである。これに対し、以下に記載のロボットシステムの様々な実施形態は、(たとえば、ターゲットとなる対象がグリップされている場合、及び/または、作業を実行している間に)接触基準(たとえば、グリップの量または程度)を判定し、それに応じて、ターゲットとなる対象について粒度の細かい制御/操縦を実施するように構成されている。接触基準の判定及び粒度の細かい制御/操縦を、以下に詳細に記載する。
以下では、複数の特定の詳細が、本開示の技術を完全に理解させるために説明される。他の実施形態では、本明細書で導入された技術を、それら特定の詳細を伴わずに実施することができる。他の例では、特定の機能またはルーチンなど、よく知られている機能は、本開示を不要にわかりにくくすることを避けるために詳細には記載されない。本記載における「実施形態(an embodiment)」、「1つの実施形態(one embodiment)」などの参照は、記載の特定の特徴、構造、材料、または特性が、本開示の少なくとも1つの実施形態に含まれていることを意味している。このため、本明細書におけるそのようなフレーズの表示は、必ずしも、すべてが同じ実施形態を参照してはいない。一方、そのような参照は、必ずしも相互に排他的であることもない。さらに、特定の特徴、構造、材料、または特性は、1つまたは複数の実施形態において、任意の適切な方式で組み合わせることができる。図示の様々な実施形態は、説明的表示に過ぎず、必ずしも正寸して示されていないことを理解されたい。
よく知られていてかつロボットシステム及びサブシステムとしばしば関連付けられる構造またはプロセスであって、開示の技術のいくつかの顕著な態様を不要に妨げ得る構造またはプロセスを記載するいくつかの詳細は、明確化の目的のために、以下の記載では説明されない。さらに、以下の開示が、本技術の様々な態様のいくつかの実施形態を説明しているが、いくつかの他の実施形態が、このセクションで記載のものとは異なる構成、または異なる構成要素を有することができる。したがって、開示の技術は、追加の要素を伴うか、以下に記載の要素のいくつかを伴わない、他の実施形態を有することができる。
以下に記載の、本開示の多くの実施形態または態様は、プログラム可能なコンピュータまたはコントローラによって実行されるルーチンを含み、コンピュータで実行可能であるか又はコントローラで実行可能である命令の形態を取ることができる。関連技術の当業者には、開示の技術が、以下に示すもの及び記載するもの以外のコンピュータまたはコントローラのシステムで実施され得ることを理解されたい。本明細書に記載の技術は、以下に記載のコンピュータで実行可能な1つまたは複数の命令を実行するように、明確にプログラムされたか、構成されたか、構築された、特定用途のコンピュータまたはデータプロセッサ内で実施することができる。したがって、本明細書で通常使用される「コンピュータ(computer)」及び「コントローラ(controller)」との用語は、任意のデータプロセッサに言及し、インターネットの装置及びハンドヘルドデバイス(パームトップ型コンピュータ、ウェアラブルコンピュータ、セルラまたは移動電話、複数プロセッサシステム、プロセッサベースであるかプログラム可能な家庭用電気機械器具、ネットワークコンピュータ、ミニコンピュータなどを含む)を含むことができる。これらコンピュータ及びコントローラによって扱われる情報は、液晶ディスプレイ(LCD)を含む、任意の適切な表示媒体に提供することができる。コンピュータまたはコントローラで実行可能な作業を実行するための命令は、ハードウェア、ファームウェア、またはハードウェアとファームウェアとの組合せを含む、任意の適切なコンピュータ可読媒体に記憶することができる。命令は、たとえば、フラッシュドライブ、USBデバイス、及び/または他の適切な媒体を含む、任意の適切なメモリデバイスに包含することができる。
「結合された(coupled)」及び「接続された(connected)」との用語は、その派生形とともに、構成要素間の構造的な関係を記載するために、本明細書で使用することができる。これらの用語が、互いに関して同義であることは意図されていないことを理解されたい。むしろ、特定の実施形態では、「接続された(connected)」は、2つ以上の要素が互いに直接接触していることを示すために使用することができる。文脈から別様に明確にされていない限り、「結合された(coupled)」との用語は、2つ以上の要素が直接的か(それらの間に他の介在要素を伴って)間接的に互いに接触していること、または、(たとえば、信号の送信/受信、もしくは、関数呼び出しに関するものなど、因果関係にあるように)2つ以上の要素が互いに協同するか相互作用すること、またはその両方を示すために使用することができる。
適切な環境
図1は、ピースロス管理メカニズムを有するロボットシステム100が作動し得る例示的環境を示す図である。ロボットシステム100は、1つまたは複数の作業を実行するように構成された、1つまたは複数の構造物(たとえば、ロボット)を備えている。ピースロス管理メカニズムの態様は、様々な構造によって実行または実施することができる。
図1に示す例に関し、ロボットシステム100は、倉庫または分配/輸送ハブ内に、荷降しユニット102、移送ユニット104、輸送ユニット106、荷積みユニット108、またはそれらの組合せを備えることができる。ロボットシステム100における各々のユニットは、1つまたは複数の作業を実行するように構成することができる。これら作業は、倉庫に貯蔵するために、対象をトラックまたはバンから荷降しするか、対象を貯蔵位置から荷降しして、それら対象を輸送のためにトラックまたはバンに荷積みするなど、目的を達成する操作を実施するように、シークエンスにおいて組み合わせることができる。別の例に関し、作業には、1つのコンテナから別のコンテナに対象を移動させることを含むことができる。各々のユニットは、作業を実行するために、作業のシークエンス(たとえば、1つまたは複数の内部の構成要素を操作すること)を実行するように構成することができる。
いくつかの実施形態では、作業は、ターゲットとなる対象112(たとえば、ボックス、ケース、ケージ、パレットなど)の、スタート位置114から作業位置116への操縦(たとえば、移動及び/または再配置)を含むことができる。たとえば、荷降しユニット102(たとえば、デバンニングロボット)は、キャリア(たとえば、トラック)のある位置から、コンベアベルトのある位置まで、ターゲットとなる対象112を移送するように構成することができる。また、移送ユニット104(たとえば、パレットに載せるロボット)は、輸送ユニット106のパレットの上に、ターゲットとなる対象112を積載するなどのために、コンベアベルト上のある位置から、輸送ユニット106上のある位置にターゲットとなる対象112を移送するように構成することができる。別の例に関し、移送ユニット104(たとえば、ピースピッキングロボット)は、1つのコンテナから別のコンテナにターゲットとなる対象112を移送するように構成することができる。操作を完了する際には、輸送ユニット106は、ターゲットとなる対象112を、移送ユニット104に関連するエリアから、荷積みユニット108に関連するエリアに移送することができ、荷積みユニット108は、ターゲットとなる対象112を、(たとえば、ターゲットとなる対象112を載せたパレットを移動することにより)移送ユニット104から貯蔵位置(たとえば、棚上のある位置)に移送することができる。以下に、作業及び関連する動作に関する詳細を記載する。
説明の目的のために、ロボットシステム100は、輸送センターの文脈で記載するが、ロボットシステム100は、製造、組立て、パッケージング、ヘルスケア、及び/または他のタイプのオートメーションなど、他の環境/目的で作業を実行するように構成することができることを理解されたい。ロボットシステム100は、図1に示されていない、マニピュレータ、サービスロボット、モジュール式ロボットなどの、他のユニットを含むことができることも理解されたい。たとえば、いくつかの実施形態では、ロボットシステム100は、ケージカートまたはパレットから、コンベアまたは他のパレットに対象を移送するための、パレットから降ろすユニット、1つのコンテナから別のコンテナに対象を移送するためのコンテナ切替えユニット、対象をラッピングするためのパッケージングユニット、対象の1つまたは複数の特性に応じて対象をグループ化するための並び替えユニット、対象の1つまたは複数の特性に応じて様々に対象を操縦するため(たとえば、並び替え、グループ化、及び/または移送のため)のピースピッキングユニット、またはそれらの組合せを含むことができる。
適切なシステム
図2は、本技術の1つまたは複数の実施形態に係るロボットシステム100を示すブロック図である。いくつかの実施形態では、たとえば、ロボットシステム100(たとえば、上述のユニット及び/またはロボットの1つまたは複数におけるシステム)は、1つもしくは複数のプロセッサ202、1つもしくは複数のストレージデバイス204、1つもしくは複数の通信デバイス206、1つもしくは複数の入力−出力デバイス208、1つもしくは複数の作動デバイス212、1つもしくは複数の移送モータ214、1つもしくは複数のセンサ216、またはそれらの組合せなどの、電子デバイス/電気デバイスを備えることができる。その様々なデバイスは、有線接続及び/または無線接続を介して互いに結合することができる。たとえば、ロボットシステム100は、システムバス、周辺部品相互接続(PCI)バスまたはPCI−エクスプレスバス、HyperTransportまたは産業標準構成(ISA)バス、小型コンピュータシステムインターフェース(SCSI)バス、ユニバーサルシリアルバス(USB)、IIC(I2C)バス、または電気電子技術者協会(IEEE)規格1394のバス(「Firewire」とも呼ばれる)などのバスを含むことができる。また、たとえば、ロボットシステム100は、デバイス間の有線接続を提供するための、ブリッジ、アダプタ、コントローラ、または他の信号に関するデバイスを含むことができる。無線接続は、たとえば、セルラ通信プロトコル(たとえば、3G、4G、LTE、5Gなど)、無線ローカルエリアネットワーク(LAN)プロトコル(たとえば、忠実な無線通信環境(wireless fidelity(WIFI))、ピアツーピアまたはデバイスツーデバイスの通信プロトコル(たとえば、Bluetooth(登録商標)、Near−Field通信(NFC)など)、モノのインターネット(IoT)プロトコル(たとえば、NB−IoT、LTE−Mなど)、及び/または、他の無線通信プロトコルに基づくものとすることができる。
プロセッサ202は、ストレージデバイス204(たとえばコンピュータメモリ)に記憶された命令(たとえば、ソフトウェア命令)を実行するように構成されたデータプロセッサ(たとえば、中央処理ユニット(CPU)、特定用途のコンピュータ、及び/またはオンボードサーバ)を含むことができる。プロセッサ202は、他のデバイスを制御/相互作用するようにプログラム命令を実施することができ、それにより、ロボットシステム100に、動作、作業、及び/または操作を実行させる。
ストレージデバイス204は、そこに記憶されたプログラム命令(たとえば、ソフトウェア)を有する非一時的なコンピュータ可読媒体を含むことができる。ストレージデバイス204のいくつかの例には、揮発性メモリ(たとえば、キャッシュ及び/またはランダムアクセスメモリ(RAM)及び/または不揮発性メモリ(たとえば、フラッシュメモリ及び/または磁気ディスクドライブ)を含むことができる。ストレージデバイス204の他の例には、ポータブルメモリドライブ及び/またはクラウドストレージデバイスを含むことができる。
いくつかの実施形態では、ストレージデバイス204は、処理結果及び/または所定のデータ/閾値をさらに記憶するとともにアクセスを提供するために使用することができる。たとえば、ストレージデバイス204は、ロボットシステム100によって操縦され得る対象(たとえば、ボックス、ケース、及び/または製品)の記載を含むマスターデータを記憶することができる。1つまたは複数の実施形態では、マスターデータは、ロボットシステム100によって操縦されると予期される対象に関する、寸法、形状(たとえば、可能性のあるポーズに関するテンプレート、及び/または、異なるポーズの対象を認識するための、コンピュータで生成されたモデル)、カラースキーム、イメージ、識別情報(たとえば、バーコード、クイックレスポンス(QR)コード(登録商標)、ロゴなど、及び/または、それらの予期される位置)、予期される重さ、またはそれらの組合せを含むことができる。いくつかの実施形態では、マスターデータは、対象各々の質量中心の位置、1つまたは複数の動作/動きに応じた、予期されるセンサの測定値(たとえば、力、トルク、圧力、及び/または接触基準値に関する)、またはそれらの組合せなどの、対象に関する操縦関連情報を含むことができる。また、たとえば、ストレージデバイス204は、対象の追跡データを記憶することができる。いくつかの実施形態では、対象の追跡データには、スキャン又は操縦された対象のログが含まれ得る。いくつかの実施形態では、対象の追跡データには、1つまたは複数の位置(たとえば、指定されたピックアップ位置またはドロップ位置、及び/またはコンベアベルト)における対象の撮像データ(たとえば、写真、ポイントクラウド、ライブビデオの提供など)が含まれ得る。いくつかの実施形態では、対象の追跡データには、1つまたは複数の位置における対象の位置及び/または向きが含まれ得る。
通信デバイス206は、外部または遠隔のデバイスとネットワークを介して通信するように構成された回路を含むことができる。たとえば、通信デバイス206は、受信機、送信機、調整器/復調器(モデム)、信号検出器、信号エンコーダ/デコーダ、コネクタポート、ネットワークカードなどを含むことができる。通信デバイス206は、1つまたは複数の通信プロトコル(たとえば、インターネットプロトコル(IP)、無線通信プロトコルなど)に応じて電気信号を送信、受信、及び/または処理するように構成することができる。いくつかの実施形態では、ロボットシステム100は、ロボットシステム100のユニット間での情報の交換、及び/または、ロボットシステム100の外のシステムもしくはデバイスとの(たとえば、レポート、データの収集、分析、及び/またはトラブルシューティングの目的のための)情報の交換をするように、通信デバイス206を使用することができる。
入力−出力デバイス208は、人間のオペレータとの情報の通信及び/または人間のオペレータからの情報の受信を行うように構成されたユーザインターフェースデバイスを含むことができる。たとえば、入力−出力デバイス208は、人間のオペレータに情報を通信するためのディスプレイ210及び/または他の出力デバイス(たとえば、スピーカ、触覚回路、またはタクティールフィードバックデバイスなど)を含むことができる。また、入力−出力デバイス208は、キーボード、マウス、タッチスクリーン、マイク、ユーザインターフェース(UI)センサ(たとえば、モーションコマンドを受信するためのカメラ)、ウェアラブル入力デバイスなどの、制御または受信デバイスを含むことができる。いくつかの実施形態では、ロボットシステム100は、動作、作業、操作、またはそれらの組合せを実行する際に、入力−出力デバイス208を使用して、人間のオペレータと相互作用することができる。
ロボットシステム100は、モーション(たとえば、回転及び/または平行移動の変位)のためにジョイントで接続された、物理的なまたは構造的な部材(たとえば、ロボットマニピュレータアーム)を含むことができる。構造的部材及びジョイントは、ロボットシステム100の使用/操作に応じた1つまたは複数の作業(たとえば、グリップ、スピン、溶接など)を実行するように構成されたエンドエフェクタ(たとえば、グリッパ)を操縦するように構成された運動学上のチェーンを形成することができる。ロボットシステム100は、対応するジョイントの周り又はジョイントにおいて、構造的部材を駆動又は操縦する(たとえば、変位及び/または再度の方向付け)ように構成された作動デバイス212(たとえば、モータ、アクチュエータ、ワイヤ、人工筋、電気活性ポリマなど)を含むことができる。いくつかの実施形態では、ロボットシステム100は、ある位置から位置に、対応するユニット/シャシーを移送するように構成された移送モータ214を含むことができる。
ロボットシステム100は、構造的部材を操縦するため、及び/または、ロボットユニットを移送するためなど、作業を実施するために使用される情報を得るように構成されたセンサ216を含むことができる。センサ216は、ロボットシステム100の1つまたは複数の物理的特性(たとえば、1つまたは複数の構造的部材/そのジョイントの状態、条件、及び/または位置)、及び/または、周囲の環境に関する特性を検出するか測定するように構成されたデバイスを含むことができる。センサ216のいくつかの例は、加速度計、ジャイロスコープ、力センサ、ひずみゲージ、タクティールセンサ、トルクセンサ、位置エンコーダなどを含むことができる。
いくつかの実施形態では、たとえば、センサ216は、周囲の環境を検出するように構成された1つまたは複数の撮像デバイス222(たとえば、可視及び/または赤外カメラ、ライダー、レーダー、及び/または他の距離測定もしくは撮像デバイスを含む、2次元及び/または3次元カメラ)を含むことができる。撮像デバイス214は、(たとえば、自動的な検査、ロボットのガイダンス、または他のロボットのアプリケーションのための)マシン/コンピュータの視覚を実行するために使用される、デジタル画像及び/またはポイントクラウドなどの検出環境の表示を生成することができる。以下にさらに詳細に記載するように、ロボットシステム100は、(たとえば、プロセッサ202を介して)、デジタル画像及び/またはポイントクラウドを処理して、図1のターゲットとなる対象112、図1のスタート位置114、図1の作業位置116、図1のターゲットとなる対象112のポーズ、またはそれらの組合せを識別することができる。ターゲットとなる対象112を操縦するために、ロボットシステム100は、(たとえば、様々なユニットを介して)、指定されたエリア(たとえば、トラック内、コンテナ内、または、コンベアベルト上の対象のピックアップ位置)の画像を取得及び分析して、ターゲットとなる対象112及びそのスタート位置114を識別することができる。同様に、ロボットシステム100は、別の指定されたエリア(たとえば、コンベアベルト上に対象を配置するためのドロップ位置、コンテナ内に対象を配置するための位置、または、スタックする目的のためのパレット上の位置)の画像を取得及び分析して、作業位置116を識別することができる。
また、たとえば、センサ216は、構造的部材(たとえば、ロボットアーム及び/またはエンドエフェクタ)、及び/または、ロボットシステム100の対応するジョイントの位置を検出するように構成された位置センサ224(たとえば、位置エンコーダ、ポテンショメータなど)を含むことができる。ロボットシステム100は、作業の実行の間、構造的部材及び/またはジョイントの位置及び/または向きを追跡するために、位置センサ224を使用することができる。
いくつかの実施形態では、センサ216は、複数の物理的構造または表面間の直接の接触に関連する特性を測定するように構成された接触センサ226(たとえば、圧力センサ、力センサ、ひずみゲージ、圧電抵抗性/圧電性センサ、容量性センサ、弾性抵抗性センサ、及び/または他のタクティールセンサ)を含むことができる。接触センサ226は、ターゲットとなる対象112上のエンドエフェクタ(たとえば、グリッパ)のグリップに対応する特性を測定することができる。したがって、接触センサ226は、グリッパとターゲットとなる対象112との間の接触または取付けの程度に対応する、定量化された測定値(たとえば、測定された力、トルク、位置など)を示す接触基準を出力することができる。たとえば、接触基準は、エンドエフェクタによってターゲットとなる対象112に印加された力に関する、1つまたは複数の力またはトルクの読取り値を含むことができる。接触基準に関する詳細を、以下に記載する。
以下にさらに詳述するように、ロボットシステム100は、(たとえば、プロセッサ202を介して)接触基準に基づく作業を達成するように様々な動作を実施することができる。たとえば、ロボットシステム100は、最初の接触基準が閾値未満である場合、ターゲットとなる対象112をグリップし直すことができる。また、ロボットシステム100は、作業の実行の間に接触基準が閾値未満に低下した場合、意図してターゲットとなる対象112をドロップするか、作業位置116を調整するか、動作に関する速度もしくは加速度を調整するか、またはそれらの組合せを行うことができる。
接触基準
図3A及び図3Bは、本技術の1つまたは複数の実施形態に係るグリップ状態の例を示している。いくつかの実施形態では、図1のロボットシステム100(たとえば、上述の、1つまたは複数のユニットにおいて、パレットに載せる/パレットから降ろすロボット、ピッカーロボットなど)は、ロボットアーム304に接続されたエンドエフェクタ(たとえば、グリッパ)を含むことができる。ロボットアーム304は、エンドエフェクタを操縦するように構成された部材間の構造的部材及び/またはジョイントを含むことができる。エンドエフェクタは、ロボットアーム304の構造的部材及び/またはジョイントに接続された、図2の作動デバイス212を操作することによって操縦することができる。
いくつかの実施形態では、エンドエフェクタ(たとえば、グリッパ)は、対象をグリップするように構成することができ、それにより、エンドエフェクタに対し、対象を固定又は添付する。エンドエフェクタは、エンドエフェクタの1つまたは複数の位置に関連付けられたか又は取り付けられた作動デバイス212の1つまたは複数を操作することにより、(たとえば、把持及び/または開放するために)操作することもできる。
1つまたは複数の実施形態では、図3Aに示すように、エンドエフェクタは、グリッパ302(たとえば、収斂性または吸引性のグリッパ)を含むことができる。このグリッパ302は、グリッパ302とターゲットとなる対象112との間に真空状態を形成及び維持することによって得られるものなど、引付力を介してターゲットとなる対象112を保持又は添付するように構成されている。たとえば、グリッパ302は、吸引カップ306のセットを含むことができる。この吸引カップ306は、ターゲットとなる対象112の表面に接触し、吸引カップ306と表面との間の空間に真空状態を形成/維持するように構成されている。真空状態は、グリッパ302がロボットアーム304を介して下げられ、それにより、吸引カップ306をターゲットとなる対象112の表面に対して押圧し、対向する表面間の気体を外に出す場合に形成することができる。ロボットアーム304がグリッパ302を上昇させると、吸引カップ306の内側の空間と、周囲の環境との間の圧力差により、吸引カップ306に取り付けられたターゲットとなる対象112を維持することができる。したがって、ターゲットとなる対象112上のグリッパ302のグリップまたは取付けの程度は、成功的に真空状態を形成して保持している吸引カップ306の数に基づくものとすることができる。
様々な要因により、吸引カップ306が成功的に真空状態を形成して保持することを妨げられ得る。たとえば、図2の撮像デバイス222における較正エラーにより、グリッパ302をターゲットとなる対象112に対して誤って配置するか、誤って向けることが生じ得る。したがって、1つまたは複数の吸引カップ306は、真空状態を形成するとともに保持するように、ターゲットとなる対象112の表面に(たとえば、分離ギャップ322によって示すように)適切に接触しない場合がある。また、ターゲットとなる対象112の表面上の予期されていない変形または微粒子により、1つまたは複数の吸引カップ306が、真空状態を保持するターゲットとなる対象112の表面のシールされた空間を形成することが妨げられる場合がある。また、ターゲットとなる対象112を操縦している間、1つまたは複数の吸引カップ306は、ターゲットとなる対象112の移動の慣性及び/またはシフト(たとえば、ボックスまたはボックス内の内容物)から生じる力を受ける場合がある。その受けた力が、形成されているシールの完全性より大である場合、吸引カップ306は、真空状態の保持を失う場合がある。
いくつかの実施形態では、グリッパ302は、接触基準312を判定するように構成された、図2の接触センサ226(たとえば、1つまたは複数の力センサ、圧力センサ、トルクセンサ、及び/または他のタクティールセンサ)を含んでいる。接触センサ226は、ターゲットとなる対象112に対するグリッパ302の取付けの程度を示すものとして、接触基準312を生成することができる。換言すると、接触基準312は、ターゲットとなる対象112上の、エンドエフェクタのグリップの測定値または量を示すことができる。たとえば、接触センサ226は、検知された表面が別の表面に接触しているか、及び/または、別の表面に接触している表面積のサイズを判定するように構成されているかを示すように構成された、タッチセンサまたはタクティールセンサを含むことができる。また、接触センサ226は、吸引カップ306の内部の圧力(たとえば、真空状態)を測定するように構成された圧力センサを含むことができる。また、接触センサ226は、吸引カップ306によって保持又は支持されたターゲットとなる対象112の重量(たとえば、破線の線形矢印によって示される)を測定するように構成された直線力センサを含むことができる。さらに、接触センサ226は、吸引カップ306、グリッパ302、及び/またはロボットアーム304のトルク(たとえば、破線の曲線の矢印によって示される)を測定するように構成されたトルクセンサを含むことができる。完全にグリップされた状態と比較すると、吸引カップ306のいくつか(たとえば、周囲に位置する吸引カップ306)が真空状態を保持しない場合、トルクの測定値が変わる(たとえば、増大する)場合がある。接触センサ226のタイプ及び/または位置に応じて、接触基準312は、測定値が真空の閾値を満たす、吸引カップ306、吸引カップ306の量、及び/またはそれらの位置にわたる、測定値(たとえば、内圧、直線力、及び/またはトルク)の合計または平均に対応し得るか、それらの組合せに対応し得る。
図示の例として、図3Aは、(ターゲットとなる対象112を通して横断する矢印によって示されるように)ターゲットとなる対象112上にグリップを有するグリッパ302の遠位端(すなわち、図3Aの右側に位置している)上の吸引カップを示している。対照的に、グリッパ302の近位端(すなわち、図3Aの左側に位置している)上の吸引カップは、分離ギャップ322によって分離されて示されている。したがって、遠位端上の吸引カップに対応する直線力センサは、その遠位の吸引カップによって支持された重量に関連する、ゼロではない読取り値を判定することができる。また、近位端上の吸引カップに対応する直線力センサは、グリップの欠如に起因する、ゼロ又はゼロに近い読取り値を判定することができる。さらに、力の均等ではない分布に起因して、グリッパ302に関連付けられたトルクセンサは、ゼロではない読取り値を判定することができる。
比較すると、吸引カップ306のすべてがターゲットとなる対象112の表面と真空状態を確立又は維持している場合、直線力の読取り値は、吸引カップ306のすべてにおいてゼロではない大きさを有し、及び/または、直線力の読取り値間の偏差が、比較的小さいレンジ内にあることになる。さらに、重量が、吸引カップ306にわたって実質的に均等な方式で分布することになることから、グリッパ302で測定されるトルクは、ゼロの値に近くなる。
したがって、ロボットシステム100は、接触基準312の上述の例を、ターゲットとなる対象112上のグリッパ302のグリップの表示として使用することができる。たとえば、直線力の読取り値及び/またはトルクの読取り値の偏差は、グリップの強度を逆に示し得る。換言すると、予期される読取り値からの、より大である偏差(たとえば、直線力の測定値のゼロに近い偏差、及び/または、ゼロに近いトルクの測定値が、強力なグリップに対応し得る)が、より弱いグリップに対応する場合がある。いくつかの実施形態では、ロボットシステム100は、グリッパ302及びターゲットとなる対象112の異なる向き(たとえば、ポーズ)に従って、予期される読取り値の変換/移行のために、検索/変換テーブル、方程式、プロセス、またはそれらの組合せをさらに使用することができる。いくつかの実施形態では、マスターデータは、グリッパ302及びターゲットとなる対象112の様々な向きの各々に関し、予期される読取り値を含むことができる。ロボットシステム100は、グリッパ302及びターゲットとなる対象112の向きに応じて、接触基準312を評価または処理するように、予期される読取り値を使用することができる。
いくつかの実施形態では、図3Bに示すように、図1のロボットシステム100(たとえば、上述の、1つまたは複数において、パレットに載せる/パレットから降ろすロボット、ピッカーロボットなど)は、直接的な衝撃を介してターゲットとなる対象112を物理的に把持するように構成されたグリッパ352(たとえば、衝撃によるグリッパ)を含むことができる。たとえば、グリッパ352は、ターゲットとなる対象112に印加される対向又は圧縮する力に基づき、ターゲットとなる対象112をグリップするように構成されたグリッパ顎部356を含むことができる。ターゲットとなる対象112は、グリッパ顎部356の接触表面とターゲットとなる対象112の接触表面との間の、結果として生じる摩擦に基づき、グリップすることができる。
様々な要因が、グリッパ顎部356がターゲットとなる対象112を成功的にグリップすることを妨げ得る。たとえば、図2の撮像デバイス222における較正エラーにより、グリッパ352をターゲットとなる対象112に対して誤って配置するか、誤って向けることが生じ得る。したがって、グリッパ顎部356は、表面特性が、結果として生じる摩擦を低減する場所など、ターゲットとなる対象112の意図されていない部分に接触する場合がある。また、ターゲットとなる対象112の表面上の予期されていない変形または微粒子により、結果として生じる摩擦が低減され得る。また、ターゲットとなる対象112の操縦の間、グリッパ顎部356は、ターゲットとなる対象112の移動の慣性及び/またはシフト(たとえば、ボックスまたはボックス内の内容物)から生じる力を受ける場合がある。その受けた力が摩擦力より大である場合、グリッパ顎部356は、真空状態の保持を失う場合がある。
いくつかの実施形態では、グリッパ352は、接触基準312を判定するように構成された、図2の接触センサ226(たとえば、1つまたは複数の力センサ、圧力センサ、及び/またはトルクセンサ)を含んでいる。たとえば、接触センサ226は、検知した表面と他の表面との間の直接の接触を示し、及び/または、接触面積のサイズを測定するタクティールセンサを含むことができる。また、接触センサ226は、グリッパ顎部356の接触表面上に圧力センサまたはタクティールセンサを含むことができる。このセンサは、グリッパ顎部356によってターゲットとなる対象112に印加された力を測定するように構成されている。さらに、接触センサ226は、ターゲットとなる対象112の重量を測定するように構成された直線力センサを含むことができる。グリップが失われると、ターゲットとなる対象112はスリップし得る。このことは、直線力センサによって検知される重量の低下につながり得る。
図3Bに示すように、たとえば、グリップが不適切である又は欠如していることにより、グリッパ352が、ターゲットとなる対象112を持ち上げることを意図して上に移動した際に、ターゲットとなる対象112が動かないまま(すなわち、グリッパ顎部356に対して下にスライドする)の結果となり得る。したがって、直線力センサによって測定された重量または力は、グリップが十分で、かつ、ターゲットとなる対象112がグリッパ顎部356に対して固定されたままである場合に測定される実際の重量またはその一部(たとえば、各顎部にかかる約半分の重量)より少なくなり得る。図示の例として、ロボットシステム100は、グリップ動作の後の最初の持ち上げ動作の間、グリッパ352、ロボットアーム304、及び/またはグリッパ顎部356に関連する直線力センサの測定値を追跡することができる。予期される測定プロファイル(図3Bに時間に対する力の大きさのプロットにおいて、破線を使用して示されている)は、所定の持続時間の間、ターゲットとなる対象112の重量にマッチするように上昇する、測定された下向きの力に対応する場合がある。しかし、不適切なグリップに関するセンサの読取り値は、予期されたレベルまで上昇せず、かつ、最初の持ち上げの動きの終了によってゼロまたはゼロに近い大きさに達する、測定された下向きの力に対応する。いくつかの状況では、グリップの一瞬のロス(すなわち、全体のグリップが弱い状況を示す)は、検出された直線力の急激な低下または一瞬の低下に対応し得る。
いくつかの実施形態では、接触センサ226は、グリッパが水平に向けられた場合など、グリッパ顎部356上でトルクを測定するように構成されたトルクセンサを含むことができる。不適切なグリップは、持ち上げ動作の間、ターゲットとなる対象112に、グリッパ顎部356からシフトさせ(たとえば、離す)、それにより、グリッパ352に対するターゲットとなる対象112の重心の位置を変更する。したがって、グリッパ顎部356に印加されるトルクの量及び/または向きは、シフトした重心に基づいて変化し得る。接触基準312は、接触センサ226のタイプ及び/または位置に従って、上述の測定値に対応する場合がある。
システム操作
図4は、本技術の1つまたは複数の実施形態に係るロボットシステム100によって実行される例示的作業402を示す上面図である。上述のように、作業402は、目的を達成するために、ロボットシステム100によって実行される(たとえば、図1の移送ユニット104など、上述のユニットの1つによって実行される)動作のシークエンスを示し得る。図4に示すように、たとえば、作業402は、ターゲットとなる対象112を、スタート位置114(たとえば、受領パレットまたは大箱の上/中の位置)から作業位置116(たとえば、並び替えされたパレットまたは大箱の上/中の位置)に移動することを含み得る。
いくつかの実施形態では、ロボットシステム100は、スタート位置114を識別及び/または位置特定するために、所定のエリアを撮像することができる。たとえば、ロボットシステム100は、部品調達用のパレットまたは大箱に関して指定されたエリア、及び/または、コンベアベルトの受領側の領域など、ピックアップエリアに向けられたソーススキャナ412(すなわち、図2の撮像デバイス222の例)を含むことができる。ロボットシステム100は、指定されたエリアの撮像データ(たとえば、取得された画像及び/またはポイントクラウド)を生成するために、ソーススキャナ412を使用することができる。ロボットシステム100は(たとえば、図2のプロセッサ202を介して)、指定されたエリアに位置する様々な対象(たとえば、ボックスまたはケース)を識別するために、撮像結果について、コンピュータによる視野処理を実施することができる。対象の識別の詳細は以下に記載する。
認識された対象から、ロボットシステム100は、作業402の実行のために、ターゲットとなる対象112として、(たとえば、所定のシークエンスまたは規則のセット、及び/または、対象のアウトラインのテンプレートに応じて)1つを選択することができる。選択されたターゲットとなる対象112に関し、ロボットシステム100は、スタート位置114及び/または最初のポーズを判定するために、撮像結果をさらに処理することができる。選択及び位置/ポーズの判定の詳細を以下に記載する。
ロボットシステム100は、作業位置116を識別するために、別の所定のエリアをさらに撮像及び処理することができる。いくつかの実施形態では、たとえば、ロボットシステム100は、並び替えされたパレットまたは大箱、及び/または、コンベアベルトの送り側の領域に関して指定されたエリアなど、配置エリアの撮像結果を生成するように構成された撮像デバイス222(図示せず)の別の例を含むことができる。撮像結果は、ターゲットとなる対象112を配置するための作業位置116及び/または対応するポーズを識別するために、(たとえば、プロセッサ202を介して)処理することができる。いくつかの実施形態では、ロボットシステム100は、複数の対象をスタック及び/または配置するための所定のシークエンスまたは規則のセットに従って、作業位置116を(撮像結果に基づくか、または、撮像結果を伴わずに)識別することができる。
識別されたスタート位置114及び/または作業位置116を使用して、ロボットシステム100は、作業402を実行するために、対応するユニット(たとえば、移送ユニット104)の1つまたは複数の構造(たとえば、ロボットアーム304及び/またはエンドエフェクタ、図3Aのグリッパ302及び/または図3Bのグリッパ352など)を操作することができる。したがって、ロボットシステム100(たとえば、プロセッサ202を介して)は、作業402を実行するために対応するユニットによって実施される1つまたは複数の動作に対応する、ベースのモーションプラン422を(たとえば、モーションプランの規定またはアルゴリズムを介して)計算することができる。たとえば、移送ユニット104に関するベースのモーションプラン422は、ピックアップのためにエンドエフェクタを配置すること、ターゲットとなる対象112をグリップすること、ターゲットとなる対象112を持ち上げること、ターゲットとなる対象112をスタート位置114の上から作業位置116の上に移動すること、ターゲットとなる対象112を下げること、及び、ターゲットとなる対象112を開放することを含むことができる。また、ベースとなるモーションプラン422は、理想的な状況(たとえば、いずれの妨害、エラー、予期しない外部の影響などを伴わない)または実行に関するものなど、作業402を成功して完了するために必要な動作のみを含むことができる。
いくつかの実施形態では、ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタを操作する図2の1つまたは複数の作動デバイス212のためのコマンド及び/または設定のシークエンスを判定することにより、ベースとなるモーションプラン422を計算することができる。たとえば、ロボットシステム100は、プロセッサ202を使用して、グリッパをスタート位置114周りの特定の位置に置き、エンドエフェクタでターゲットとなる対象112を係合及び把持し、エンドエフェクタを作業位置116周りの特定の位置に置き、ターゲットとなる対象112をエンドエフェクタから開放するように、エンドエフェクタ及びロボットアーム304を操縦するために、作動デバイス212のコマンド及び/または設定を計算することができる。ロボットシステム100は、コマンド及び/または設定の判定されたシークエンスに従って、作動デバイス212を操作することにより、作業402を完了するための動作を実行することができる。
いくつかの実施形態では、作業402は、製品のロギングの目的のため、及び/または、ターゲットとなる対象112のさらなる識別のためなど、ターゲットとなる対象112をスキャンすること(たとえば、バーコードまたはQRコード(登録商標)をスキャンすること)を含むことができる。たとえば、ロボットシステム100は、通常はピックアップエリアと配置位置との間の位置において、ターゲットとなる対象112をスキャンするように構成された対象スキャナ416(たとえば、バーコードスキャナまたはQRコードスキャナなど、撮像デバイス222のさらなる例)を含むことができる。したがって、ロボットシステム100は、ターゲットとなる対象112の一部または表面が対象スキャナ416に与えられるように、所定のポーズでスキャン位置にターゲットとなる対象112を配置するように、ベースとなるモーションプラン422を計算することができる。
作業402に関する動作を実行するために、ロボットシステム100は、ターゲットとなる対象112の現在の位置424(たとえば、ロボットシステム100によって使用されるグリッドに対応する座標のセット)を追跡することができる。たとえば、ロボットシステム100(たとえば、プロセッサ202を介して)は、図2の位置センサ224からのデータに従って現在の位置424を追跡することができる。ロボットシステム100は、位置センサ224からのデータに従って、運動学上のチェーンにおいて、ロボットアーム304の1つまたは複数の部分(たとえば、構造的部材及び/またはそれらのジョイント)を配置することができる。ロボットシステム100は、ロボットアーム304の位置及び向きに基づき、エンドエフェクタの位置及び向きをさらに計算することができ、それにより、エンドエフェクタによって保持されるターゲットとなる対象112の現在の位置424を計算することができる。また、ロボットシステム100は、推測位置メカニズムに従って、他のセンサの読取り値(たとえば、力の読取り値または加速度計の読取り値)の処理、実行された作動コマンド/設定、及び/または、関連するタイミング、またはそれらの組合せに基づき、現在の位置424を追跡することができる。
また、作業402に関する動作の実行において、ロボットシステム100(たとえば、接触センサ226を介する)は、図3A/図3Bの接触基準312を判定することができる。ロボットシステム100は、所定のサンプリングインターバルもしくはタイミング、またはそれらの組合せに従って、ベースとなるモーションプラン422の一部(たとえば、グリップ動作、移動動作、及び/または回転動作)を実行した後など、様々な時点で接触基準312を判定またはサンプリングすることができる。
接触基準312に基づき、ロボットシステム100は、作業402を完了するために、様々な動作を実行することができる。換言すると、ロボットシステム100は、接触基準312に従って、ターゲットとなる対象112について粒度の細かい制御/操縦を実施することができる。たとえば、接触基準312が第1の閾値を満たした場合または満たす間、ロボットシステム100は、ベースとなるモーションプラン422を実施することができる。接触基準312が第1の閾値を満たさない(たとえば、閾値未満に低下した)場合、ロボットシステム100は、ベースとなるモーションプラン422から外れ、1つまたは複数の追加及び/または異なる動作を実行することができる。たとえば、(たとえば、図3Aの吸引カップ306をターゲットとなる対象112に押圧するか、図3Bのグリッパ顎部356を介して圧縮力を、ターゲットとなる対象112の両側に印加することにより)グリップ動作を実施した後に、接触基準312がグリップ閾値未満である場合、ロボットシステム100は、ターゲットとなる対象112の開放及び/またはエンドエフェクタの位置の調整の後に、グリップ動作を再度実行することができる。ロボットシステム100は、次いで、接触基準312を判定し、接触基準312がグリップ閾値未満のままである場合、所定の限界まで再グリップのプロセスを繰り返すことができる。再度グリップする試みにより、接触基準312がグリップ閾値を満たす結果となる場合、ロボットシステム100は、ベースとなるモーションプラン422の残りの部分を続けることができる。いくつかの実施形態では、限られた数の試みの後に、ロボットシステム100がターゲットとなる対象112を十分にグリップできなかった場合、ロボットシステム100は、ターゲットとなる対象112をドロップして離し、異なる対象で作業を実行することができる(たとえば、次の作業に関し、異なる対象をターゲットとなる対象112として識別する)。
また、ロボットシステム100は、ターゲットとなる対象112を操縦している間(たとえば、グリップ動作を実行した後)、移行閾値未満に接触基準312が低下した場合、ベースとなるモーションプラン422から外れることができる。いくつかの実施形態では、ロボットシステム100は、現在の位置424に基づき、次の動作(たとえば、制御されたドロップ)を実行することができる。たとえば、ロボットシステム100は、ターゲットとなる対象112の現在の位置424が1つまたは複数の所定のエリアの上/中にある場合、ターゲットとなる対象112を急激に低下させる、及び/または開放することができる。
いくつかの実施形態では、制御されたドロップ動作のために指定された所定のエリアは、供給元のドロップエリア432、目的地のドロップエリア434、及び/または、1つもしくは複数の移行ドロップエリア436を含むことができる。供給元のドロップエリア432は、パレットの縁部または大箱/ケージの壁など、ピックアップエリアの境界によって閉じられたエリアに対応するものとすることができる(たとえば、重なっているか、または、そこからある距離だけ内側にオフセットしている)。同様に、目的地のドロップエリア434は、配置エリアの境界に対応するものとすることができる。移行ドロップエリア436は、ピックアップエリアと、対象が次の作業の実行を妨げないように、ロボットシステム100がターゲットとなる対象112をドロップ又は配置することができる配置エリアとの間のエリアを含むことができる。図4に示す例に関し、移行ドロップエリア436は、対象スキャナ416の前及び/または後(すなわち、ピックアップエリアから配置エリアに移動している時)とすることができる。
したがって、接触基準312が閾値を満たさない場合、ロボットシステム100は、ターゲットとなる対象112を配置するためのドロップエリアの1つに、調整されたドロップ位置442を計算することができる。ロボットシステム100は、調整されたドロップ位置442を、ターゲットとなる対象112を配置するための十分な空間を有する、現在の位置424と作業位置116との間の位置として識別することができる。ロボットシステム100は、作業位置116と同様に、調整されたドロップ位置442を識別することができる。識別された、調整されたドロップ位置442及び現在の位置424に基づき、ロボットシステムは、ターゲットとなる対象112を移動し、これを調整されたドロップ位置442に配置するための、調整されたモーションプラン444を計算することができる。調整されたドロップ位置442の識別、及び、調整されたモーションプラン444の計算に関する詳細を、以下に記載する。
操作フロー
図5は、本技術の1つまたは複数の実施形態に係る、図1のロボットシステム100を操作する方法500のフロー図である。方法500は、図3A/図3Bの接触基準312に従って、図1のターゲットとなる対象112について粒度の細かい制御/操縦を実施するためのものとすることができる。換言すると、方法500により、ロボットシステム100が、接触基準312に従って、図4のベースとなるモーションプラン422に追従及び/または同プランから外れる(たとえば、ベースとなるモーションプラン422に加えて、及び/または代わりに、他の動作を実施する)ことを許容する。方法500は、図2の1つまたは複数のプロセッサ202で、図2の1つまたは複数のストレージデバイス204に記憶された命令を実行することに基づいて、実施することができる。
ブロック502では、ロボットシステム100は、指定されたエリアをスキャンすることができる。いくつかの実施形態では、ロボットシステム100は、図2の1つまたは複数の撮像デバイス222(たとえば、図4のソーススキャナ412及び/または他のエリアスキャナ)を(たとえば、プロセッサ202によって送信されたコマンド/プロンプトを介して)使用して、ピックアップエリア及び/またはドロップエリアなど(たとえば、図4の供給元のドロップエリア432、図4の目的地のドロップエリア434、及び/または、図4の移行ドロップエリア436)の1つまたは複数の指定されたエリアの撮像結果(たとえば、取得されたデジタル画像及び/またはポイントクラウド)を生成することができる。
ブロック504では、ロボットシステム100は、図1のターゲットとなる対象112及び関連する位置(たとえば、図1のスタート位置114、及び/または、図1の作業位置116)を識別することができる。いくつかの実施形態では、たとえば、ロボットシステム100(たとえば、プロセッサ202を介する)は、対象のアウトライン(たとえば、周囲の縁部または表面)を識別するために、パターン認識メカニズム及び/または規則のセットに従って、撮像結果を分析することができる。ロボットシステム100は、対象の特有の例の各々に対応するような、(たとえば、所定の規則及び/またはポーズのテンプレートに従って)対象のアウトラインのグルーピングのさらなる識別を行うことができる。たとえば、ロボットシステム100は、対象のラインにわたり、色、輝度、深さ/位置、またはそれらの組合せにおけるパターン(たとえば、同じ値であるか、既知の割合/パターンで変化する)に対応する、対象のアウトラインのグルーピングを識別することができる。また、たとえば、ロボットシステム100は、マスターデータにおいて規定された所定の形状/ポーズのテンプレートに従って、対象のアウトラインのグルーピングを識別することができる。
ピックアップ位置で認識された対象から、ロボットシステム100は、ターゲットとなる対象112として、(たとえば、所定のシークエンスまたは規則のセット、及び/または、対象のアウトラインのテンプレートに従って)1つを選択することができる。たとえば、ロボットシステム100は、(ソーススキャナ412の既知の位置に対する距離/位置を示す)ポイントクラウドに従うなどして、頂部に位置する対象として、ターゲットとなる対象112を選択することができる。また、たとえば、ロボットシステム100は、角/縁部に位置し、撮像結果に露出する/示される、2つ以上の表面を有する対象として、ターゲットとなる対象112を選択することができる。さらに、ロボットシステム100は、所定のパターン(たとえば、基準位置に対し、左から右へ、もっとも近くからもっとも遠くへなど)に従って、ターゲットとなる対象112を選択することができる。
選択されたターゲットとなる対象112に関し、ロボットシステム100は、スタート位置114及び/または最初のポーズを判定するために、撮像結果をさらに処理することができる。たとえば、ロボットシステム100は、複数の所定のポーズのテンプレート(たとえば、対応する対象の向きに係る、対象のアウトラインの、異なる、可能性のある配置)から、対象のアウトラインのグルーピングと比較した際の、もっとも少ない差異の測定に対応するものの選択に基づき、ターゲットとなる対象112の最初のポーズを判定することができる。また、ロボットシステム100は、撮像結果の中のターゲットとなる対象112の位置(たとえば、判定されたポーズに関する所定の基準ポイント)を、ロボットシステム100によって使用されるグリッド内の位置へ変換することにより、スタート位置114を判定することができる。ロボットシステム100は、所定の較正マップに従って位置を変換することができる。
いくつかの実施形態では、ロボットシステム100は、ドロップエリアの撮像結果を処理して、対象間のあいているスペースを判定することができる。ロボットシステム100は、画像の位置を、現実の位置及び/またはシステムによって使用される座標に変換する所定の較正マップに従って、対象のラインをマッピングすることに基づいて、前記あいているスペースを判定することができる。ロボットシステム100は、異なるグルーピング/対象に属する対象のライン(そしてひいては、対象の表面)間の空間として、あいているスペースを判定することができる。いくつかの実施形態では、ロボットシステム100は、あいているスペースの1つまたは複数の寸法を測定し、測定された寸法をターゲットとなる対象112の1つまたは複数の寸法(たとえば、マスターデータに記憶されているようなもの)と比較することに基づいて、ターゲットとなる対象112にとって適切なあいているスペースを判定することができる。ロボットシステム100は、所定のパターン(たとえば、基準位置に対し、左から右へ、もっとも近くからもっとも遠くへ、底部から頂部へなど)に従って、適切な/あいているスペースの1つを、作業位置116として選択することができる。
いくつかの実施形態では、ロボットシステム100は、撮像結果を処理せずにまたは処理することに加えて、作業位置116を判定することができる。たとえば、ロボットシステム100は、エリアを撮像することなく、所定の動作のシークエンス及び位置に従って、配置エリアに対象を配置することができる。また、たとえば、ロボットシステム100は、複数の作業(たとえば、スタックの共通の層/列に位置する対象に関するものなど、複数の対象を移動すること)を実施するために、撮像結果を処理することができる。
ブロック506では、ロボットシステム100は、ターゲットとなる対象112に関する図4の作業402を実行するためのベースとなるプラン(たとえば、図4のベースとなるモーションプラン422)を計算することができる。たとえば、ロボットシステム100は、図3A/図3Bのロボットアーム304、及び/または、エンドエフェクタ(たとえば、図3Aのグリッパ302、及び/または、図3Bのグリッパ352)を操作する、図2の作動デバイス212に関して、コマンドもしくは設定のシークエンスまたはそれらの組合せを計算することに基づいて、ベースとなるモーションプラン422を計算することができる。いくつかの作業に関し、ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタを操縦して、ターゲットとなる対象112をスタート位置114から作業位置116に移動する、シークエンス及び設定値を計算することができる。ロボットシステム100は、1つまたは複数の規制、ゴール、及び/または規則に従って、空間内の経路を計算するように構成されたモーションプランメカニズム(たとえば、処理、機能、方程式、アルゴリズム、コンピュータで生成された/読取り可能なモデル、またはそれらの組合せ)を実施することができる。たとえば、ロボットシステム100は、ターゲットとなる対象112をスタート位置114から作業位置116に移動するために、空間を通る経路を計算するように、Aアルゴリズム、Dアルゴリズム、及び/または他のグリッドに基づく検索を使用することができる。モーションプランメカニズムは、さらなる処理、機能、もしくは方程式、及び/または移行テーブルを使用して、経路を、作動デバイス212に関するコマンドもしくは設定のシークエンス、またはそれらの組合せに変換することができる。モーションプランメカニズムを使用する際、ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタを操作し、ターゲットとなる対象112に計算された経路をたどらせる、シークエンスを計算することができる。
ブロック508では、ロボットシステム100は、ベースとなるプランの実行を開始することができる。ロボットシステム100は、コマンドもしくは設定、またはそれらの組合せのシークエンスに従って作動デバイス212を操作することに基づいて、ベースとなるモーションプラン422の実行を開始することができる。ロボットシステム100は、ベースとなるモーションプラン422の第1の動作セットを実行することができる。たとえば、ロボットシステム100は、ブロック552に示すように、ターゲットとなる対象112をグリップするために、作動デバイス212を操作して、エンドエフェクタを、スタート位置114周りの計算された位置及び/または向きに配置することができる。ブロック554では、ロボットシステム100は、作動デバイス212を操作して、エンドエフェクタ(たとえば、グリッパ302及び/またはグリッパ352)に、ターゲットとなる対象112と係合及びグリップさせることができる。いくつかの実施形態では、ブロック556で示すように、ロボットシステム100は、エンドエフェクタを所定の距離だけ上に移動することにより、最初の持ち上げを実施することができる。いくつかの実施形態では、ロボットシステム100は、グリップ動作の数を追跡するために使用される繰り返しカウンタ「i」をリセットするか初期化することができる。
ブロック510では、ロボットシステム100は、確立されたグリップを測定することができる。ロボットシステム100は、図2の1つまたは複数の接触センサ226を使用して、図3A/図3Bの接触基準312を判定することに基づいて、確立されたグリップを測定することができる。ロボットシステム100は、ターゲットとなる対象112をグリップ(ブロック554)した後、及び/または、最初の持ち上げを実施(ブロック556)した後など、ベースとなるモーションプラン422を実行する間、接触基準312を判定することができる。ロボットシステム100は、ロボットアーム304上の1つもしくは複数の位置、エンドエフェクタ上の1つもしくは複数の位置、またはそれらの組合せにおける、力、トルク、圧力、またはそれらの組合せを測定するために、1つまたは複数の接触センサ226を使用することにより、接触基準312を判定することができる。いくつかの実施形態において、グリッパ302(たとえば、図3Aの吸引カップ306を含む、吸引グリッパ)によって確立されたグリップなどに関しては、接触基準312は、ターゲットとなる対象112の表面に接触して内部に真空状態を保持する吸引カップ306の量、位置、またはそれらの組合せに対応することができる。いくつかの実施形態において、グリッパ352(たとえば、図3Bのグリッパ顎部356を含む、衝撃性のグリッパ)によって確立されたグリップなどに関しては、接触基準312は、グリッパ顎部356に対するターゲットとなる対象112のシフトに対応することができる。
決定ブロック512では、ロボットシステム100は、測定されたグリップを閾値(たとえば、最初のグリップ閾値)と比較することができる。たとえば、ロボットシステム100は、接触基準312を所定の閾値と比較することができる。換言すると、ロボットシステム100は、接触/グリップが、ターゲットとなる対象112の操縦(たとえば、持ち上げ、移動、及び/または再度の方向付け)を続けるのに十分であるかどうかを判定することができる。
測定されたグリップが、閾値を満たさない場合、ロボットシステム100は、決定ブロック514に示すように、ターゲットとなる対象112を再度グリップすることに関する繰り返しのカウントが、繰り返しの閾値に達したかどうかを評価することができる。繰り返しのカウントが繰り返しの閾値未満である間、ロボットシステム100は、接触基準312が閾値を満たさない(たとえば、閾値未満である)場合、ベースとなるモーションプラン422から外れることができる。したがって、ブロック520において、ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタを操作して、ベースとなるモーションプラン422には含まれていない、再度グリップする動作を実行することができる。たとえば、再度グリップする動作には、ロボットアーム304に、エンドエフェクタを下げさせる(たとえば、最初の持ち上げの逆)、及び/または、エンドエフェクタに、ターゲットとなる対象112を開放させ、ターゲットとなる対象112を再度グリップさせる、作動デバイス212に関するコマンドもしくは設定の所定のシークエンス、またはそれらの組合せを含むことができる。いくつかの実施形態では、所定のシークエンスにより、ターゲットとなる対象を開放した後、かつ、ターゲットとなる対象を再度グリップする前に、グリッパの位置を調整するように、ロボットアーム304をさらに操作することができる。再度グリップする動作を実施する際に、ロボットシステム100は、ベースとなるモーションプラン422の実行を中断することができる。再度グリップする動作を実行した後に、ロボットシステム100は、繰り返しのカウントを増大させることができる。
対象を再度グリップした後に、ロボットシステム100は、ブロック510に関して上述したように、確立されたグリップを測定し、ブロック512に関して上述したように、確立されたグリップを評価することができる。ロボットシステム100は、繰り返しのカウントが繰り返しの閾値に達するまで、上述のターゲットとなる対象112をグリップし直すように試みることができる。繰り返しのカウントが繰り返しの閾値に達すると、ロボットシステム100は、ブロック516に示すように、ベースとなるモーションプラン422の実行を停止することができる。いくつかの実施形態では、ロボットシステム100は、ブロック518に示すように、オペレータの入力を要請することができる。たとえば、ロボットシステム100は、図2の通信デバイス206及び/または図2の入力−出力デバイス208を介して、オペレータに対する通知(たとえば、所定のメッセージ)を生成することができる。ロボットシステム100は、オペレータの入力に従って、作業402及び/またはベースとなるモーションプラン422を処理することができる。いくつかの実施形態では、ロボットシステム100は、ベースとなるモーションプラン422をキャンセルまたは削除するか、対応する作業402に関する所定の状態(たとえば、エラーコード)を記録するか、または、それらの組合せを実行するかすることができる。いくつかの実施形態では、ロボットシステム100は、上述のような、ピックアップ/作業エリアの撮像(ブロック502)、及び/または、ターゲットとなる対象としてのピックアップエリア内の別のアイテムの識別(ブロック504)により、処理を再開することができる。
測定されたグリップが閾値を満たすと、ロボットシステム100は、ブロック522に示すように、ベースとなるモーションプラン422の残りの部分/動作の実行を継続することができる。同様に、接触基準312が、ターゲットとなる対象112を再度グリップした後に、閾値を満たした場合、ロボットシステム100は、中断されたベースとなるモーションプラン422の実行を再開することができる。したがって、ロボットシステム100は、コマンド及び/または設定の残りのシークエンスに従って、図2の作動デバイス212及び/または移送モータ214を操作することにより、ベースとなるモーションプラン422のシークエンス化された動作(すなわち、グリップ及び/または最初の持ち上げの後の動作)の実行を継続することができる。たとえば、ロボットシステム100は、ベースとなるモーションプラン422に従って、ターゲットとなる対象112を移送(たとえば、垂直及び/または水平に移送)及び/または再度方向付けることができる。
ベースとなるモーションプラン422を実行している間は、ロボットシステム100は、ターゲットとなる対象112の現在の位置424及び/または現在の向きを追跡することができる。ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタの1つまたは複数の位置を特定するように、図2の位置センサ224からの出力に従って、現在の位置424を追跡することができる。いくつかの実施形態では、ロボットシステム100は、コンピュータで生成されたモデル、処理、方程式、位置マップ、またはそれらの組合せを伴って、位置センサ224の出力を処理することにより、現在の位置424を追跡することができる。したがって、ロボットシステム100は、ジョイント及び構造的部材の位置または向きを組み合わせ、その位置をグリッドにさらにマッピングして、現在の位置424を計算及び追跡することができる。いくつかの実施形態では、ベースとなるモーションプラン422は、マルチラテレーションシステムを使用することができる。たとえば、ロボットシステム100は、複数のビーコン源を含むことができる。ロボットシステム100は、ロボットアーム304及び/またはエンドエフェクタの1つまたは複数の位置でビーコン信号を測定し、測定値(たとえば、信号強度、タイムスタンプもしくは伝播遅れ、及び/または位相シフト)を使用して、信号源と測定位置との間の分離距離を計算することができる。ロボットシステム100は、信号源の既知の位置に分離距離をマッピングし、信号の受信位置の現在の位置を、マッピングされた分離距離がオーバーラップする位置として計算することができる。
決定ブロック524では、ロボットシステム100は、ベースとなるプランが、終了まで完全に実行されたかを判定することができる。たとえば、ロボットシステム100は、ベースとなるモーションプラン422の動作のすべて(たとえば、コマンド及び/または設定)が完了したかどうかを判定することができる。また、ロボットシステム100は、現在の位置424が作業位置116にマッチした際に、ベースとなるモーションプラン422が完了したことを判定することができる。ロボットシステム100がベースとなるプランの実行を完了した場合、ロボットシステム100は、上述のような、ピックアップ/作業エリアの撮像(ブロック502)、及び/または、ターゲットとなる対象としてのピックアップエリア内の別のアイテムの識別(ブロック504)により、処理を再開することができる。
そうでなければ、ブロック526において、ロボットシステム100は、ターゲットとなる対象112の移行の間、グリップを(すなわち、接触基準312を判定することにより)測定することができる。換言すると、ロボットシステム100は、ベースとなるモーションプラン422を実行する間、接触基準312を判定することができる。いくつかの実施形態では、ロボットシステム100は、サンプリング周期に従って、または所定の時間に、接触基準312を判定することができる。いくつかの実施形態では、ロボットシステム100は、所定の数のコマンドまたは設定を作動デバイス212で実行する前及び/または後に、接触基準312を判定することができる。たとえば、ロボットシステム100は、持ち上げまたは回転など、特定のカテゴリの動きの後または間に、接触センサ226をサンプリングすることができる。また、たとえば、ロボットシステム100は、加速度計の出力の方向及び/または大きさが、急激又は迅速な動きを示す所定の閾値にマッチする又は超えた場合、接触センサ226をサンプリングすることができる。ロボットシステム100は、(たとえば、ブロック510に関する)上述の1つまたは複数のプロセスを使用して、接触基準312を判定することができる。
いくつかの実施形態では、ロボットシステム100は、グリッパ及び/またはターゲットとなる対象112の向きを判定し、それに応じて接触基準を調整することができる。ロボットシステム100は、接触センサに関する検知方向と、向きに応じてターゲットとなる対象に印加される重力との間の方向関係に対処(account for)するために、向きに基づいて接触基準を調整することができる。たとえば、ロボットシステム100は、検知方向と、向きに応じた基準方向(たとえば、「下」または重力の方向)との間の角度を計算することができる。ロボットシステム100は、計算された角度に対応する因子及び/またはサインに応じて、接触基準をスケーリング又は複数倍にすることができる。
決定ブロック528では、ロボットシステム100は、測定されたグリップを閾値(たとえば、移行グリップ閾値)と比較することができる。いくつかの実施形態では、移行グリップ閾値は、ターゲットとなる対象112上の最初の(たとえば、移行前の)グリップを評価することに関する最初のグリップ閾値以下とすることができる。したがって、ロボットシステム100は、ターゲットとなる対象112の移送を開始する前に、グリップの評価に関するより厳格な規則を施行することができる。グリップに関する閾値の要件は、ターゲットとなる対象112をピックアップするのに十分な接触が、ターゲットとなる対象112を移送するのに十分であると考えられることから、最初はより高くすることができる。
測定されたグリップが閾値を満たす(たとえば、閾値以上である)と、ロボットシステム100は、ブロック522に示して上述したように、ベースとなるプランの実行を継続することができる。測定されたグリップが、閾値を満たさない(たとえば、閾値未満である)場合、ロボットシステム100は、ベースとなるモーションプラン422から外れ、ブロック530において示したような1つまたは複数の応答性の動作を実行することができる。したがって、測定されたグリップが、閾値に照らして、不十分である場合、ロボットシステム100は、ベースとなるモーションプラン422には含まれていないコマンド及び/または設定に従って、ロボットアーム304、エンドエフェクタ、またはそれらの組合せを操作することができる。いくつかの実施形態では、ロボットシステム100は、現在の位置424に基づき、異なるコマンド及び/または設定を実行することができる。
図示の目的のために応答性の動作は、制御されたドロップを使用して記載される。しかし、ロボットシステム100は、ブロック516で示したように、ベースとなるモーションプラン422の実行を停止すること、及び/または、ブロック518で示したように、オペレータの入力を要請することなどにより、他の動作を実行することができることを理解されたい。
制御されたドロップには、制御された方式で(すなわち、ターゲットとなる対象112の下降及び/または開放に基づくものであり、グリップの完全な欠落の結果ではない)、ドロップエリアの1つに(たとえば、作業位置116の代わりに)、ターゲットとなる対象112を配置するための1つまたは複数の動作が含まれている。制御されたドロップの実行において、ロボットシステム100は、動的に(すなわち、リアルタイムで、及び/または、ベースとなるモーションプラン422を実行している間に)、現在の位置424に従って、異なる位置、動きもしくは経路、及び/または作動デバイスのコマンドまたは設定を計算することができる。
ブロック562では、ロボットシステム100は、図4の調整されたドロップ位置442、及び/または、ターゲットとなる対象112を配置するための関連するポーズを計算することができる。調整されたドロップ位置442を計算する際に、ロボットシステム100は、現在の位置424の最寄り及び/または前方(たとえば、現在の位置424と作業位置116との間)のドロップエリア(たとえば、図4の供給元のドロップエリア432、図4の目的地のドロップエリア434、または、図4の移行ドロップエリア436)を識別することができる。ロボットシステム100は、ドロップエリアを規定する境界に対し、現在の位置424を比較することに基づいて、適切なドロップエリアを識別することができる。いくつかの実施形態では、現在の位置424がドロップエリアの1つにある場合(たとえば、ターゲットとなる対象112が依然として供給源のパレット/大箱、または、ターゲットのパレット/大箱の上にある場合など)、ロボットシステム100は、現在の位置424として、調整されたドロップ位置442を計算することができる。いくつかの実施形態では、現在の位置424がドロップエリアの1つにある場合、ロボットシステム100は、ターゲットとなる対象112を共用の回廊から離れて配置するなどのために、現在の位置424に対する所定のオフセット距離及び/または方向を付加することに基づいて、調整されたドロップ位置442を計算することができる。
また、現在の位置424がドロップエリア間にある(すなわち、ドロップエリアにない)場合、ロボットシステム100は、ドロップエリアまでの距離(たとえば、ドロップエリアに関する代表的な基準位置までの距離)を計算することができる。したがって、ロボットシステム100は、現在の位置424の最寄り、及び/または、現在の位置424の前方のドロップエリアを識別することができる。識別されたドロップエリアに基づき、ロボットシステム100は、調整されたドロップ位置442として、その内部の位置を計算することができる。いくつかの実施形態では、ロボットシステム100は、所定の順番(たとえば、基準位置に対し、左から右へ、底部から頂部へ、及び/または、前方から後方へ)に従って位置を選択することに基づき、調整されたドロップ位置442を計算することができる。
いくつかの実施形態では、ロボットシステム100は、現在の位置424からドロップエリア内のあいているスペース(たとえば、ブロック504で識別されるもの、及び/または、対象の進行中の配置に従って追跡されるもの)までの距離を計算することができる。ロボットシステム100は、調整されたドロップ位置442として、現在の位置424の前方、及び/または、現在の位置424の最寄りのあいているスペースを選択することができる。
いくつかの実施形態では、ドロップエリア及び/またはあいているスペースを選択する前に、ロボットシステム100は、所定のプロセス及び/または方程式を使用して、接触基準312を最大の移送距離に変換することができる。たとえば、所定のプロセス及び/または方程式は、接触基準312の様々な値に基づき、完全にグリップが失われる前に、対応する最大の移送距離及び/または持続時間を見積もる。したがって、ロボットシステム100は、現在の位置424からの最大の移送距離より離れた、利用可能なドロップエリア及び/またはあいているスペースをフィルタリングすることができる。いくつかの実施形態では、ロボットシステム100が、利用可能なドロップエリア及び/またはあいているスペースを識別できなかった場合(たとえば、アクセス可能なドロップエリアが満杯である場合)、ロボットシステム100は、ブロック516で示すように、ベースとなるモーションプラン422の実行を停止し、及び/または、ブロック518で示すように、オペレータの入力を申請することができる。
ブロック566では、ロボットシステム100は、ターゲットとなる対象112を現在の位置424から、調整されたドロップ位置442に移送するために、調整されたモーションプラン444を計算することができる。ロボットシステム100は、ブロック506に関して上述した方法と同様の方法で、調整されたモーションプラン444を計算することができる。たとえば、ロボットシステム100は、AまたはDを使用して、現在の位置424から、調整されたドロップ位置442までの経路を計算し、作動デバイス212に関し、その経路をコマンドもしくは設定、またはそれらの組合せのシークエンスに変換することができる。作動デバイス212は、ロボットアーム304及び/またはエンドエフェクタを操作して、ターゲットとなる対象112がその経路を辿るように動かす。
ブロック568では、ロボットシステム100は、ベースとなるモーションプラン422に加えて、及び/または代わりに、調整されたモーションプラン444を実行することができる。たとえば、ロボットシステム100は、コマンドもしくは設定、またはそれらの組合せのシークエンスに応じて、作動デバイス212を操作することができ、それにより、ロボットアーム304及び/またはエンドエフェクタを動かして、ターゲットとなる対象112を経路に沿って移動させる。
いくつかの実施形態では、ロボットシステム100は、ベースとなるモーションプラン422の実行を停止し、調整されたモーションプラン444を実行することができる。ターゲットとなる対象112が、調整されたモーションプラン444の実行に基づき、調整されたドロップ位置442に配置される(すなわち、制御されたドロップの実行が完了する)と、いくつかの実施形態では、ロボットシステム100は、ブロック520に関して上述したように、ターゲットとなる対象112を再度グリップし、次いで、ブロック510に関して上述したように、確立されたグリップを測定することを試みることができる。いくつかの実施形態では、ロボットシステム100は、上述のように、繰り返しの限界まで、ターゲットとなる対象112をグリップし直すことを試みることができる。接触基準312が最初のグリップ閾値を満たす場合、ロボットシステム100は、調整されたモーションプラン444を逆転し(たとえば、中断されたポイント/位置に戻り)、中断されたベースとなるモーションプラン422の残りの部分の実行を続けることができる。いくつかの実施形態では、ロボットシステム100は、調整されたモーションプラン444を、現在の位置424(再グリップの後)から作業位置116にアップデート及び再計算し、調整されたモーションプラン444を実行して、作業402の実行を完了することができる。
いくつかの実施形態では、ブロック570において、ロボットシステム100は、アクセスされたドロップエリアに関するエリアログ(たとえば、あいているスペース及び/または配置された対象の記録)をアップデートして、配置されたターゲットとなる対象112を反映することができる。たとえば、ロボットシステム100は、対応するドロップエリアに関し、撮像結果を生成し直すことができる。いくつかの実施形態では、ロボットシステム100は、調整されたドロップ位置442における、制御されたドロップの実行、及び、ターゲットとなる対象112の配置の後に、ベースとなるモーションプラン422の残りの動作をキャンセルすることができる。1つまたは複数の実施形態では、移行ドロップエリア436は、図1の輸送ユニット106の1つの頂部に置かれたパレットまたは大箱を含むことができる。指定された時間において(たとえば、パレット/大箱が満杯である場合、及び/または、続いて来るパレット/大箱が遅れている場合)、対応する輸送ユニットは、ドロップエリアからピックアップエリアに移動することができる。したがって、ロボットシステム100は、方法500を再度実施することができ、それにより、ターゲットとなる対象112としてドロップされたアイテムを再度識別し、それらアイテムを対応する作業位置116に移送する。
ターゲットとなる対象112が調整されたドロップ位置442に配置されると、ロボットシステム100は、新たなターゲットとなる対象に関し、方法500を繰り返すことができる。たとえば、ロボットシステム100は、ピックアップエリアにある次の対象を、ターゲットとなる対象112として判定し、新たなターゲットとなる対象を移送するために新たなベースとなるモーションプランを計算するなどすることができる。
いくつかの実施形態では、ロボットシステム100は、接触基準312に基づいて経路計算メカニズムをアップデートするフィードバックメカニズムを含むことができる。たとえば、ロボットシステム100が、ターゲットとなる対象112を、(たとえば、ブロック520に関して上述したように)調整された位置でグリップし直す動作を実施すると、ロボットシステム100は、(たとえば、ブロック512に関して上述したように)閾値を満たす接触基準312を生成した、エンドエフェクタの位置を記憶することができる。ロボットシステム100は、ターゲットとなる対象112に関する位置を記憶することができる。ロボットシステム100は、グリップの欠落及び/または成功した再グリップの動作の数が閾値に達した場合、ターゲットとなる対象112をグリップし直すために、(たとえば、最近の動作のセットを分析するための実行ウインドウを使用して)記憶された位置を分析することができる。所定の数の再グリップの動作が、特定の対象に関して生じた場合、ロボットシステム100は、ターゲットとなる対象112に対する新たな位置(たとえば、もっとも多い成功数に対応する位置)にグリッパを配置するように、モーションプランメカニズムを更新することができる。
ブロック510及び/またはブロック526に示す動作に基づき、ロボットシステム100(たとえば、プロセッサ202を介する)は、ベースとなるモーションプラン422の実行の進捗を追跡することができる。いくつかの実施形態では、ロボットシステム100は、ターゲットとなる対象112の水平移動に係る進捗を追跡することができる。たとえば、図5に示すように、ロボットシステム100は、水平移動を開始する前の確立されたグリップの測定(ブロック510)に基づくとともに、水平移動を開始した後の移動の間のグリップの測定(ブロック526)に基づいて、進捗を追跡することができる。したがって、ロボットシステム100は、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの新たなセット(すなわち、ベースとなるモーションプラン422とは異なる)を上述のような進捗に基づき、選択的に生成することができる。
他の実施形態では、たとえば、ロボットシステム100は、作動デバイス212によって通信及び/または実施されたコマンド、設定、またはそれらの組合せの追跡に基づき、進捗を追跡することができる。進捗に基づき、ロボットシステム100は、再グリップの応答動作及び/または制御されたドロップの応答動作を実行するように、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの新たなセットを選択的に生成することができる。たとえば、進捗が、ターゲットとなる対象112の任意の水平移動の前である場合、ロボットシステム100は、最初のグリップ閾値を選択し、(たとえば関数呼び出しまたはジャンプ命令を介して)ブロック512及びその先に示された操作を実行することができる。また、進捗が、ターゲットとなる対象112の水平移動の後である場合、ロボットシステム100は、移行グリップ閾値を選択し、(たとえば関数呼び出しまたはジャンプ命令を介して)ブロック528及びその先に示された操作を実行することができる。
接触基準312に係る、ターゲットとなる対象112について粒度の細かい制御/操縦の実施(すなわち、ベースとなるモーションプラン422の実施またはそれから外れることの選択)により、対象を移送することに関する効率、速度、及び精度が向上する。たとえば、接触基準312が最初のグリップ閾値未満である場合、ターゲットとなる対象112をグリップし直すことにより、移送の間にグリップの欠落が生じる可能性が低減され、これにより、移送の間に失われる又は意図せずにドロップする対象の数が低減される。さらに、失われた対象の各々は、結果を修正するために、人間の干渉が必要である(たとえば、失われた対象を、次の作業のために、モーションの経路から移動する、損害のために失われた対象を調査する、及び/または失われた対象に関する作業を完了する)。このため、失われた対象の数を低減することにより、作業及び/または全体の操作を実施するために必要な人間の労力が低減される。
さらに、接触基準312が移行グリップ閾値未満である場合、ターゲットとなる対象112を指定されたエリアに置くことにより、追跡されていない障害及び損傷したアイテムの数が低減される。調整されたドロップ位置442の計算、及び、制御されたドロップの実行に基づき、ターゲットとなる対象112は、既知の位置に置くことができる。したがって、ランダムな追跡されない位置になる失われた対象の数は低減され、これにより、失われた対象が、後の作業の実行をブロックする又は妨げる位置となる可能性がさらに低減される。さらに、ロボットシステム100は、上述のように調整されたドロップ位置442を計算する際に、頻繁に使用される経路のセグメントを避けることができ、それにより、不十分なグリップの衝撃がさらに低減される。さらに、ターゲットとなる対象112が、はずみで、ある高さから落とされる代わりに、制御された方式で配置されることから、ターゲットとなる対象112は、より少ない力で配置場所に接触する。したがって、制御されたドロップを実行することにより、対象の損失によって生じる損傷が大きく低減される。
まとめ
開示の技術の実施例の上述の発明を実施するための形態は、排他的であるか、開示の技術を上記に開示の明確な形態に限定されることは意図されていない。開示の技術に関する特定の実施例が、説明の目的のために上述されているが、様々な均等の変形形態が、当業者が認識することになるように、開示の技術の範囲内で可能である。たとえば、プロセスまたはブロックが所与の順番で提供されているが、代替的な実施態様により、異なる順番で、ステップを有するルーチンを実施するか、ブロックを有するシステムを採用する場合があり、また、いくつかのプロセスまたはブロックは、削除、移動、追加、細分化、結合、及び/または変形されて、代替的またはサブの組合せを提供する場合がある。これらプロセスまたはブロックの各々は、様々な異なる方法で実施される場合がある。また、プロセスまたはブロックが、図示の時点で、連続して実施されるものであるが、これらプロセスまたはブロックは、代わりに、並行して実施されるか実行される場合があり、あるいは、異なる時間に実施される場合がある。さらに、本明細書に示されたあらゆる特定の数は、実施例にすぎず、代替的実施態様では、異なる値またはレンジが採用される場合がある。
これら及び他の変更は、上述の発明を実施するための形態に照らして、開示の技術に行うことができる。発明を実施するための形態には、開示の技術の特定の実施例と、想定されるベストモードとが記載されているが、開示の技術は、上述の説明が、テキストにおいてどれだけ詳細に示されるかに関わらず、多くの方法で実施することができる。本システムの詳細は、その特定の実施態様において、著しく変化する場合があるが、依然として、本明細書に開示の技術に包含されている。上述のように、開示の技術の特定の特徴または態様を記載する際に使用された特定の用語は、その用語が、用語が関連付けられた開示の技術の特定の特性、特徴、または態様のいずれにも限定されるように本明細書で再定義されることを暗示するものとは取られないものとする。したがって、本発明は、添付の特許請求の範囲によるものを除き、限定されない。概して、添付の特許請求の範囲で使用される用語は、上述の発明を実施するための形態のセクションが、そのような用語を明示的に規定していない限り、開示の技術を、明細書に開示の特定の実施例に制限するようには解釈されないものとする。
本発明の特定の態様が、特定の特許請求の範囲の形態で添付のように与えられているが、本出願人は、任意の数の請求項の形態で、本発明の様々な態様を想定している。したがって、本出願人は、本出願または継続出願において、本出願を出願した後に、さらなる特許請求の範囲を実行する権利を留保して、そのような追加の請求項の形態を実行する。
多くのロボット(たとえば、自動的に/独立して物理的動作を実行するように構成されたマシン)は、その絶えず向上する性能及び低下するコストにより、現在、多くの分野で広く使用されている。たとえば、ロボットは、製造及び/または組立て、パッキング及び/またはパッケージング、移送及び/または輸送などにおいて、様々な作業(たとえば、空間を通しての対象の操縦または移動)を実行するように使用することができる。作業の実行において、ロボットは、人間の動作を反復することができ、それにより、そうでなければ危険又は反復的な作業を行うことが要求される人間の関与を置き換えたり、低減したりする。
[先行技術文献]
[特許文献1] 特開平5−318356号公報

Claims (20)

  1. ターゲットとなる対象をグリップするためのグリッパと、前記グリッパを操縦するためのロボットアームとを含む移送ロボットの操作方法であって、
    ベースとなるモーションプランを計算することであって、前記ベースとなるモーションプランが、前記ロボットアーム及び前記グリッパを操作して、前記ターゲットとなる対象をスタート位置から作業位置に移送するように構成された、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの第1のセットを含む、前記計算することと、
    前記ベースとなるモーションプランを実行している間、前記ターゲットとなる対象の現在の位置を追跡することと、
    前記ベースとなるモーションプランを実行している間、接触基準を受領することであって、前記接触基準が、前記ターゲットとなる対象の水平移動を開始した後に接触センサによって測定された、前記ターゲットとなる対象上の前記グリッパのグリップの量を示している、前記受領することと、
    前記接触基準が移行グリップ閾値を満たしていないことを判定することと、
    前記判定に基づき、前記ベースとなるモーションプランから外れた、調整されたモーションプランを計算することと、を含み、
    前記調整されたモーションプランは、
    前記現在の位置に基づき、ドロップエリアを選択することであって、前記ドロップエリアが、供給元のドロップエリア、目的地のドロップエリア、移行ドロップエリア、またはそれらの組合せから選択される、前記選択することと、
    前記接触基準が前記移行グリップ閾値未満であると判定された後に、前記選択されたドロップエリアにおいて、調整されたドロップ位置を計算することと、
    前記ターゲットとなる対象を前記現在の位置から前記調整されたドロップ位置に移送するために、調整されたモーションプランを計算することであって、前記調整されたドロップ位置が前記作業位置と異なっている、前記計算することと、
    を含む、制御されたドロップに対応する、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの第2のセットを含む、方法。
  2. 前記ベースとなるモーションプランを実行している間、前記グリッパの向きを追跡することと、
    前記接触センサに関する検知方向と、前記向きに応じて前記ターゲットとなる対象に印加される重力との間の方向関係に対処するために、前記向きに基づいて前記接触基準を調整することと、
    をさらに含む、請求項1に記載の方法。
  3. 前記ドロップエリアを選択することは、
    前記現在の位置が前記供給元のドロップエリア及び前記目的地のドロップエリアの外にあることを判定することと、
    前記ターゲットとなる対象を、前記作業位置の代わりに、前記移行ドロップエリア内に意図的に配置するように、前記判定に基づいて前記移行ドロップエリアを選択することと、
    を含む、請求項1に記載の方法。
  4. 前記ドロップエリアを選択することは、
    前記現在の位置が前記供給元のドロップエリア内にあることを判定することであって、前記供給元のドロップエリアが、前記スタート位置を含むコンテナまたはパレットの境界と関連付けられている、前記判定することと、
    前記ターゲットとなる対象を前記供給元のドロップエリア内に意図的に配置するように、前記判定に基づいて前記供給元のドロップエリアを選択することと、
    を含む、請求項1に記載の方法。
  5. 前記ドロップエリアを選択することは、
    前記現在の位置が前記目的地のドロップエリア内にあることを判定することであって、前記目的地のドロップエリアが、前記作業位置を含むコンテナまたはパレットの境界と関連付けられている、前記判定することと、
    前記ターゲットとなる対象を前記目的地のドロップエリア内に意図的に配置するように、前記判定に基づいて前記目的地のドロップエリアを選択することと、
    を含む、請求項1に記載の方法。
  6. 前記調整されたドロップ位置は、前記スタート位置と前記作業位置との両方と異なり、
    前記調整されたモーションプランは、
    前記ターゲットとなる対象を前記現在の位置から前記調整されたドロップ位置に移送することと、
    前記ターゲットとなる対象を前記調整されたドロップ位置に意図的に配置するように、前記調整されたドロップ位置で、前記グリッパから前記ターゲットとなる対象を開放することと、
    を行う、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せを含む、請求項1に記載の方法。
  7. 前記調整されたモーションプランは、前記制御されたドロップを実行した後に、前記ターゲットとなる対象を前記グリッパでグリップし直す、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せを含む、請求項1に記載の方法。
  8. 前記制御されたドロップを実行した後に、前記ベースとなるモーションプランの残りの動作をキャンセルすることと、
    新たなターゲットとなる対象を判定することと、
    前記新たなターゲットとなる対象を移送するために、新たなベースとなるモーションプランを計算することと、
    をさらに含む、請求項1に記載の方法。
  9. 前記移行グリップ閾値は、前記ターゲットとなる対象を水平移動する前に前記ターゲットとなる対象を最初にグリップすることに関する最初のグリップ閾値よりも小である、請求項1に記載の方法。
  10. 前記接触基準を受領することは、前記グリップの量に対応する、力、トルク、圧力、またはそれらの組合せの測定値を受信することを含み、
    前記測定値は、前記ロボットアームの1つまたは複数の位置、前記グリッパの1つまたは複数の位置、またはそれらの組合せに関して形成される、請求項1に記載の方法。
  11. ターゲットとなる対象をグリップするためのグリッパと、前記グリッパを操縦するためのロボットアームとを含む移送ロボットの操作方法であって、
    ベースとなるモーションプランを計算することであって、前記ベースとなるモーションプランが、前記ロボットアーム及び前記グリッパを操作して、前記ターゲットとなる対象をスタート位置から作業位置に移送するように構成された、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せのシークエンスを含む、前記計算することと、
    前記ベースとなるモーションプランを実行している間、接触基準を受領することであって、前記接触基準が、前記ターゲットとなる対象をグリップした後、かつ、前記ターゲットとなる対象の水平移動を開始する前に、接触センサによって測定された、前記ターゲットとなる対象上の前記グリッパのグリップの量を示している、前記受領することと、
    前記接触基準が最初のグリップ閾値を満たしていないことを判定することと、
    前記判定に基づいて、再グリップコマンド、再グリップ設定、またはそれらの組合せを生成することであって、前記生成された再グリップコマンド、再グリップ設定、またはそれらの組合せが、前記ターゲットとなる対象を再グリップするように、前記ベースとなるモーションプランから外れている、前記生成することと、
    を含む、方法。
  12. 前記グリッパを前記スタート位置の周りに配置すること、及び、前記ターゲットとなる対象を前記グリッパで最初にグリップすることを含む、前記ベースとなるモーションプランの第1の動作セットを実行することをさらに含み、
    前記接触基準を受領することは、前記ターゲットとなる対象を最初にグリップした後に判定された前記接触基準を受領することを含み、
    前記生成されたアクチュエータコマンド、アクチュエータ設定、またはそれらの組合せは、
    前記第1の動作セットを実行した後に、前記接触基準が前記最初のグリップ閾値未満である場合に、前記グリッパから前記ターゲットとなる対象を開放することと、
    前記ターゲットとなる対象を開放した後に、前記ターゲットとなる対象を前記グリッパで再グリップすることと、
    を行うように、前記ロボットアーム、前記グリッパ、またはそれらの組合せを操作するように構成されている、請求項11に記載の方法。
  13. 前記ターゲットとなる対象を開放した後、かつ、前記ターゲットとなる対象を再グリップする前に、前記グリッパの位置を調整する、位置調整コマンド、位置調整設定、またはそれらの組合せを生成することをさらに含む、請求項12に記載の方法。
  14. 前記ターゲットとなる対象を再グリップした後に、再グリップの接触基準を受領することと、
    前記再グリップの接触基準が、前記最初のグリップ閾値を満たしていることを判定することと、
    前記判定に基づいて、前記ベースとなるモーションプランを調整することと、をさらに含み、
    前記ベースとなるモーションプランは、前記ターゲットとなる対象を前記グリッパの前記調整された位置から前記作業位置に移送するように、前記生成された位置調整コマンド、位置調整設定、またはそれらの組合せに従って調整される、請求項13に記載の方法。
  15. 前記接触基準が前記最初のグリップ閾値を満たさない場合、前記ベースとなるモーションプランの実行を中断することと、
    前記ターゲットとなる対象を再グリップした後に、再グリップの接触基準を受領することと、
    前記再グリップの接触基準が前記最初のグリップ閾値を満たす場合に、前記ベースとなるモーションプランの実行を再開することと、
    をさらに含む、請求項11に記載の方法。
  16. 前記接触基準が前記最初のグリップ閾値を満たさない場合、前記ベースとなるモーションプランの実行を中断することと、
    繰り返しのカウントが閾値を超えたことを判定することであって、当該判定が、
    前記ターゲットとなる対象を再グリップした後に、前記繰り返しのカウントを増大させることと、
    前記ターゲットとなる対象を再グリップした後に、再グリップの接触基準を受領することと、
    前記再グリップの接触基準が最初のグリップ閾値を満たしていないことを判定することと、
    前記ターゲットとなる対象を再グリップするように、前記再グリップコマンド、再グリップ設定、または組合せを再生成することと、
    が反復的に行われることに基づいてなされる、前記判定することと、
    前記繰り返しのカウントが前記閾値を超えた場合に、オペレータの入力に関する申請を生成することと、をさらに含む、請求項11に記載の方法。
  17. 前記接触基準は、前記ターゲットとなる対象の表面に接触してその内部に真空状態を保持する前記グリッパの吸引カップの、量、位置、またはそれらの組合せを示している、請求項11に記載の方法。
  18. 前記接触基準は、前記ターゲットとなる対象の対向するポイントに圧縮力を印加するように構成された前記グリッパの顎部に対する、前記ターゲットとなる対象のシフトに対応する、請求項11に記載の方法。
  19. 有形の非一時的なコンピュータ可読媒体であって、前記コンピュータ可読媒体に記憶されたプロセッサ命令を有する有形の非一時的なコンピュータ可読媒体であって、
    前記プロセッサ命令は、ロボットシステムにより、その1つまたは複数のプロセッサを介して実行された際に、前記ロボットシステムに、
    ベースとなるモーションプランを計算することであって、前記ベースとなるモーションプランが、ロボットアーム及びグリッパを操作して、ターゲットとなる対象をスタート位置から作業位置に移送するように構成された、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの第1のセットを含む、前記計算することと、
    前記ベースとなるモーションプランを実行している間、接触基準を受領することであって、前記接触基準が、接触センサによって測定された、前記ターゲットとなる対象上の前記グリッパのグリップの量を示している、前記受領することと、
    前記接触基準が閾値を満たさないことを判定することと、
    前記ベースとなるモーションプランの実行の進捗を追跡することであって、前記進捗が、前記ターゲットとなる対象の水平移動と関連付けられている、前記追跡することと、
    前記ベースとなるモーションプランから外れて、前記ベースとなるモーションプランに含まれない1つまたは複数の応答動作を実行するように、前記ロボットアーム、前記グリッパ、またはそれらの組合せを操作することに関する、アクチュエータコマンド、アクチュエータ設定、またはそれらの組合せの第2のセットを、前記判定及び前記進捗に基づいて、選択的に生成することと、
    をさせる、有形の非一時的なコンピュータ可読媒体。
  20. 前記ベースとなるモーションプランを実行している間、前記ターゲットとなる対象の現在の位置を追跡する命令と、
    前記進捗が前記水平移動の実行に対応することを判定する命令と、をさらに含み、
    前記選択的に生成する命令は、
    前記進捗の判定に基づいて、前記現在の位置に従って前記第2のセットを生成する命令を含み、
    前記第2のセットは、前記作業位置とは異なる位置に前記ターゲットとなる対象を意図的に配置するための、制御されたドロップに対応する、請求項19に記載の有形の非一時的なコンピュータ可読媒体。
JP2019079502A 2019-01-18 2019-04-18 移送ロボットの操作方法、移送ロボットを操作するためのシステム、有形の非一時的なコンピュータ可読媒体 Active JP6678911B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020029846A JP7349094B2 (ja) 2019-01-18 2020-02-25 ピースロス管理メカニズムを有するロボットシステム
JP2023139633A JP2023155399A (ja) 2019-01-18 2023-08-30 ピースロス管理メカニズムを有するロボットシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/252,383 2019-01-18
US16/252,383 US10335947B1 (en) 2019-01-18 2019-01-18 Robotic system with piece-loss management mechanism

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020029846A Division JP7349094B2 (ja) 2019-01-18 2020-02-25 ピースロス管理メカニズムを有するロボットシステム

Publications (2)

Publication Number Publication Date
JP6678911B1 JP6678911B1 (ja) 2020-04-15
JP2020116726A true JP2020116726A (ja) 2020-08-06

Family

ID=67069521

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019079502A Active JP6678911B1 (ja) 2019-01-18 2019-04-18 移送ロボットの操作方法、移送ロボットを操作するためのシステム、有形の非一時的なコンピュータ可読媒体
JP2020029846A Active JP7349094B2 (ja) 2019-01-18 2020-02-25 ピースロス管理メカニズムを有するロボットシステム
JP2023139633A Pending JP2023155399A (ja) 2019-01-18 2023-08-30 ピースロス管理メカニズムを有するロボットシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020029846A Active JP7349094B2 (ja) 2019-01-18 2020-02-25 ピースロス管理メカニズムを有するロボットシステム
JP2023139633A Pending JP2023155399A (ja) 2019-01-18 2023-08-30 ピースロス管理メカニズムを有するロボットシステム

Country Status (4)

Country Link
US (5) US10335947B1 (ja)
JP (3) JP6678911B1 (ja)
CN (4) CN116834040A (ja)
DE (2) DE102019009201B3 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
US10335947B1 (en) 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US10696493B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system with packing mechanism
US10696494B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system for processing packages arriving out of sequence
US10679379B1 (en) 2019-05-31 2020-06-09 Mujin, Inc. Robotic system with dynamic packing mechanism
US10647528B1 (en) 2019-05-31 2020-05-12 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US10618172B1 (en) * 2019-05-31 2020-04-14 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US11014237B2 (en) * 2019-07-11 2021-05-25 Intelligrated Headquarters, Llc Methods, systems, and apparatuses, for path planning and execution in a robotic system
DE102019129417B4 (de) * 2019-10-31 2022-03-24 Sick Ag Verfahren zum automatischen Handhaben von Objekten
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11878415B2 (en) * 2019-11-15 2024-01-23 Massachusetts Institute Of Technology Tactile dexterity and control
CN112001363A (zh) * 2020-09-17 2020-11-27 珠海格力智能装备有限公司 导电胶条的处理方法及装置、计算机可读存储介质
CN112692837A (zh) * 2021-01-11 2021-04-23 成都海瑞斯轨道交通设备有限公司 一种用于铁路货车车体检修的焊接机器人系统及焊接方法
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
US11745347B2 (en) 2021-03-19 2023-09-05 Nvidia Corp. Method for assessing the quality of a robotic grasp on 3D deformable objects
CN116954953B (zh) * 2023-09-20 2024-01-19 弥费科技(上海)股份有限公司 运单追踪方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318356A (ja) * 1991-09-17 1993-12-03 Toyota Motor Corp ロボットハンドの把持制御方法
JP2000127071A (ja) * 1998-10-21 2000-05-09 Niigata Eng Co Ltd 吸着パッドによる異形部判定方法、搬送方法及び搬送装置
JP2004351527A (ja) * 2003-05-27 2004-12-16 Koganei Corp 吸着検出方法および吸着検出装置
JP2011218484A (ja) * 2010-04-09 2011-11-04 Kawada Kogyo Kk 部品移送装置
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19959285B4 (de) * 1999-12-09 2008-01-31 J. Schmalz Gmbh Vakuum-Greifsystem zum Greifen eines Objekts und Handhabungsgerät zum Handhaben eines Objekts mit Hilfe eines Vakuum-Greifsystems
JP3672079B2 (ja) 2000-04-27 2005-07-13 株式会社荏原製作所 光電子放出材
DE10223670A1 (de) * 2002-05-28 2003-12-18 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bewegen eines Handhabungssystems
US10300601B2 (en) * 2014-11-14 2019-05-28 Ge Global Sourcing Llc Vehicle control system with task manager
DE102004042825B3 (de) 2004-08-28 2006-01-05 J. Schmalz Gmbh Verfahren zum Betreiben einer Unterdruckhandhabungseinrichtung
JP2006102920A (ja) * 2004-10-08 2006-04-20 Fanuc Ltd 把握型ハンド
KR20070033607A (ko) * 2005-09-22 2007-03-27 동부일렉트로닉스 주식회사 로봇의 벨트이송장치
AU2008246203B2 (en) * 2007-04-26 2012-08-16 Omron Robotics And Safety Technologies, Inc. Vacuum gripping apparatus
DE102007052012A1 (de) * 2007-10-31 2009-05-07 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum Erfassen und Umladen von Gepäckstücken
JP5288908B2 (ja) * 2008-06-30 2013-09-11 ファナック株式会社 物品整列システム及びロボットハンド
EP2346650A1 (en) * 2008-08-29 2011-07-27 ABB Research Ltd. Compliant apparatus for the tool at the end of an arm of an industrial robot
JP5311025B2 (ja) * 2009-01-27 2013-10-09 株式会社Ihi 搬送ロボットの制御装置および方法
JP5505138B2 (ja) 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
US8483877B2 (en) * 2010-09-03 2013-07-09 GM Global Technology Operations LLC Workspace safe operation of a force- or impedance-controlled robot
DE102010052396A1 (de) * 2010-11-24 2012-05-24 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern einer Peripheriekomponente eines Robotersystems
US8965563B2 (en) * 2011-04-04 2015-02-24 Palo Alto Research Incorporated High throughput parcel handling
JP5441963B2 (ja) 2011-07-13 2014-03-12 一豊 呉松 デッキ材の固定具及びそれを用いたデッキ材固定構造
CN103814279B (zh) * 2011-09-20 2016-06-29 株式会社石田 质量测量装置
JP2013103306A (ja) * 2011-11-15 2013-05-30 Seiko Epson Corp 把持方法
JP5966372B2 (ja) * 2012-01-17 2016-08-10 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット制御方法及びロボット
JP2014176926A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよびワークの搬送方法
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
JP5698789B2 (ja) * 2013-04-18 2015-04-08 ファナック株式会社 ワークを搬送するロボットの制御装置
US9741008B2 (en) * 2013-05-03 2017-08-22 Consumer Product Recovery And Finance Company, Inc. Apparatus and method for finding and reporting lost items
JP6364856B2 (ja) * 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
US9393693B1 (en) * 2014-07-10 2016-07-19 Google Inc. Methods and systems for determining and modeling admissible gripper forces for robotic devices
US9205558B1 (en) * 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
US9938092B2 (en) * 2014-10-03 2018-04-10 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
US9375853B1 (en) * 2014-12-03 2016-06-28 Google Inc. Methods and systems to provide feedback based on a motion per path metric indicative of an effect of motion associated with components of a robotic device
JP6486114B2 (ja) * 2015-01-16 2019-03-20 株式会社東芝 荷役装置
JP6468871B2 (ja) * 2015-02-03 2019-02-13 キヤノン株式会社 ロボットハンド制御方法及びロボット装置
US9740191B2 (en) * 2015-02-12 2017-08-22 The Boeing Company Location calibration for automated production manufacturing
US10272573B2 (en) * 2015-12-18 2019-04-30 Ge Global Sourcing Llc Control system and method for applying force to grasp a brake lever
JP2017052052A (ja) * 2015-09-09 2017-03-16 株式会社東芝 荷役装置および荷役方法
JP6483014B2 (ja) * 2015-12-25 2019-03-13 本田技研工業株式会社 移動ロボットの制御装置
CA3117170C (en) 2016-02-08 2023-08-29 Berkshire Grey, Inc. Systems and methods for providing processing of a variety of objects employing motion planning
US9821458B1 (en) * 2016-05-10 2017-11-21 X Development Llc Trajectory planning with droppable objects
JP2018058175A (ja) * 2016-10-06 2018-04-12 株式会社東芝 搬送装置、および搬送プログラム
US10625427B2 (en) * 2017-06-14 2020-04-21 The Boeing Company Method for controlling location of end effector of robot using location alignment feedback
JP6640792B2 (ja) * 2017-06-30 2020-02-05 ファナック株式会社 ハンド制御装置、ハンド制御方法、およびハンドのシミュレーション装置
US10836034B2 (en) * 2017-07-10 2020-11-17 Kindred Systems Inc. Systems, devices, articles, and methods for prehension of items
US10828778B2 (en) * 2017-11-30 2020-11-10 Abb Schweiz Ag Method for operating a robot
US10335947B1 (en) 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318356A (ja) * 1991-09-17 1993-12-03 Toyota Motor Corp ロボットハンドの把持制御方法
JP2000127071A (ja) * 1998-10-21 2000-05-09 Niigata Eng Co Ltd 吸着パッドによる異形部判定方法、搬送方法及び搬送装置
JP2004351527A (ja) * 2003-05-27 2004-12-16 Koganei Corp 吸着検出方法および吸着検出装置
JP2011218484A (ja) * 2010-04-09 2011-11-04 Kawada Kogyo Kk 部品移送装置
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法

Also Published As

Publication number Publication date
DE102019130048B4 (de) 2021-01-14
CN110171010B (zh) 2023-05-05
JP2023155399A (ja) 2023-10-20
DE102019130048A1 (de) 2020-07-23
CN110465960B (zh) 2021-02-09
US10532462B1 (en) 2020-01-14
US20240042608A1 (en) 2024-02-08
CN110465960A (zh) 2019-11-19
JP2020124800A (ja) 2020-08-20
US11654558B2 (en) 2023-05-23
US10335947B1 (en) 2019-07-02
DE102019130048B8 (de) 2021-03-25
CN116852402A (zh) 2023-10-10
JP6678911B1 (ja) 2020-04-15
CN110171010A (zh) 2019-08-27
CN116834040A (zh) 2023-10-03
US20200230816A1 (en) 2020-07-23
US10773385B2 (en) 2020-09-15
DE102019009201B3 (de) 2022-12-01
US20200368905A1 (en) 2020-11-26
JP7349094B2 (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
JP6678911B1 (ja) 移送ロボットの操作方法、移送ロボットを操作するためのシステム、有形の非一時的なコンピュータ可読媒体
JP6708855B1 (ja) ロボットシステムの操作方法及び非一時的なコンピュータ可読媒体
US11772267B2 (en) Robotic system control method and controller
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
CN111906773A (zh) 具有协调转移机构的机器人系统
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP2023154055A (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP7126667B1 (ja) 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法
US11981518B2 (en) Robotic tools and methods for operating the same
CN111618852B (zh) 具有协调转移机构的机器人系统
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
US20240132303A1 (en) Robotic systems with dynamic motion planning for transferring unregistered objects
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法
CN114683299A (zh) 机器人工具及其操作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190426

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6678911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350