JP2016536150A - 向上した正確度を伴うロボット配置および操作 - Google Patents

向上した正確度を伴うロボット配置および操作 Download PDF

Info

Publication number
JP2016536150A
JP2016536150A JP2016521626A JP2016521626A JP2016536150A JP 2016536150 A JP2016536150 A JP 2016536150A JP 2016521626 A JP2016521626 A JP 2016521626A JP 2016521626 A JP2016521626 A JP 2016521626A JP 2016536150 A JP2016536150 A JP 2016536150A
Authority
JP
Japan
Prior art keywords
target
robot
robot manipulator
manipulator
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016521626A
Other languages
English (en)
Inventor
ユリ イワノフ,
ユリ イワノフ,
ロドニー ブルックス,
ロドニー ブルックス,
Original Assignee
リシンク ロボティクス インコーポレイテッド
リシンク ロボティクス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リシンク ロボティクス インコーポレイテッド, リシンク ロボティクス インコーポレイテッド filed Critical リシンク ロボティクス インコーポレイテッド
Publication of JP2016536150A publication Critical patent/JP2016536150A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/1005Programme-controlled manipulators characterised by positioning means for manipulator elements comprising adjusting means
    • B25J9/101Programme-controlled manipulators characterised by positioning means for manipulator elements comprising adjusting means using limit-switches, -stops
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36414Compare image detected path with stored reference, difference corrects position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39101Cooperation with one or more rotating workpiece holders, manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40562Position and orientation of end effector, teach probe, track them
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49113Align elements like hole and drill, centering tool, probe, workpiece
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Abstract

特別な構成要素またはタスク特有構成要素を利用する必要性なく、精密なロボット動作を提供するためのシステムおよび方法は、一実装では、ロボットマニピュレータ(102)から物理的に分離し、高空間精度を伴うタスクを実施するために、標的ワークピース(108)を支持し、ロボットマニピュレータ(102)と協働する空間調節システム(100)を利用する。一実施形態において、標的をロボット操作する方法は、標的の位置を決定することと、ロボットマニピュレータを標的位置に大ざっぱに移動させることと、ロボットマニピュレータの位置を検出することと、ロボットマニピュレータの検出された位置に少なくとも部分的に基づいて、標的位置を調節することとを含む、

Description

(関連出願の引用)
本願は、米国出願第61/889,630号(2013年10月11日出願)への優先権および利益を主張し、上記出願の開示全体は、参照により本明細書に引用される。
(発明の分野)
本発明の実施形態は、概して、ロボットシステムに関し、特に、向上した正確度を伴うロボット配置および操作に関する。
ロボットは、信頼性およびコスト削減を促進するために、多数の工業および製造環境にわたって展開されている。例えば、ロボットアームは、組立、梱包、検査等を含むタスクを実施するために、物体を移動させることができる。マニピュレータが、操作点が容易に調節され得るように、延長されたロボットアーム上に典型的に置かれる。しかしながら、延長されたロボットアームを通してマニピュレータを精密に制御することは、困難であり得る。例えば、マニピュレータは、有意な質量を典型的に有し、ロボットの根元関節にまで及ぶ望ましい精度を伴ってそのような負荷を支持するために、アームと根元関節との間の運動連鎖における各関節は、位置誤差に対して非常に厳格な公差内で動作する必要がある。言い換えると、運動連鎖における全ての関節は、標的における所望の精度と比較して、同じかまたはより良好な精度で動作しなければならない。例えば、アームの根元におけるモータの角度精度は、2メートルのロボットアームの端部に位置するマニピュレータが標的位置の1ミリメートル以内にあることを保証するために、0.03度以内であることが要求される。そのような厳格な要件は、複雑性および高コストをもたらす。
加えて、ロボットシステムは、全体的なアームの動きの任意の可能な動的影響を減衰させるために、大きな力を適用する必要がある。軽量の標的を取り扱う簡単なタスクであっても、1ミリメートル未満または1度未満の精度を伴って標的を送達することは、依然として困難であり得る。例えば、単純な組立タスクにおいて、ねじは、2メートルのロボットアームの端部において、わずか数ミリグラムの重量となり得るが、ねじを送達するためのロボット機構は、完全に延長された場合に、それ自体(全てのモータ、ギヤボックス、および電子装置を含む)を支持し、全関節において精密な位置制御を維持し、加えて、運動連鎖におけるはね返り、曲がり、滑り、および累積誤差を補償することが可能でなければならない。これは、再び、ロボットシステムの設計複雑性および製造コストを著しく上昇させる。
従来、高精度標的操作を実施可能なロボットシステムは、所与のタスクに特殊化された部品および技法を利用する。これは、特有かつ注意深い設計を要求し、それによって、システム複雑性およびコストを上昇させるだけでなく、ロボットシステムの一般的可用性も限定する。その結果、特殊またはタスク特有構成要素もしくは技法の必要性なく、精密な標的操作を提供するロボットシステムの必要性がある。
種々の実施形態では、本発明は、特別またはタスク特有構成要素の必要性なく、精密なロボット動作を提供するためのシステムおよび方法に関する。一実装では、ロボットマニピュレータから物理的に分離した空間調節システムは、標的ワークピースを支持し、ロボットマニピュレータと協働し、高空間精度を伴うタスクを実施する。動作中、ロボットシステムは、最初に、ロボットマニピュレータを、標的の近傍に大ざっぱに移動させる。空間調節システム内の、またはそれと協働する追跡システムが、ロボットマニピュレータの位置を精密に検出し、情報をコントローラに伝送することができる。コントローラは、次いで、空間調節システム内の1つ以上のアクチュエータに、ロボットマニピュレータの検出された位置に基づいて、標的の位置を調節するように命令する。空間調節システムは、高空間精度を伴って、標的ワークピースをロボットマニピュレータに整列させることができるため、本タスクは、ロボットアームと根元関節との間の運動連鎖における全てのロボット関節が、位置誤差の限定された公差内で動作することを要求することなく、正確に実施される。故に、本発明は、容易かつ経済的に製造され得る、ロボットシステムのための正確な標的操作を提供する。
故に、第1の側面では、本発明は、標的を操作するためのロボットシステムに関連する。種々の実施形態では、本システムは、ロボットマニピュレータと、ロボットマニピュレータから物理的に分離し、標的を支持し、移動させる位置決めシステムと、ロボットマニピュレータの位置を検出する追跡システムと、追跡システムに応答して、少なくとも部分的に、追跡システムによって検出されたロボットマニピュレータの位置に基づいて、標的の位置を調節するように位置決めシステムを制御するように構成されている、コントローラとを備えている。
種々の実施形態では、位置決めシステムは、標的を支持するための移動可能プラットフォームと、コントローラに応答して、標的位置を調節するためにプラットフォームを移動させる少なくとも1つのアクチュエータとを備えている。例えば、ロボットマニピュレータは、光源を備え得、追跡システムは、撮像デバイスを備え得、いくつかの実装では、光源は、ヒトの眼に見えるスペクトル外の光(例えば、赤外波長帯における)を生成する。
位置決めシステムは、標的を第1の方向に平行移動させる第1のアクチュエータと、標的を第2の方向に平行移動させる第2のアクチュエータとを備え得、第2の方向は、第1の方向と異なる(例えば、それと直交する)。いくつかの実施形態では、位置決めシステムは、標的を第3の方向に平行移動させる第3のアクチュエータをさらに備え、第3の方向は、第1および第2の方向と異なる(例えば、それらと直交する)。アクチュエータの1つ以上のものは、並進アクチュエータであり得、アクチュエータの1つ以上のものは、回転アクチュエータであり得る。さらなるアクチュエータが、必要に応じて、本システムに追加され得る。例えば、いくつかの実施形態では、完全な並進および回転調節を達成するために、3つの並進および3つの回転アクチュエータが、合同で使用され得る。コントローラは、標的をロボットマニピュレータと整列させるように、標的位置を調節するようにさらに構成され得る。
別の側面では、本発明は、標的をロボット操作する方法に関する。種々の実施形態では、本法は、標的の位置を決定することと、ロボットマニピュレータを標的位置に大ざっぱに移動させることと、ロボットマニピュレータの位置を検出することと、少なくとも部分的に、ロボットマニピュレータの検出された位置に基づいて、標的位置を調節することとを含む。種々の実施形態では、本方法は、ロボットマニピュレータが、標的位置に大ざっぱに移動するための最適経路を決定することをさらに含む。「最適」というのは、概して、最も効率的、例えば、移動の無駄が最も少ないことを意味する。例えば、最適経路は、少なくとも部分的に、移動の前のロボットマニピュレータの位置と、標的位置とに基づいて決定され得、また、マニピュレータによってアクセスされるべき複数の標的の存在を考慮し得る。標的位置が調節される速度は、標的と、ロボットマニピュレータの検出された位置との間の距離に基づいて決定され得る。標的位置は、標的をロボットマニピュレータと整列させるように、調節され得る。
さらに別の側面では、本発明は、ワークピースに対してタスクを実施するロボットシステムに関連する。種々の実施形態では、本システムは、ワークピースを操作するロボットマニピュレータを備えているロボットと、ロボットから物理的に分離し、ワークピース、ワークピースを含む空間領域、および/またはロボットマニピュレータの状態を感知するための感知システムを備えている、ヘルパーシステムと、感知システムに応答して、タスクを実施しているロボットを補助するようにヘルパーシステムを動作させるように構成されている、コントローラとを備えている。
種々の実施形態では、コントローラは、ワークピースを操作するようにヘルパーシステムを動作させるように構成される。例えば、コントローラは、ヘルパーシステムを動作させ、ワークピースを含む空間領域内の状態を改変するように、および/またはロボットマニピュレータと相互作用するように構成され得る。当然ながら、位置決め以外の標的の操作、例えば、鋸断、キャップの螺合、袋の密封、力の適用、力を用いた保持等も、本発明の範囲内である。
前述の議論は、以下の付随の図面と併せて検討されるとき、以下の本発明の詳細な説明からより容易に理解されるであろう。
図1は、本発明の実施形態による、ロボットシステムを図式的に描写する。 図2は、本発明の実施形態による、ロボットマニピュレータを訓練する代表的方法を描写する、フローチャートである。 図3A−3Cは、本発明の実施形態の動作を図式的に描写する。 図3A−3Cは、本発明の実施形態の動作を図式的に描写する。 図3A−3Cは、本発明の実施形態の動作を図式的に描写する。 図4は、本発明の実施形態による、タスクを実施するための代表的方法を描写する、フローチャートである。 図5は、本発明の実施形態による、コントローラを図式的に描写する。
高精度ロボット動作を提供するために、ロボットマニピュレータ102を有するロボット101等のロボットシステムと協働する、空間調節システム100の例示的実施形態を例証する、図1を最初に参照する。例えば、ロボットシステム101は、例えば、両方とも2012年9月17日に出願された、米国第13/621,658号および第13/621,657号(その全開示が、参照することによって本明細書に組み込まれる)に説明されるようなロボットであり得る。
種々の実施形態では、空間調節システム100は、ロボットマニピュレータ102の位置を検出する追跡システム104と、標的108を支持し、移動させる位置決めシステム106とを含む。一実装では、追跡システム104は、2つのセンサを含み、センサ104xは、x軸位置を検出するためであり、センサ104yは、y軸位置を検出するためである。センサ104は、ロボットアーム102またはその一部の変化している位置を検出する。センサ104は、それらの検出範囲が、少なくとも位置決めシステム106と同じ広がりをもつ作業領域と重複し、それを包含するように向けられる。センサ104は、ロボットマニピュレータ102上に位置するツールチップマーカー110によって伝送または反射される信号を検出し、その後、検出された情報(例えば、信号振幅)をロボットマニピュレータ102の位置を決定するコントローラ112に提供し得る。センサ104は、従来型の光学センサ、音響センサ、超音波センサであるか、または、ツールチップマーカー110によって生成される信号を捕捉し、デジタルデータの形態で信号を表すか、もしくは従来型の画像取得および認識ソフトウェアを使用して、ツールチップマーカー110を光学的に検出および認識することが可能である任意のタイプのデバイスであり得る。いくつかの実施形態では、位置決めシステム106は、標的108を支持するための移動可能プラットフォーム114と、標的位置を動的に調節するためにプラットフォーム114を移動させるための1つ以上のアクチュエータ116(例えば、ステッパモータまたはブラシレスモータ)とを含む。例えば、アクチュエータ116は、プラットフォームをxおよびy軸に沿って、および用途に応じてz(垂直)軸に沿って、漸増的に独立して移動させ、および/または1つ以上の軸に対してプラットフォームの向きを変化させ得る。いくつかの実施形態では、センサは、移動可能プラットフォーム114に堅く取り付けられる。
一実施形態では、ツールチップマーカー110は、赤外線(IR)LEDマーカーであり、センサは、IR感知カメラである。IRカメラは、任意の便利な様式で配列され得る。例えば、IRカメラは、それらの光軸が交差し、それらの光軸がアクチュエータ116のそれぞれの動作方向とほぼ平行であるように、位置決めされ得る。加えて、アクチュエータ116は、各々がプラットフォーム114の独立した並進自由度を制御できるように構成され得る(例えば、xおよびy軸が互に直交する場合、1つのアクチュエータ116xは、x軸位置を調節し、別のアクチュエータ116yは、y軸位置を調節する)。これは、有利には、カメラ104に対する相対的な較正を実施する必要性を排除し、プラットフォーム114の2つの並進自由度に関する、独立した分離制御を可能にする。xおよびy方向は、必ずしも互に直交せず、それらは、それらが互に平行でない限り、任意の方向に沿って延び得ることに留意されたい。加えて、図1は、水平面においてxおよびy並進方向に動作する2つのアクチュエータ106を描写するが、任意の数の並進および/または回転アクチュエータの組み合わせが、空間調節システム100内に実装されることができる。例えば、アクチュエータ106は、3つの並進自由度および3つの回転自由度を提供し得る。
種々の実施形態では、所与のタスクを実施することに先立って、コントローラ112は、望ましい標的位置を規定する訓練モードに入り、この情報は、ロボットシステムに提供され、ロボットシステムは、それに基づいてマニピュレータ102を移動させる。より具体的には、オペレータは、最初に、ロボットマニピュレータ102を、ロボットワークスペース内の種々の重要位置(またはウェイポイント)に手動で向かわせ得る。例えば、オペレータは、ロボットマニピュレータ102を、事前決定された場所に位置する標的ワークピース108と整列させ、例えば、ロボットシステム上のボタンを押すことによって、ロボットマニピュレータ102がその理想的操作位置内にあることを示し得る。ロボットシステムは、それに応じて、コントローラ112に信号伝送し、コントローラ112は、ツールチップマーカー110を起動させ、そこから伝送/反射された信号に基づいて、追跡システム104に、ツールチップマーカー110の位置を識別させる。ツールチップマーカー110の決定された位置と対応する標的のインデックスとは、次いで、その後にタスクを実施するために、コントローラ112のメモリ内に記憶され得る。
図2は、本発明の実施形態による、ロボットマニピュレータ102および空間調節システム100を訓練する代表的方法200を描写する。第1のステップ202では、コントローラ112は、訓練手順を開始するために、訓練モードに設定される。第2のステップ204では、コントローラ112は、「0」のインデックスから開始する第1の標的ワークピースを記録する。第3のステップ206では、オペレータは、ロボットマニピュレータ102を移動させ、第1の標的と整列させ、他の標的が存在するかどうかを示すために、ボタンを押す。さらなる標的が存在しない場合、コントローラ112は(第4のステップ208および第5のステップ210において)、メモリ内に、ウェイポイント(または理想的最終位置)としてマニピュレータ102の検出された位置を記録し、タスク実行モードに切り替え、それによって、現在の訓練プロセスを終了する。しかしながら、別の標的が存在する場合、コントローラ112は(第6のステップ212において)、メモリ内に、(再び、ウェイポイントとして)マニピュレータ102の検出された位置と、現在の標的インデックスとの両方を記録し、標的インデックスを漸増的に増加させる。オペレータは、次いで、ロボットマニピュレータ102を移動させ、次の標的と整列させ、前述のアプローチを使用してさらなる標的が存在するかどうかを示す。
図3Aおよび3Bを参照すると、タスク実行モードにおいて、コントローラ112は、最初に、訓練中に記憶された位置情報に基づいて、ロボットマニピュレータ102を、最低インデックス数を伴う標的300(または任意の望ましい/識別された標的)の位置の可能な限り近くに(すなわち、ロボットシステムの精度によって限定されるように)移動させる。追跡システム104内のセンサが、次いで、ツールチップマーカー110を(例えば、それによって生成/反射される信号を介して)検出し、ロボットマニピュレータ102の実際の位置を決定するために、起動される。コントローラ112は、ツールチップマーカー110(またはロボットマニピュレータ102)の実際の位置と、ウェイポイント位置との間の位置差を減少させるために、ツールチップマーカー110の検出された実際の位置を、(訓練中に確立された)ロボットマニピュレータ102の記憶されたウェイポイント位置と比較し、位置決めシステム106が(アクチュエータ116x、116y、116zを介して)とる必要がある動きの経路および/またはステップの数を決定する。コントローラ112(図1を参照されたい)、追跡システム104、および位置決めシステム106は、閉ループフィードバックシステムを形成するため、位置差は、ロボットマニピュレータ102の移動中に、連続的かつ反復的に減少され得る。位置決めシステム106を介して標的位置を調節するための動きの経路および/またはステップの数の厳密な解決は、必要ではない。すなわち、位置差が減少するにつれて、コントローラ112は、位置決めシステム106に、ロボットマニピュレータ102および標的300が(想像線で示される位置決めシステムの元々の位置を伴う)図3Cに描写されるように精密に整列されるまで、漸次的により少ないステップをとるように命令し得る。ロボットマニピュレータ102は、その後、所与のタスクを実施し得る。現在の標的に対するタスクが実行されると、ロボットマニピュレータ102は、前述のアプローチを使用して、操作のために次の標的に移動し得る。
空間調節システム100は、ロボットマニピュレータ102の位置を精密に決定し、それに基づいて標的位置を調節することができるため、本発明は、巨大なロボット付属品に関する微細制御の必要性なく、空間精度を提供する。加えて、空間調節システム100は、ロボットシステムから物理的に分離しているため、精度は、ロボットシステムのための任意の特別な構成要素もしくは設計を利用すること、またはロボットへの追加の負荷なしに達成される。本アプローチの利点はまた、位置誤差を排除するために、精密かつ迅速な様式において位置決めシステム106を恣意的に移動させる能力と、一方はオンボードであり他方はロボットから物理的に離れた2つのタイプの位置制御を調整する能力と、製造の容易さおよび経済性とを含む。
例示的用途では、ロボットマニピュレータ102は、物体におけるねじ孔にねじを締めるようにプログラムされる。ねじおよび/または物体は、最初に、位置決めシステム106の移動可能プラットフォーム114上に置かれる。空間調節システム100およびロボットマニピュレータ102は、次いで、ロボットマニピュレータ102のウェイポイント(すなわち、ねじを取り上げるための位置および/またはねじ孔の位置)を決定して、タスクを実行するために、訓練モードにおいて動作される。タスクを単純化するために、在庫ねじフィーダが、ねじを取り上げるために使用され得る。いったんねじがフィーダから取り上げられると、コントローラ112は、どのねじ孔が第1のウェイポイントとして指定されるかを決定するために、空間調節システム100と通信し、ロボットマニピュレータ102を、標的ねじ孔の可能な限り近く(ロボット粗調節の限界内)に移動させる。ロボットマニピュレータ102の現在の位置と、標的位置との間の差異が決定された後、コントローラ112は、標的(例えば、ねじ孔)をプラットフォーム114によって移動させ、マニピュレータ102の端部に位置するねじと整列させる。プラットフォーム114は、ロボットマニピュレータ102の軌道を動的に辿り、ねじとねじ孔の接触が成されるまで、ウェイポイントとロボットマニピュレータ102との間の距離に比例する速度において移動し得る。ロボットマニピュレータ102上の力センサが、締めるプロセスを監視し、コントローラ112にねじ挿入の完了を報告し得る。ロボットマニピュレータ102は、次いで、現在のねじ孔から引き出され、次のねじ孔(すなわち、訓練中に確立された次のウェイポイント)に移動させられる。本プロセスは、ねじ孔のインデックスが、メモリ内に記憶された最大インデックスもしくはタスクの終了を示す任意のインデックス数に等しくなる、またはロボットシステムが、オペレータによって手動で停止されるときまで、繰り返し得る。
ねじ孔内にねじを締めること等のタスクを実施するための代表的方法400が、図4に描写される。ステップ402では、コントローラ112は、タスクを開始するために、実行モードに設定される。ステップ404では、インデックスは、タスクの開始を示す「0」に設定され、タスクの完了を示すパラメータ「partDone」が、「偽」として設定される。ステップ406では、コントローラ112は、現在の標的インデックスが、タスクの終了を示すインデックスのものに等しいかどうかをチェックする。インデックスが等しい場合、partDoneは(ステップ408において)、「真」として設定され、ロボットシステムは(ステップ410において)、任意のさらなる標的操作を実施しない。インデックスが等しくない場合、ロボットシステムは、ねじがロボットマニピュレータ102によって保持されているかどうかをチェックする(ステップ412)。保持されていない場合、コントローラは、ねじが回復されるようにし(ステップ414)、保持されている場合、コントローラ112、ロボットマニピュレータ102、および空間調節システム100は、前述のアプローチを使用して、所与のタスクを実施するために、協働する(ステップ416)。ねじがねじ孔内に確実に締められていると確認した後(ステップ418)、標的インデックスは、1だけ増加され(ステップ420)、マニピュレータ102は、後続標的に対してタスクを実施するために移動させられる。
ねじの先端を位置決めする精度は、ねじ孔を有する物体の上部表面形状、ねじの長さ、およびツールチップマーカー110とねじ先端との間の距離等、多くの要因によって影響を受け得る。例えば、ねじ孔を有する物体の形状は、物体がツールチップマーカー110に接近し過ぎて位置する場合、ツールチップマーカー110から伝送される信号が、追跡システム104内のセンサによって検出されることを阻害し得る。これは、ねじ先端位置決めにおいて幾何学誤差をもたらし得る。種々の実施形態では、ツールチップマーカー110と、物体300の上部表面との間の垂直(z軸)距離は、ロボットマニピュレータ102を標的近くに移動させるための軌道を作成するために、ツールチップの理想的最終位置(すなわち、標的300の位置)とともに考慮される。一実装では、訓練モード中、ロボットアームがその理想的最終位置にもって来られた後、ロボットアームは、そこから離れて直接後退することを可能にされ、後退軌道は、記録される。コントローラ112は、次いで、記録された軌道への線形適合を実施し、線形後退軌道に関連付けられるパラメータを推定し、メモリ内に、最終所望位置とともにパラメータを記憶する。タスク実行モード中、追跡システム104が、ツールチップマーカー110から伝送/反射される信号を検出できない場合、ロボットマニピュレータ102は、信号が再び検出されるまで、事前決定された線形軌道を辿ってもよい。
線形アプローチに関連付けられるパラメータを決定するために、水平面におけるツールチップ110の位置は、標的上方のその高さに線形に依存すると仮定される。xおよびyの両方の水平方向は、制御および感知において分離されるので、各水平位置における変化は、x軸およびy軸モータに関する独立した制御パラメータに到着するために、他の水平位置における変化から独立して説明されることができる。例として、x水平方向における移動が、算出され、y軸モータ制御パラメータを導出するために、同じ計算が、全く同じ方法でy方向に対して繰り返されることができる。x水平方向とツールチップの高さとの間の関係は、以下のように与えられる。
式中、zおよびxは、それぞれ、高さおよび水平位置である。線形パラメータaおよびbは、標的位置から孔上方の初期線形経路の開始における位置にロボットアームを垂直に上昇させることによって訓練中に収集されるいくつかの位置点に基づいて決定され得る。
インデックスiと、追跡センサの検出範囲内のN個の軌道点とを伴う各標的に対して、2つの行列が、水平および垂直座標(xおよびz)において以下のように表されることができる。
式中、方程式(3)は、同次座標系における垂直座標を表す。方程式1は、次いで、以下のように、全ての収集された点に対して同時に書き換えられることができる。
これは、優決定線形系に対する基準解につながり、第i番目の標的に対する線形アプローチのパラメータを以下のように与える。
その結果、タスク実行モード中、第i番目の標的への線形軌道を説明するパラメータは、最終所望位置とともに読み出され得る。ロボットマニピュレータ102の移動中、コントローラ112は、現在のツールチップ位置x(t)を、決定された理想的線形経路上に投影することによって、ツールチップ位置(x(t);z(t))の動的調節を計算し得る。この投影は、したがって、コントローラ112に、ロボットマニピュレータ102がそれを通って移動するための、中間「標的」位置を提供する。これは、ロボットマニピュレータ102が、ただ最終理想的位置に向かうのではなく、理想的線形軌道に基づいて進行することを可能にする。故に、線形軌道は、例えば、いくつかの構成要素によって妨げられるツールチップマーカー110からの信号、またはロボットアーム制御システム内のわずかな不安定性、センサとアクチュエータ116との間の固有の不整列等に起因するロボットマニピュレータ102の突然の位置変化によって生じる、ロボットマニピュレータ102の失敗を回避する。
例えば、ツールチップマーカー110の測定された垂直位置z(t)に対して、この高さにおいて辿られる理想的水平位置

(t)は、以下のように与えられ得る。
この位置は、ツールチップマーカー110のこの理想的位置と実際の水平位置との位置差を最小限にするために、プラットフォーム114をあるステップ数Kだけ移動させることによって合致させられ得、ステップの数Kは、以下のように決定され得る。
式中、

は、速度ゲインであり、これは、ツールチップマーカー110から標的への距離に関連する定数または関数である。したがって、方程式(7)は、位置決めシステム106が、位置誤差を最小限にするために移動する必要がある、ステップの数Kについての情報を提供する。この調節プロセスは、マニピュレータ102が、標的の上部表面に到達するまで繰り返し得る。
より一般的には、本発明の原則は、ロボットとは物理的に別個であるが、タスクを実行する際にロボットを補助する、「ヘルパー」システムに適用され得る。例えば、前述されるプラットフォーム移動システムは、ワークピースを、具体的には、ロボットのマニピュレータに対するその位置を操作する、ヘルパーである。他の実施形態では、ヘルパーシステムは、異なる方法で(例えば、関連付けられた温度センサによって成される温度測定に基づいてワークピースを加熱または冷却して)ワークピースを操作し得るか、またはワークピースを含む空間領域内の状態を改変し得、再び、これは、例えば、対流空気流を使用して、領域を加熱または冷却することを伴い得る。さらに他の実施形態では、ヘルパーシステムは、ロボットマニピュレータと、例えば、その位置を微細調節する、動作のためにそれを準備する等によって(例えば、付属品を覆うことによって)、相互作用する。したがって、ヘルパーシステムは、それが実行する機能または複数の機能に関連する、任意の好適なセンサおよびアクチュエータを具備し得る。
本明細書に説明されるコントローラ112は、ロボットシステム、空間調節システム、またはロボットおよび空間調節システムの外部のシステムにおいて実装され得る。加えて、コントローラ112は、ソフトウェア、ハードウェア、またはそのある組み合わせにおいて実装され得る。例えば、本システムは、1つ以上のプロセッサを含むCPUボードを有するPC等、1つ以上のサーバクラスコンピュータ上に実装され得る。本明細書に説明されるメモリは、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、プログラマブル読み取り専用メモリ(PROM)、またはプログラマブル論理デバイス(PLD)等の一般的に利用可能なハードウェア上に常駐するランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、および/またはフラッシュメモリを含み得る。いくつかの実施形態では、本プログラムは、光学ディスク、磁気ディスク等の外部RAMおよび/またはROMだけでなく、他の一般的に使用される記憶デバイスを使用して提供され得る。
コントローラ112がソフトウェアプログラムとして提供される実施形態に関して、本プログラムは、FORTRAN、PASCAL、JAVA(登録商標)、C、C++、C#、LISP、PERL、BASIC、PYTHON、または任意の好適なプログラミング言語等のいくつかの高級言語のうちの任意の1つで書き込まれ得る。
概して、図5の500において示される、代表的制御システムが、前述の機能を実施するために、プログラム命令を実行する。システム500は、中央処理装置(「CPU」)502と、概して、504、506において示される、1つ以上のコンピュータ記憶デバイスとを含む。通常、記憶デバイス504は、不揮発性大容量記憶装置を提供し、例えば、EEPROM、フラッシュROM、ハードディスク、またはCD−ROMドライブであり得、記憶装置506は、一時的記憶および処理のための揮発性RAMと、本システムの動作命令の恒久的側面を含む不揮発性PROMとの組み合わせから成る。システム500はさらに、ロボットアーム102(またはロボット100)に(無線で、またはケーブルを介して)接続される、I/Oモジュール510aと、位置決めシステム116と通信する、510bとを含む、複数の入力/出力(I/O)モジュールを含む。これらのI/Oモジュールは、コントローラ500が、ロボットアームおよび位置決めシステムの状態を感知し、それらに制御信号を送信することを可能にする。コントローラ500の種々の内部構成要素は、双方向性システムバス520を経由して相互通信する。コントローラ500はまた、同じくバス520に接続され、オペレータがコントローラをプログラムし、および/または情報を入力することを可能にする、1つ以上の入力デバイス525も備えている。
記憶装置506は、CPU502の動作を通して、前述されるようなコントローラ500によって実施される機能を実装する、一連の機能ブロックまたはモジュールを含む。制御ブロック540は、I/Oモジュール510aを介して位置決めシステム116を動作させるためのコンピュータ実行可能命令を含む。記憶装置506はまた、メモリ分配、ファイル管理、および記憶デバイス504の動作等の低レベルの基本システム機能と、オペレータとの簡単な相互作用を促進する、ユーザインターフェース555を定義する命令との実行を命令する、オペレーティングシステム550を含み得る。ネットワークインターフェース560が、遠隔ネットワークまたはネットワークホストを介して、コントローラ500との通信を促進する。
本明細書に使用されるように、「ほぼ」という用語は、±10%を意味し、いくつかの実施形態では、±20%を意味する。本明細書全体を通して、「一実施例」、「ある実施例」、「一実施形態」、または「ある実施形態」の言及は、実施例と関係して説明される特定の特徴、構造、または特性が、本技術の少なくとも1つの実施例に含まれることを意味する。したがって、本明細書全体を通した種々の箇所における「一実施例では」、「ある実施例では」、「一実施形態」、または「ある実施形態」という語句の出現は、必ずしも全てが同じ実施例を指すわけではない。その上さらに、特定の特徴、構造、ルーチン、ステップ、または特性は、本技術の1つ以上の実施例において、任意の好適な様式で組み合わせられ得る。本明細書に提供される表題は、便宜上のためだけのものであり、請求される技術の範囲または意味を限定または解釈することは意図されない。
本明細書に採用される用語および表現は、限定ではなく、説明の用語および表現として使用され、そのような用語および表現の使用において、示され、説明される特徴の任意の均等物またはその一部を除外する意図はない。加えて、本発明のある実施形態を説明しているが、本明細書に開示される概念を組み込む他の実施形態が、本発明の精神および範囲から逸脱することなく使用され得ることが、当業者に明白となるであろう。故に、説明される実施形態は、あらゆる点で例証的にすぎず、制限的ではないと見なされる。

Claims (18)

  1. 標的を操作するためのロボットシステムであって、前記システムは、
    ロボットマニピュレータと、
    前記ロボットマニピュレータから物理的に分離し、前記標的を支持し、移動させる位置決めシステムと、
    前記ロボットマニピュレータの位置を検出する追跡システムと、
    前記追跡システムに応答して、前記追跡システムによって検出された前記ロボットマニピュレータの位置に少なくとも部分的に基づいて、前記標的の位置を調節するように前記位置決めシステムを制御するように構成されている、コントローラと
    を備えている、システム。
  2. 前記位置決めシステムは、
    前記標的を支持するための移動可能プラットフォームと、
    前記コントローラに応答して、前記標的位置を調節するために前記プラットフォームを移動させる少なくとも1つのアクチュエータと
    を備えている、請求項1に記載のシステム。
  3. 前記ロボットマニピュレータは、光源を備え、前記追跡システムは、撮像デバイスを備えている、請求項2に記載のシステム。
  4. 前記光源は、ヒトの眼に見えるスペクトル外の光を生成する、請求項3に記載のシステム。
  5. 前記位置決めシステムは、前記標的を第1の方向に平行移動させる第1のアクチュエータと、前記標的を第2の方向に平行移動させる第2のアクチュエータとを備え、前記第2の方向は、前記第1の方向と異なる、請求項2に記載のシステム。
  6. 前記位置決めシステムは、前記標的を第3の方向に平行移動させる第3のアクチュエータをさらに備え、前記第3の方向は、前記第1および第2の方向と異なる、請求項5に記載のシステム。
  7. 前記少なくとも1つのアクチュエータは、複数のアクチュエータであり、前記複数のアクチュエータのうちの少なくとも1つは、並進アクチュエータであり、前記複数のアクチュエータのうちの少なくとも1つは、回転アクチュエータである、請求項2に記載のシステム。
  8. 前記コントローラは、前記標的位置を調節し、前記標的を前記ロボットマニピュレータと整列させるようにさらに構成されている、請求項1に記載のシステム。
  9. 標的をロボット操作する方法であって、前記方法は、
    前記標的の位置を決定することと、
    ロボットマニピュレータを前記標的位置に大ざっぱに移動させることと、
    前記ロボットマニピュレータの位置を検出することと、
    前記ロボットマニピュレータの検出された位置に少なくとも部分的に基づいて、前記標的位置を調節することと
    を含む、方法。
  10. 前記ロボットマニピュレータが、前記標的位置に大ざっぱに移動するための最適経路を決定することをさらに含む、請求項9に記載の方法。
  11. 前記最適経路は、前記移動の前の前記ロボットマニピュレータの位置と、前記標的位置とに少なくとも部分的に基づいて決定される、請求項10に記載の方法。
  12. 前記最適経路は、第2の標的の位置に少なくとも部分的に基づいてさらに決定される、請求項11に記載の方法。
  13. 前記標的位置調節の速度は、前記標的と、前記ロボットマニピュレータの検出された位置との間の距離に基づいて決定される、請求項9に記載の方法。
  14. 前記標的位置は、前記標的を前記ロボットマニピュレータと整列させるように調節される、請求項9に記載の方法。
  15. ワークピースに対してタスクを実施するロボットシステムであって、
    前記ワークピースを操作するロボットマニピュレータを備えているロボットと、
    前記ロボットから物理的に分離したヘルパーシステムと
    を備え、
    前記ヘルパーシステムは、
    (a)ワークピース、(b)前記ワークピースを含む空間領域、または(c)前記ロボットマニピュレータのうちの少なくとも1つの状態を感知する感知システムと、
    前記感知システムに応答して、前記タスクを実施している前記ロボットを補助するように前記ヘルパーシステムを動作させるように構成されているコントローラと
    を備えている、システム。
  16. 前記コントローラは、前記ワークピースを操作するように前記ヘルパーシステムを動作させるように構成されている、請求項15に記載のシステム。
  17. 前記コントローラは、前記ワークピースを含む空間領域内の状態を改変するように前記ヘルパーシステムを動作させるように構成されている、請求項15に記載のシステム。
  18. 前記コントローラは、前記ロボットマニピュレータと相互作用するように前記ヘルパーシステムを動作させるように構成されている、請求項15に記載のシステム。
JP2016521626A 2013-10-11 2014-10-10 向上した正確度を伴うロボット配置および操作 Pending JP2016536150A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361889630P 2013-10-11 2013-10-11
US61/889,630 2013-10-11
PCT/US2014/060078 WO2015054599A2 (en) 2013-10-11 2014-10-10 Robotic placement and manipulation with enhanced accuracy

Publications (1)

Publication Number Publication Date
JP2016536150A true JP2016536150A (ja) 2016-11-24

Family

ID=51894190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016521626A Pending JP2016536150A (ja) 2013-10-11 2014-10-10 向上した正確度を伴うロボット配置および操作

Country Status (4)

Country Link
US (1) US9457475B2 (ja)
JP (1) JP2016536150A (ja)
CN (1) CN105916636B (ja)
WO (1) WO2015054599A2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2845065B1 (en) * 2012-05-04 2019-09-18 Leoni Cia Cable Systems SAS Imitation learning method for a multi-axis manipulator
KR101703566B1 (ko) * 2015-08-13 2017-02-07 한국식품연구원 영상 촬영장치와 이를 구비한 색채 측정시스템
US10564031B1 (en) * 2015-08-24 2020-02-18 X Development Llc Methods and systems for determining errors based on detected sounds during operation of a robotic device
JP6382906B2 (ja) * 2016-10-17 2018-08-29 ファナック株式会社 ロボット及びロボットにおける表示灯の設置方法
CN110788873A (zh) * 2018-08-03 2020-02-14 台达电子工业股份有限公司 机械手臂的自动对位系统及方法
JP7192359B2 (ja) * 2018-09-28 2022-12-20 セイコーエプソン株式会社 ロボットを制御する制御装置、および制御方法
JP7000361B2 (ja) * 2019-01-24 2022-01-19 ファナック株式会社 追随ロボットおよび作業ロボットシステム
US11247335B2 (en) * 2019-07-18 2022-02-15 Caterpillar Inc. Semi-autonomous robot path planning
CN111917978B (zh) * 2020-07-21 2022-03-08 北京全路通信信号研究设计院集团有限公司 工业相机的调节装置和方法及拍摄装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511825A (ja) * 1991-07-03 1993-01-22 Matsushita Electric Ind Co Ltd ロボツトの軌跡補正装置
JP2003191186A (ja) * 2001-12-25 2003-07-08 Nissan Motor Co Ltd ロボット教示データの補正方法
JP2010214514A (ja) * 2009-03-16 2010-09-30 Ihi Corp 組立装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
JP2786225B2 (ja) * 1989-02-01 1998-08-13 株式会社日立製作所 工業用ロボットの制御方法及び装置
CA2273729A1 (en) * 1998-07-14 2000-01-14 Bayer Corporation Robotics for transporting containers and objects within an automated analytical instrument and service tool for servicing robotics
GB2348385B (en) * 1998-11-24 2002-12-24 Honda Motor Co Ltd Machining centre, contouring process and tool supporting mechanism, tool changer, curvic coupling device, and pallet changer in machine tool.
GB2363861A (en) 2000-06-19 2002-01-09 Robotic Technology Systems Plc Processing an object, eg a workpiece, by a tool
US6812665B2 (en) * 2002-04-19 2004-11-02 Abb Ab In-process relative robot workcell calibration
JP3830477B2 (ja) * 2003-09-04 2006-10-04 ファナック株式会社 ワーク持ち替え装置
GB0513899D0 (en) * 2005-07-06 2005-08-10 Airbus Uk Ltd Program-controlled process
CN1730248A (zh) * 2005-08-20 2006-02-08 大连海事大学 一种逆向工程机器人系统
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP2009091129A (ja) * 2007-10-10 2009-04-30 Denso Corp ワーク把持具及びワーク把持具を用いたワーク搬送装置
WO2009123956A1 (en) 2008-03-31 2009-10-08 Abb Research Robot parts assembly on a workpiece moving on an assembly line
US8126114B2 (en) * 2008-09-12 2012-02-28 Accuray Incorporated Seven or more degrees of freedom robotic manipulator having at least one redundant joint
US8244402B2 (en) * 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
US9643316B2 (en) * 2009-10-27 2017-05-09 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation
JP5521506B2 (ja) 2009-11-19 2014-06-18 セイコーエプソン株式会社 ロボット
JP5715809B2 (ja) * 2010-03-29 2015-05-13 株式会社ダイヘン ロボットの作業プログラム作成方法、ロボットの作業プログラム作成装置、及びロボット制御システム
EP2453325A1 (en) * 2010-11-16 2012-05-16 Universal Robots ApS Method and means for controlling a robot
US8965563B2 (en) 2011-04-04 2015-02-24 Palo Alto Research Incorporated High throughput parcel handling
CN103341854A (zh) * 2013-07-24 2013-10-09 苏州大学 一种双轴控制搬运机械手

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511825A (ja) * 1991-07-03 1993-01-22 Matsushita Electric Ind Co Ltd ロボツトの軌跡補正装置
JP2003191186A (ja) * 2001-12-25 2003-07-08 Nissan Motor Co Ltd ロボット教示データの補正方法
JP2010214514A (ja) * 2009-03-16 2010-09-30 Ihi Corp 組立装置

Also Published As

Publication number Publication date
US9457475B2 (en) 2016-10-04
CN105916636B (zh) 2019-08-06
WO2015054599A3 (en) 2015-08-27
CN105916636A (zh) 2016-08-31
US20150105908A1 (en) 2015-04-16
WO2015054599A2 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
JP2016536150A (ja) 向上した正確度を伴うロボット配置および操作
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN109313417B (zh) 帮助机器人定位
US9517560B2 (en) Robot system and calibration method of the robot system
US10525597B2 (en) Robot and robot system
US10107618B2 (en) Coordinate measuring machine
US9517563B2 (en) Robot system using visual feedback
US20160184996A1 (en) Robot, robot system, control apparatus, and control method
JP6906508B2 (ja) センサ装置、および、当該センサ装置を備えたロボットシステム
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2018176334A5 (ja)
JP6900290B2 (ja) ロボットシステム
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP6787294B2 (ja) ロボットシステム、制御方法、及びロボット
JP6897396B2 (ja) 制御装置、ロボットシステムおよび制御方法
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
WO2015070010A1 (en) Calibration system and method for calibrating industrial robot
JP6565175B2 (ja) ロボットおよびロボットシステム
WO2017133756A1 (en) Robot system calibration
CN111278608A (zh) 用于3d视觉机器人系统的校准物品
US20140094951A1 (en) Working unit control device, working robot, working unit control method, and working unit control program
Maric et al. Unsupervised optimization approach to in situ calibration of collaborative human-robot interaction tools
JP2006297559A (ja) キャリブレーションシステムおよびロボットのキャリブレーション方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
Liyanage et al. A single time scale visual servoing system for a high speed SCARA type robotic arm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190920