JP2020536753A - エンドエフェクタ較正の組立体、システム、および方法 - Google Patents

エンドエフェクタ較正の組立体、システム、および方法 Download PDF

Info

Publication number
JP2020536753A
JP2020536753A JP2020519698A JP2020519698A JP2020536753A JP 2020536753 A JP2020536753 A JP 2020536753A JP 2020519698 A JP2020519698 A JP 2020519698A JP 2020519698 A JP2020519698 A JP 2020519698A JP 2020536753 A JP2020536753 A JP 2020536753A
Authority
JP
Japan
Prior art keywords
end effector
camera assembly
assembly
image capture
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020519698A
Other languages
English (en)
Inventor
カムブロン,スコット・ダグラス
イーライ,カイル
Original Assignee
アドバンスト・ソリューションズ・ライフ・サイエンシズ,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アドバンスト・ソリューションズ・ライフ・サイエンシズ,エルエルシー filed Critical アドバンスト・ソリューションズ・ライフ・サイエンシズ,エルエルシー
Publication of JP2020536753A publication Critical patent/JP2020536753A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37046Use simultaneous several pairs of stereo cameras, synchronized
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39024Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39026Calibration of manipulator while tool is mounted
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39039Two cameras detect same reference on workpiece to define its position in space
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39041Calibrate only for end position

Abstract

エンドエフェクタ較正組立体が、電子制御装置と、電子制御装置に通信可能に結合される第1のカメラ組立体と、電子制御装置に通信可能に結合される第2のカメラ組立体とを有する。第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差する。電子制御装置が、第1のカメラ組立体から画像データを受信し、第2のカメラ組立体から画像データを受信し、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正する。【選択図】なし

Description

関連出願の相互参照
[0001]本出願は、2017年10月6日付け出願の発明の名称を「Camera Based Object Detection and Calibration System having Six Degrees of Freedom(6自由度を有する、カメラベースの物体検出および較正システム)」とする米国仮特許出願第62/568,869号の利益を主張するものであり、参照によりその全体が本明細書に組み込まれる。
[0002]本明細書は、一般に、ロボットエンドエフェクタの較正に関し、より詳細には、ロボットエンドエフェクタを較正するための、組立体、システム、および方法に関する。
[0003]最初の産業用ロボットは1950年代に開発された。過去半世紀にわたり、ロボットテクノロジは、速度の向上、精度の向上、例えば3軸ガントリシステムから6軸および7軸ロボットアーム組立体へといったような可動性の向上により、様々な点で改善され続けている。上記ロボットシステムの運動および制御はより複雑になっており、これらの複雑な動きをプログラムするための、さらにはそれに加えてロボットの実際のロケーションおよび軌道ならびにロボットの担持している物を確認および実証するためのプロセスおよびワークフローを決定するための、方法を決定することを技術者チームに求める。ロボットアームに取り付けられるエンドエフェクタを採用するロボットアームの用途には、限定しないが:構造的用途(structural application)のための正確で再現性のある溶接のためには溶接用ワイヤの端部を把握しなければならないようなMIG溶接と、印刷回路基板の組み立てプロセスにおいてCMOSチップを正確に位置決めするのを必要とするピックアンドプレースグリッパと、印刷ステージおよび他の印刷構造を基準としてニードル先端部を正確に位置決めするのを必要とする分配ニードル(dispensing needle)と、生体試料からの組織を切断して分離するために正確な位置決めを必要とする外科用メスとが含まれる。
[0004]したがって、考えられるエンドエフェクタの用途を考慮すると、所望される幾何学形状または形状のファクタに関係なく、エンドエフェクタ先端部のロケーションおよび向きを較正する方法の需要が存在する。適切に較正することで、エンドエフェクタ先端部のロケーションおよび向きを把握することと、空間情報を翻訳して、予めプログラムされたロボット座標系へと幾何学的に変換するのを可能にすることと、を保証することができる。
[0005]従来の較正テクニックには、赤外線ビームを遮断するためにエンドエフェクタに赤外線ビームを通過させることが含まれる。ビームを遮断する場所に基づき、エンドエフェクタの位置が決定され得る。しかし、このプロセスは、エンドエフェクタの位置を適切に較正するまでに、赤外線ビームを複数回通過することを必要とする可能性がある。したがって、このプロセスは、時間を要するものであり面倒である可能性がある。したがって、これらの問題に対処する新しいエンドエフェクタ較正の組立体、システム、および方法が所望される。
[0006]一実施形態で、エンドエフェクタ較正組立体が、電子制御装置と、電子制御装置に通信可能に結合される第1のカメラ組立体と、電子制御装置に通信可能に結合される第2のカメラ組立体とを有する。第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差する。電子制御装置が、第1のカメラ組立体から画像データを受信し、第2のカメラ組立体から画像データを受信し、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正する。
[0007]別の実施形態で、エンドエフェクタ較正組立体が、電子制御装置と、電子制御装置に通信可能に結合されるロボットアームと、ロボットアームの端部に結合されるロボットエンドエフェクタと、電子制御装置に通信可能に結合される第1のカメラ組立体と、電子制御装置に通信可能に結合される第2のカメラ組立体とを有する。第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差する。電子制御装置が、ロボットエンドエフェクタを第1の画像捕捉経路および第2の画像捕捉経路内に配置するように、ロボットアームを移動させ、第1のカメラ組立体から画像データを受信し、第2のカメラ組立体から画像データを受信し、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正する。
[0008]別の実施形態で、ロボットエンドエフェクタの位置を較正するための方法が、ロボットエンドエフェクタを第1のカメラ組立体の第1の画像捕捉経路および第2のカメラ組立体の第2の画像捕捉経路の中に同時に配置することと;第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置決めを較正することと、を含む。
[0009]本明細書で説明される実施形態によって提供されるこれらのおよび追加の特徴が、図面と併せて以下の詳細な説明を参照することにより、より完全に理解される。
[0010]図面に記載される実施形態は本質的に説明的および例示的であり、特許請求の範囲によって定義される主題を限定することを意図しない。例示の実施形態の以下の詳細な説明は、同様の構造を同様の参照符号で示している以下の図面と併せて読むことにより、理解され得る。
本明細書で示されて説明される1つまたは複数の実施形態によるエンドエフェクタ較正システムを示す図である。 本明細書で示されて説明される1つまたは複数の実施形態による、図1のエンドエフェクタ較正システムを概略的に示す図である。 本明細書で示されて説明される1つまたは複数の実施形態によるエンドエフェクタ較正組立体を示す斜視図である。 本明細書で示されて説明される1つまたは複数の実施形態による図3のエンドエフェクタ組立体を示す上面図である。 本明細書で示されて説明される1つまたは複数の実施形態による図3のエンドエフェクタ組立体を示す分解図である。 本明細書で示されて説明される1つまたは複数の実施形態による図3のエンドエフェクタ組立体を示す正面図である。 本明細書で示されて説明される1つまたは複数の実施形態による、分離した状態のカメラ組立体を示す正面斜視図である。 本明細書で示されて説明される1つまたは複数の実施形態による図7Aのカメラ組立体を示す背面斜視図である。 本明細書で示されて説明される1つまたは複数の実施形態による図7Aのカメラ組立体を示す分解図である。 本明細書で示されて説明される1つまたは複数の実施形態による、分離した状態のバックライト組立体を示す正面斜視図である。 本明細書で示されて説明される1つまたは複数の実施形態による図8Aのバックライト組立体を示す背面斜視図である。 本明細書で示されて説明される1つまたは複数の実施形態による図8Aのバックライト組立体を示す分解図である。 図9Aは、本明細書で示されて説明される1つまたは複数の実施形態による、分離した状態のバックライト組立体を示す正面斜視図である。 図9Bは、本明細書で示されて説明される1つまたは複数の実施形態による図9Aのバックライトを示す分解図である。 本明細書で示されて説明される1つまたは複数の実施形態によるロボットエンドエフェクタを較正するための方法を示すフローチャートである。 図11Aは、本明細書で示されて説明される1つまたは複数の実施形態による、図1のエンドエフェクタ較正システム内に配置されるエンドエフェクタの先端部を示す斜視図である。図11Bは、本明細書で示されて説明される1つまたは複数の実施形態による図11Aの側面図である。 図12Aは、本明細書で示されて説明される1つまたは複数の実施形態による、第1のカメラ組立体からの、ロボットエンドエフェクタを較正するための画像データを示す図である。図12Bは、本明細書で示されて説明される1つまたは複数の実施形態による、第2のカメラ組立体からの、ロボットエンドエフェクタを較正するための画像データを示す図である。
[0030]本開示の実施形態は、エンドエフェクタ較正の組立体、システム、および方法を対象とする。例えば、エンドエフェクタ較正システムが、限定しないが、第1のカメラ組立体および第2のカメラ組立体を有することができ、ここでは、第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差する。第1および第2のカメラ組立体から受信される画像データが、電子制御装置により、ロボットエンドエフェクタの、また特にはロボットエンドエフェクタの先端部の、位置を迅速かつ効果的に較正するのを可能にすることができる。いくつかの事例では、電子制御装置がさらに、ツールの種類を認識することができ、それに応じて較正計算を調整することができる。また、いくつかの事例では、電子制御装置が、エンドエフェクタの摩損、ロボットアームに対してのロボットエンドエフェクタの適切な組み付け、またはロボットエンドエフェクタの他の特性を判断するために画像データを処理するように構成され得る。これらのおよび追加の特徴を以下でさらに詳細に考察する。
[0031]ここで図1を参照すると、エンドエフェクタ較正システム100が概略的に描かれている。図1では、エンドエフェクタ較正システム100が、例えば、ケンタッキー州、ルーイビルにあるAdvanced Solutions Life Sciencesによって生産されるBioAssemblyBot(登録商標)などの、3−Dプリンタ10に組み込まれて示されている。しかし、エンドエフェクタ較正システムが、ロボットエンドエフェクタを利用する任意のロボット組立体と共に使用され得る。これは例えば、ロボット溶接システム、ロボットピックアンドプレースシステム、ロボット手術システムなどである。エンドエフェクタ較正システム100は、全体として、電子制御装置104と、ロボットアーム110と、エンドエフェクタ較正組立体120とを有する。本明細書でさらに詳細に説明されるように、電子制御装置104が、ロボットエンドエフェクタ114の位置を較正するために、ロボットエンドエフェクタ114をエンドエフェクタ較正組立体120の中に配置するようにロボットアーム110を制御することができる。
[0032]ロボットアーム110が、予めプログラムされるロボット座標系に沿う種々のモーションのために構成され得る。例えば、ロボットアーム110が、5軸モーション、6軸モーション、7軸モーション、またはそれ以上のモーションのために構成され得る。ロボットアーム110が、ロボットアーム110に取り付けられるロボットエンドエフェクタ114を有するように構成され得る。例えば、ロボットエンドエフェクタ114がロボットアーム110の遠位端112に結合され得る。図11A、11Bを簡単に参照すると、ロボットアーム110の端部112が、ロボットアーム110の端部112にロボットエンドエフェクタ114が取り付けられた状態で全体的に描かれている。例えば、ロボットアーム110がロボットマニピュレータ113を有することができ、ロボットマニピュレータ113にエンドエフェクタが取り付けられる。ロボットマニピュレータ113が、ロボットアーム110を移動させることができる種々の位置のための、把握されている/計算される(例えば、電子制御装置104により)ツールセンターポイント(TCP:tool center point)を有する。エンドエフェクタの先端部116がTCP内に位置合わせされ得るが、多くの事例でエンドエフェクタの先端部116がいくらかの程度でオフセットされることから、それに応じて、種々のタスク(例えば、3−Dプリンティング、切断、ピックアンドプレースオペレーション、溶接など)を実施するためにロボットアーム110を用いてのエンドエフェクタの適切な位置決めを判断するためには、エンドエフェクタの先端部116のロケーションが較正されなければならない。本明細書で説明されるエンドエフェクタ較正システム100はこの問題を対象としているものであり、この問題を解決するものである。
[0033]図2が、電子制御装置104と、ロボットアーム110と、エンドエフェクタ較正組立体120とを有するエンドエフェクタ較正システム100を概略的に示している。図2の図では、エンドエフェクタ較正システム100の種々の構成要素の間の通信が、通信経路102を介して実現され得る。
[0034]電子制御装置104が、プロセッサ105と、メモリ106とを有することができる。プロセッサ105が、非一時的なコンピュータ可読媒体に保存される機械可読命令を実行することができる任意のデバイスを有することができる。したがって、プロセッサ105が、制御装置、集積回路、マイクロチップ、コンピュータ、および/または任意の他の計算デバイスを有することができる。メモリ106が通信経路102を介してプロセッサ105に通信可能に結合される。メモリ106が揮発性メモリおよび/または不揮発性メモリとして構成され得、したがって、ランダムアクセスメモリ(SRAM、DRAM、および/または他の種類のRAMを含む)、フレッシュメモリ、セキュアデジタル(SD:secure digital)メモリ、レジスタ、コンパクトディスク(CD:compact disc)、デジタルバーサタイルディスク(DVD:digital versatile disc)、および/または他の種類の非一時的なのコンピュータ可読媒体を有することができる。特定の実施形態に応じて、これらの非一時的なコンピュータ可読媒体がエンドエフェクタ較正システム100の中に存在してよく、および/またはエンドエフェクタ較正システム100の外部にあってよい。メモリ106が、エンドエフェクタ較正システム100の種々の構成要素を制御するための1つまたは複数の論理を保存するように構成され得る。本明細書で説明される実施形態は、本明細書で説明される論理の任意の部分を実施するために分散型の計算構成を利用することができる。
[0035]したがって、電子制御装置104は、限定しないが、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなどを含めた、任意の計算デバイスであってよい。電子制御装置104が、通信経路102を介して、エンドエフェクタ較正システム100の他の構成要素に通信可能に結合され得、通信経路102が、エンドエフェクタ較正システム100の種々の構成要素の間で信号の相互接続性を実現する。本明細書で使用される「通信可能に結合される」という用語は、結合される構成要素が互いにデータ信号をやりとりすることができ、例えば、導電性媒体を介して電気信号をやりとりすること、空気を介して電磁信号をやりとりすること、光導波管を介して光学信号をやりとりすること、などを行うことができる、ことを意味する。
[0036]したがって、通信経路102が、例えば、導電性ワイヤ、導電性トレース、または光導波管などの、信号を送信することができる任意の媒体から形成され得る。いくつかの実施形態では、通信経路102が、WiFiおよびBluetoothなどの、無線信号の送信を容易にすることができる。また、通信経路102は、信号を送信することができる媒体の組合せから形成されてもよい。一実施形態では、通信経路102が、プロセッサ、メモリ、センサ、入力デバイス、出力デバイス、および通信デバイスなどの構成要素に電気データ信号を送信するのを可能にするために協働する、導電性トレース、導電性ワイヤ、コネクタ、およびバス、の組合せを備えることができる。したがって、通信経路102が、例えば、LINバス、CANバス、およびVANバスなどの、ビークルバスを含むことができる。また、「信号」という用語が、媒体を通って移動することができる、DC、AC、正弦波、三角波、方形波、および振動などの、波形(例えば、電気波形、光波形、磁気波形、機械的波形、または電磁波形)を意味することに留意されたい。
[0037]本明細書でさらに詳細に説明されるように、電子制御装置104が、ロボットエンドエフェクタ(例えば、ロボットエンドエフェクタの先端部)のロケーションを較正するためにロボットアーム110およびエンドエフェクタ較正組立体120の動作を制御することができ、その結果、ロボットエンドエフェクタの運動に対しての正確な制御が達成され得る。ロボットエンドエフェクタの位置を較正するために、エンドエフェクタ較正組立体120が第1のカメラ組立体130aおよび第2のカメラ組立体130bを有する。第1のカメラ組立体130aおよび第2のカメラ組立体130bが、通信経路102を介して、電子制御装置104に通信可能に結合される。しかし、エンドエフェクタ較正組立体120がより多くのカメラ組立体を有することができることも企図される。例えば、エンドエフェクタ較正組立体が第3のカメラ組立体を有することができる。加えて、エンドエフェクタ較正組立体120が、1つまたは複数のバックライト組立体150をさらに有することができる。いくつかの事例では、1つまたは複数のバックライト組立体150が電子制御装置104に通信可能に結合され得、その結果、電子制御装置104が、例えば較正手順中に、1つまたは複数のバックライト組立体150を動作させるための論理を実行することができる。
[0038]再び図1を参照すると、エンドエフェクタ較正組立体120が3Dプリンタ10に組み込まれて示されている。示される実施形態で、エンドエフェクタ較正組立体120が印刷ステージ20に隣接して配置される。印刷ステージ20が、昇降式プラットフォーム21と3Dプリンタ10のベース表面12との間で昇降式プラットフォーム21の周縁部の周りを延在するスカート22を有する昇降式プラットフォーム21として示されている。しかし、上で述べたように、エンドエフェクタ較正組立体120が他のロボットシステムに組み込まれてもよい。したがって、エンドエフェクタ較正組立体120が、ロボットエンドエフェクタの位置を較正するために、ロボットエンドエフェクタを取り付けているロボットアームによりロボットエンドエフェクタをエンドエフェクタ較正組立体120の中に挿入することができるような任意の場所に配置され得る。例えば、エンドエフェクタ較正組立体120が印刷ステージ20の中に埋設され得る。
[0039]図3が、分離した状態の、印刷ステージ20のスカート22に取り付けられたエンドエフェクタ較正組立体120の斜視図を示す。エンドエフェクタ較正組立体120が、エンドエフェクタ較正組立体120の種々の構成要素を構造的に支持するためのハウジング160を有することができる。例えば、ハウジング160が、第1のカメラ組立体130a、第2のカメラ組立体130b、および1つまたは複数のバックライト組立体150を支持することができる。例えば、ハウジング160が、第1の側壁162と、第1の側壁162に結合される第2の側壁164とを有することができる。第1のカメラ組立体130aが第1の側壁162に設置され得、第2のカメラ組立体130bが第2の側壁164に設置され得、それにより第1のカメラ組立体130aを基準として第2のカメラ組立体130bが位置決めされる。第1のカメラ組立体130aおよび第2のカメラ組立体130bが、図1および2に表示されるような予めプログラムされるロボット座標系(例えば、X−Y座標系)を用いて位置合わせされるように設置され得る。例えば、第1のカメラ組立体130aがロボット座標系のY軸を用いて位置合わせされ得、第2のカメラ組立体130bがロボット座標系のX軸を用いて位置合わせされ得る。ハウジング160が概して正方形形状または長方形形状を有するものとして説明されるが、ハウジング160が、第1の側壁および第2の側壁を湾曲させて一方からもう一方へ滑らかに移行することができるような、円筒形形状を有することができることも企図される。
[0040]図4がエンドエフェクタ較正組立体120の上面図を示す。示される実施形態では、第1のカメラ組立体130aが第1の画像捕捉経路133aを有し、第2のカメラ組立体130bが第2の画像捕捉経路133bを有する。第1のカメラ組立体130aの第1の画像捕捉経路133aが第2のカメラ組立体130bの第2の画像捕捉経路133bと交差する。例えば、第1の画像捕捉経路133aが第2の画像捕捉経路133bと直角に交差するように方向付けられ得る。第2の画像捕捉経路133bに対して直角となるように第1の画像捕捉経路133aを方向付けるために、第2のカメラ組立体130bを第1のカメラ組立体130aに対して直角となるように配置するように、第1のカメラ組立体130aがハウジング160の第1の側壁162に設置され得、第2のカメラ組立体130bが第2の側壁164に設置され得る。
[0041]図5がエンドエフェクタ較正組立体120の分解図を示す。示される実施形態では、ハウジング160が、主ハウジング部分170、バックライトハウジング部分180、およびベースワイヤハウジング部分190を有する。一体に組み立てられている状態では、図3および4に示されるように、ハウジング160が、そこを通してロボットエンドエフェクタを受けるように構成される開口部163を有するエンクロージャ161を形成する。種々の構成要素が、固定具(例えば、ねじ式固定具、ブッシュ、など)を使用することなどの任意の従来の結合テクニックを介して互いに結合され得る。いくつかの実施形態では、種々の構成要素が、溶接またはろう付けなどを介して互いに固定され得る。上で述べたように、ハウジング160は正方形構造または長方形構造を概して有するものとして示されているが、代わりに、ハウジングの種々の構成要素が円形形状または円筒形形状を有してもよい。したがって、エンクロージャが、任意の多角形形状または非多角形形状を有することができる(例えば、円形、正方形、長方形、など)。
[0042]主ハウジング部分170が第1の側壁162および第2の側壁164を有する。第1の側壁162および第2の側壁164が、図2に示されるように、第1のカメラ組立体130aおよび第2のカメラ組立体130bにインターフェース接続されるように、および第1のカメラ組立体130aおよび第2のカメラ組立体130bを制御ユニットに電気的にかつ通信可能に結合するように、形成される電気接続部を有することができる。例えば、第1のカメラ組立体130aおよび第2のカメラ組立体130bがUSBなどの電気接続部を有することができ、第1および第2の側壁が受けポートを有することができ、第1のカメラ組立体130aおよび第2のカメラ組立体130bがこれらの受けポートの中に差し込まれ得る。カメラ組立体は図7A〜7Cに関連して後でさらに詳細に説明される。カメラ組立体が、例えば、より高いピクセル数、より高いズーム機能などを有するカメラ組立体と容易に交換され得ることに留意されたい。したがって、カメラ組立体は、迅速な交換性を得るために主ハウジング部分170に容易に接続されたりまたは主ハウジング部分170から容易に外されたりされ得るモジュールユニットであってよい。
[0043]バックライトハウジング部分180が、1つまたは複数のバックライト組立体150を構造的に支持することができる。例えば、バックライトハウジング部分180が、エンクロージャ161を形成するために主ハウジング部分170の第1の側壁162および第2の側壁の両方に結合され得る壁181を有することができる。例えば、壁181が、第1の壁部分182を基準として角度をつけられる第1の壁部分182および第2の壁部分184を有することができる。例えば、第2の壁部分184が第2の壁部分184に対して直角に配置され得る。接続壁部分185が、主ハウジング部分170の第2の側壁164に結合されるように第1の壁部分182から延在することができる。接続壁部分185が第1の壁部分182を基準として角度をつけられ得る。例えば、接続壁部分185が、図5に示されるように、第1の壁部分182から直角にかつ第2の壁部分184に平行に延在することができる。
[0044]1つまたは複数のバックライト組立体150がバックライトハウジング部分180上に設置され得、第1のカメラ組立体130aおよび第2のカメラ組立体130bの方に方向付けられ得る。1つまたは複数のバックライト組立体150が、第1の画像捕捉経路133aおよび第2の画像捕捉経路133bのうちの少なくとも一方の方に光を向けるように位置決めされ得る。例えば、第1のバックライト組立体150aは、第1の光が第1の画像捕捉経路133aに沿わって方向付けられるように、第1のカメラ組立体130aの反対側に配置され得る。したがって、第1のバックライト組立体150aがバックライトハウジング部分180の第1の壁部分182に結合され得る。同様に、第2のバックライト組立体150bは、第2の光が第2の画像捕捉経路133bに沿って方向付けられるように、第2のカメラ組立体130bの反対側に配置され得る。例えば、第2のバックライト150bがバックライトハウジング部分180の第2の壁部分182に結合され得る。したがって、ロボットエンドエフェクタがハウジング160によって画定されるエンクロージャ内に配置される場合、第1のカメラ組立体130aおよび第2のカメラ組立体130bによって捕捉される画像データが後方から光を当てられ得る。いくつかの実施形態では、各々のカメラ組立体の専用のバックライトの代わりに、単一のバックライト組立体(例えば、フレキシブルLEDアレイのソリッドシート)がエンドエフェクタ較正組立体120に含まれるすべてのカメラ組立体の視角全体を包含することができることも企図される。カメラ140の組立体と同様に、1つまたは複数のバックライト組立体150が、より強力であるか、より集中的であるか、またはより多くの色を有するバックライトと容易に交換可能となり得る。したがって、1つまたは複数のバックライト組立体150は、迅速な交換性を得るためにバックライトハウジング部分180に容易に接続されたりまたはバックライトハウジング部分180から容易に外されたりされ得るモジュールユニットであってよい。
[0045]いくつかの実施形態では、背面照明に加えてまたは背面照明の代わりに、前景照明が実現されてもよいことが企図される。例えば、較正されているロボットエンドエフェクタに対して前景照明を実現するために、光源がカメラ組立体のうちの1つまたは複数のカメラ組立体の近傍に(例えば、隣に)配置され得る。1つまたは複数のバックライト150に関して後でより詳細に説明するように、前景照明および/または背面照明が、いずれも、特定のロボットエンドエフェクタのために多様な照明シナリオを実現するように多色ライト(例えば、LED)を使用することができる。種々の実施形態で、電子制御装置が、エンドエフェクタ較正組立体100内での照明効果を個別に制御するために、種々のバックライト組立体/フォアグラウンドライトにおいて個別のバックライト組立体/フォアグラウンドライトおよび/またはゾーンを制御することができる。したがって、より良好に照明を制御することで、エンドエフェクタ較正組立体100の中に配置されるロボットエンドエフェクタのより良好な画像捕捉を実現することができる。
[0046]ベースワイヤハウジング部分190がバックライトハウジング部分180のベースに接続されてチャンネル192を提供することができ、チャンネル192を通して、1つまたは複数のバックライト組立体150からのワイヤが主ハウジング部分170の中まで誘導される。ベースワイヤハウジング部分190が主ハウジング部分170に結合され得る。
[0047]第1のカメラ組立体130aおよび第2のカメラ組立体130bならびに1つまたは複数のバックライト組立体150からの配線が、主ハウジング部分170に結合される電力/データ・コネクタ195までルーティングされ得る。電力/データ・コネクタ195が、例えば、エンドエフェクタ較正組立体120を印刷ステージ20のスカート22に結合することができる。電力/データ・コネクタ195が、スカート22に結合され得る(例えば、固定具または同様の機械的結合手段を使用する)コネクタハウジング197を有することができる。スカート22内の開口部がエンドエフェクタ較正組立体120の電気/データ・ポート196(例えば、第1のカメラ組立体130aおよび第2のカメラ組立体130bのための電気/データ・ポート196、ならびに/あるいは1つまたは複数のバックライト組立体150のための電気/データ・ポート196)を露出することができる。電気/データ・ポート196が、第1のカメラ組立体130aおよび第2のカメラ組立体130bならびに1つまたは複数のバックライト組立体150に対しての電力供給を可能にすることができる。電気/データ・ポート196は図2に示される通信経路102の一部分のためのものであってもよく、電気制御装置104と第1のカメラ組立体130aおよび第2のカメラ組立体130bならびに1つまたは複数のバックライト組立体150との間のデータ交換性を可能にする。
[0048]図6が、電力/データ・コネクタ195を用いて印刷ステージ20のスカート22に組み付けられたエンドエフェクタ較正組立体120の正面図を示す。スカート22内の開口部がエンドエフェクタ較正組立体120の電気/データ・ポート196を露出することができる。電子制御装置104からの配線が、図1および2に示される電子制御装置104とエンドエフェクタ較正組立体120との間の通信を実現するために電気/データ・ポート196からルーティングされ得る。
[0049]図7A〜7Cが1つまたは複数の実施形態によるカメラ組立体130を示す。図7Aが正面斜視図を示し、図7Bが背面斜視図を示し、図7Cがカメラ組立体130の分解図を示す。第1のカメラ組立体130aおよび第2のカメラ組立体130bの各々の構造はカメラ組立体130に実質的に等しくてよい。しかし、カメラ組立体130の変形形態も企図され得、可能である。
[0050]図7A〜7Cをまとめて参照すると、カメラ組立体130が、カメラ組立体130の電子構成要素を収容するように構成されるカメラハウジング132を有することができる。カメラハウジング132が、メインボディ134、レンズカバー136、およびバックプレート138を有することができる。カメラ140(図3Cに示される)がカメラハウジング132内に収容される。カメラ140は、紫外線波長域、可視光線波長域、または赤外線波長域の放射線を検出することができる感知素子のアレイ(例えば、ピクセル)を有する任意のデバイスであってよい。カメラ140が任意の解像度を有することができる。いくつかの実施形態では、ミラー、魚眼レンズ、または任意の他の種類のレンズなどの、1つまたは複数の光学構成要素が、カメラ140に光学的に結合され得る。
[0051]図7Cを参照すると、カメラハウジング132のメインボディ134が、カメラ140を着座させる空洞131を画定することができる。例えば、示される実施形態では、メインボディ134が、その中でカメラ140を延在させることができる突出部分135を有する。したがって、ハウジング160のメインボディ134の中への挿入時、カメラ140のレンズ142が突出部分135内に着座することができ、それによりカメラ140のレンズ142に平行な平面の画像データを捕捉することができる。
[0052]カメラハウジング132が防水環境を提供することができ、その中でカメラ140が動作することができる。例えば、レンズカバー136が、不注意によるカメラ140の方への流体のしぶきからカメラ140を保護することができる。レンズカバー136が、例えばねじ係合を介して、メインボディ134の突出部分135に結合され得る。レンズカバー136が窓(例えば、透明ガラスまたはプラスチック、など)を提供することができ、この窓を通してカメラ140のレンズ142が画像データを捕捉することができる。いくつかの実施形態では、突出部分135がOリング溝137を有することができ、その結果、Oリングが、レンズカバー136とメインボディ134との間に流体シールを提供するように配置され得る。
[0053]継続して図7Cを参照すると、カメラ140がバックプレート138に設置され得る。例えば、カメラ140が、接着剤、固定具、または他の従来の結合テクニックを使用して、バックプレート138に設置され得る。図7Bを参照すると、カメラ140が、バックプレート138を通って延在する電気接続部144(例えば、USBベース、GIGeベース、またはイーサネットベース)を有することができる。電気接続部144が、図2に示される通信経路102を用いての接続および通信を可能にすることができる。バックプレート138が、固定具などを介してメインボディ134に結合され得る。第2のOリング溝139がバックプレート138とメインボディ134との間に形成され得、第2のOリング溝139の中にOリングが挿入され得る。Oリングがバックプレート138とメインボディ134との間に流体シールを提供することができる。カメラハウジング132が特定の形状を有するように示されているが、本開示の範囲から逸脱することなく他の形状が企図され、可能である、ことに留意されたい。
[0054]図8A〜8Cがバックライト組立体150の種々の図を示す。バックライト組立体150は上述した第1のバックライト組立体150aおよび第2のバックライト組立体150bと等しくてよい。図8Aが正面斜視図を示し、図8bが背面斜視図を示し、図8Cが分解図を示す。特に図8Cを参照すると、バックライト組立体150が、光ディフューザ152、光源154、バッキングプレート156、およびバックライト158を有することができる。いくつかの実施形態では、バックライト組立体150が、光源154を減光するための、光源154に通信可能に結合されるトリムポテンショメータを有することができる。
[0055]光ディフューザ152は、光源154からの光を光源154の特定のポイントに集中させないようにするために光を拡散または散乱させる任意の材料であってよい。いくつかの実施形態では、光ディフューザ152が不透明であってよい。
[0056]光ディフューザ152の後方に光源154が存在してよい。光源154は可視光を出力する任意のデバイスであってよい。いくつかの実施形態では、光源154が光源のアレイであってよい(例えば、LEDアレイ)。光源154が任意の有色光源を有することができる。いくつかの実施形態では、光源154が、第1のカメラ組立体130aおよび第2のカメラ組立体130bの感度を基準として個別に選択される色であってよい。例えば、第1のカメラ組立体130aおよび第2のカメラ組立体130bが、第1のカメラ組立体130aおよび第2のカメラ組立体130bの画像捕捉に干渉するような白色のアンビエント照明を回避するように青色光に対して感応性を有してよい。いくつかの実施形態では、第1のバックライト組立体150aの光源154(例えば、白色光源)が、第2のバックライト組立体150bの光源154(例えば、赤色光源)とは異なっていてよい。
[0057]バッキングプレート156が光源154を構造的に支持することができる。いくつかの実施形態では、バッキングプレート156が、バックライト組立体150によって出力された光を向上させるために反射性であってよい。
[0058]バックライトハウジング158がバックライト組立体150の種々の構成要素を構造的に支持することができ、エンドエフェクタ組立体120のバックライトハウジング部分180に結合され得る。例えば、バックライトハウジング158が、ねじ式固定具または接着剤などを使用してバックライトハウジング部分180に結合され得る。バックライトハウジング158が、バックライト組立体150の周りに液密シールを提供するためにOリングを挿入するためのOリング溝159を画定することができる。
[0059]図9Aおよび9Bが代替のバックライト組立体150’を示す。図9Aが正面斜視図を示し、図9Bが分解図を示す。示される実施形態では、バックライト組立体150’が、光ディフューザ152’(光ディフューザ152と同様)、光源154の代わりであるPCB LEDアレイ154’、およびバックライトハウジング158’(バックライトハウジング158と同様)を有する。したがって、PCB LEDアレイ154’がより一様なバックライトを提供することができる。
[0060]図10が、ロボットアーム110に結合されるロボットエンドエフェクタ114の位置を較正するための方法を描写するフローチャート200を示す。ステップが特定の順所で示されたり特定のステップ数で示されたりしているが、本開示の範囲から逸脱することなく、多様な順序でのより多くのまたはより少ないステップも企図され、可能である。この方法が、ステップ202で、第1の画像捕捉経路133a内にかつ第2の画像捕捉経路133b内に同時にロボットエンドエフェクタ114を配置することを含む。定位置にある状態で、この方法が、第1のカメラ組立体130aおよび第2のカメラ組立体130bを用いてエンドエフェクタの画像データを捕捉することを含むことができる。さらに、いくつかの実施形態では、上述したように、1つまたは複数のバックライト組立体150を用いてロボットエンドエフェクタに後方から光を当てるステップが含まれ得る。バックライトが、ロボットエンドエフェクタおよび背景の画像により良好なコントラストを提供することができる。図11Aおよび11Bが、ロボットアーム110の端部112に結合されるロボットエンドエフェクタ114を示す。エンドエフェクタ114の先端部116が、エンドエフェクタ較正組立体120によって画定されるエンクロージャ内に配置される。ステップ204で、この方法が、第1のカメラ組立体130aおよび第2のカメラ組立体130bから受信される画像データに基づいてロボットエンドエフェクタ114の位置を較正することをさらに含む。具体的には、ロボットエンドエフェクタ114の先端部116の位置が較正され得る。図12Aおよび12Bが、第1のカメラ組立体130aおよび第2のカメラ組立体130bからそれぞれ捕捉される画像データを示す。
[0061]ステップ206でロボットエンドエフェクタ114の位置を較正するために、電子制御装置104が第1のカメラ組立体130aからの画像データを処理して、第1の画像捕捉経路133aに対して垂直な第1の平面において(例えば、Y軸に沿って)ロボットエンドエフェクタ114の位置を判断することができる(例えば、エッジ認識処理を使用してロボットエンドエフェクタ114の先端部116の位置を判断することができる)。ステップ208で、電子制御装置104が、同様に、第2のカメラ組立体130bからの画像データを処理して、第2の画像捕捉経路133bに対して垂直な第2の平面において(例えば、X軸に沿って)ロボットエンドエフェクタ114の(例えば、ロボットエンドエフェクタ114の先端部116)の第2の位置を判断することができる。これらの位置が、上で考察したように、ロボットマニピュレータ113のTCPと共に記録され得る。次いで、このプロセスが、異なるTCPを用いて、複数回繰り返され得る(例えば、1回または複数回の繰り返し手順、2回以上の繰り返し手順、4回以上の繰り返し手順、10回以上の繰り返し手順、20回以上の繰り返し手順、30回以上の繰り返し手順、など)。つまり、ロボットエンドエフェクタ114の位置が第1の画像捕捉経路133a内でかつ第2の画像捕捉経路133b内で調整され得(ステップ210)、それにより、電子制御装置104によって計算および/または検索され得る新しいTCPが得られる。したがって、各々のTCPでの繰り返し手順において、第1の画像捕捉経路133a内でのかつ第2の画像捕捉経路133b内でのエンドエフェクタ114の位置が決定され得る。所定の回数の繰り返し手順の後(例えば、1回または複数回の繰り返し手順、2回以上の繰り返し手順、4回以上の繰り返し手順、10回以上の繰り返し手順、20回以上の繰り返し手順、30回以上の繰り返し手順、など)、電子制御装置によって数学的変換が決定され得、その結果、各TCPに対して変換が適用され、ロボット座標系でのロボットエンドエフェクタ114の得られるロケーションが決定され得る。したがって、電子制御装置104が、任意のTCPにおいてのロボットエンドエフェクタ114の正確なロケーションおよび向きを決定するための方程式を決定することができる。
[0062]いくつかの実施形態では、新しいロボットエンドエフェクタの装着後、ロボットエンドエフェクタの較正が自動で行われ得る。いくつかの実施形態では、較正が、ロボットアーム110およびロボットエンドエフェクタ114によって実施されるいかなる仕事よりも先に行われ得、それにより、動作前にロボットエンドエフェクタ114を適切に位置決めすることが保証される。
[0063]いくつかの実施形態では、ステップ212で、電子制御装置104が、エンドエフェクタの個別の種類を特定するために第1のカメラ組立体130aおよび第2のカメラ組立体130bから受信される画像データを処理することができる。したがって、電子制御装置104が、ツールの個別の特性を決定することにおいて有用となり得るようなエンドエフェクタの種類の個別の特徴を決定することが可能となり得る。例えば、電子制御装置104がツールの種類を特定することができ、ツールの摩損、不適切な装着、ツールの長さ、ツールの形状、表面汚染などを判断すること可能となり得る。
[0064]実施形態では、較正が、従来の較正テクニックよりも大幅に高速となり得る。例えば、いくつかの実施形態では、6次元の先端部の較正を実施するのに、較正が、30秒未満、20秒未満、または10秒未満で行われ得る。
[0065]以下の番号を付される項を参照して実施形態を説明することができ、ここでは従属する項に好適な特徴が明記される。
[0066]1.エンドエフェクタ較正組立体であって、このエンドエフェクタ較正組立体が:電子制御装置と;電子制御装置に通信可能に結合される第1のカメラ組立体と;電子制御装置に通信可能に結合される第2のカメラ組立体と、を備え、第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差し、電子制御装置が:第1のカメラ組立体から画像データを受信し;第2のカメラ組立体から画像データを受信し;第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正する。
[0067]2.項1のエンドエフェクタ較正組立体において、第1の画像捕捉経路が第2の画像捕捉経路と直角に交差するように方向付けられる。
[0068]3.項1のエンドエフェクタ較正組立体において、ハウジングをさらに備え、ハウジングが:第1の側壁と;第1の側壁に結合される第2の側壁とを備え、第1のカメラ組立体が第1の側壁に設置され;第2のカメラ組立体が第2の側壁に設置され、第1のカメラ組立体に対して直角となるように配置される。
[0069]4.項3のエンドエフェクタ較正組立体において、ハウジングが、開口部を通してエンドエフェクタを受けるように構成される開口部を有するエンクロージャを備える。
[0070]5.項1のエンドエフェクタ較正組立体において、第1の画像捕捉経路および第2の画像捕捉経路のうちの少なくとも一方の方に光を向けるように位置決めされる1つまたは複数のバックライト組立体をさらに備える。
[0071]6.項1のエンドエフェクタ較正組立体において、第1の光が第1の画像捕捉経路に沿って方向付けられるように、第1のカメラ組立体の反対側に配置される第1のバックライト組立体と;第2の光が第2の画像捕捉経路に沿って方向付けられるように、第2のカメラ組立体の反対側に配置される第2のバックライト組立体とをさらに備える。
[0072]7.項1のエンドエフェクタ較正組立体において、電子制御装置が、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいて特定のロボットエンドエフェクタを特定する。
[0073]8.エンドエフェクタ較正システムであって、このエンドエフェクタ較正システムが:電子制御装置と;電子制御装置に通信可能に結合されるロボットアームと;ロボットアームの端部に結合されるロボットエンドエフェクタと;電子制御装置に通信可能に結合される第1のカメラ組立体と;電子制御装置に通信可能に結合される第2のカメラ組立体とを備え、第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差し、電子制御装置が;ロボットエンドエフェクタを第1の画像捕捉経路および第2の画像捕捉経路の中に配置するようにロボットアームを移動させ;第1のカメラ組立体から画像データを受信し;第2のカメラ組立体から画像データを受信し;第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正する。
[0074]9.項8のエンドエフェクタ較正システムにおいて、電子制御装置が、ロボッドエンドエフェクタの複数の向きの画像データを捕捉するためにロボットアームを用いてロボットエンドエフェクタの位置を調整する。
[0075]10.項8のエンドエフェクタ較正システムにおいて、第1の画像捕捉経路が第2の画像捕捉経路と直角に交差するように方向付けられる。
[0076]11.項8のエンドエフェクタ較正システムにおいて、ハウジングをさらに備え、ハウジングが:第1の側壁と;第1の側壁に結合される第2の側壁とを備え、第1のカメラ組立体が第1の側壁に設置され;第2のカメラ組立体が第2の側壁に設置され、第1のカメラ組立体に対して直角となるように配置される。
[0077]12.項11のエンドエフェクタ較正システムにおいて、ハウジングが、開口部を通してエンドエフェクタを受けるように構成される開口部を有するエンクロージャを備える。
[0078]13.項8のエンドエフェクタ較正システムにおいて、第1の画像捕捉経路および第2の画像捕捉経路のうちの少なくとも一方の方に光を向けるように位置決めされる1つまたは複数のバックライト組立体をさらに備える。
[0079]14.項8のエンドエフェクタ較正システムにおいて、第1の光が第1の画像捕捉経路に沿って方向付けられるように、第1のカメラ組立体の反対側に配置される第1のバックライト組立体と;第2の光が第2の画像捕捉経路に沿って方向付けられるように、第2のカメラ組立体の反対側に配置される第2のバックライト組立体とをさらに備える。
[0080]15.項8のエンドエフェクタ較正システムにおいて、電子制御装置が、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいて特定のロボットエンドエフェクタを特定する。
[0081]16.ロボットエンドエフェクタの位置を較正するための方法であって、この方法が;ロボットエンドエフェクタを第1のカメラ組立体の第1の画像捕捉経路内および第2のカメラ組立体の第2の画像捕捉経路内に同時に配置することと;第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正することとを含む。
[0082]17.項16の方法において、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいてロボットエンドエフェクタの位置を較正することが:第1の画像捕捉経路に対して垂直な第1の平面においてロボットエンドエフェクタの第1の位置を判断するために第1のカメラ組立体からの画像データを処理することと;第2の画像捕捉経路に対して垂直な第2の平面においてロボットエンドエフェクタの第2の位置を判断するために第2のカメラ組立体からの画像データを処理することとを含む。
[0083]18.項17の方法において、第1の画像捕捉経路および第2の画像捕捉経路内でロボットエンドエフェクタの位置を調整することをさらに含む。
[0084]19.項17の方法において、1つまたは複数のバックライト組立体を用いてロボットエンドエフェクタに後方から光を当てることをさらに含む。
[0085]20.項19の方法において、第1のカメラ組立体および第2のカメラ組立体から受信した画像データに基づいて特定のロボットエンドエフェクタを特定することをさらに含む。
[0086]本開示の実施形態が、エンドエフェクタの較正の、組立体、システム、および方法を対象にすることを理解されたい。具体的には、エンドエフェクタ較正システムが、限定しないが、第1のカメラ組立体および第2のカメラ組立体を有することができ、第1のカメラ組立体の第1の画像捕捉経路が第2のカメラ組立体の第2の画像捕捉経路と交差する。第1および第2のカメラ組立体から受信される画像データが、電子制御装置により、ロボットエンドエフェクタの、また特にはロボットエンドエフェクタの先端部の、位置を迅速かつ効果的に較正するのを可能にすることができる。いくつかの事例では、電子制御装置がさらに、ツールの種類を認識することができ、それに応じて較正計算を調整することができる。また、いくつかの事例では、電子制御装置が、エンドエフェクタの摩損、ロボットアームに対してのロボットエンドエフェクタの適切な組み付け、またはロボットエンドエフェクタの他の特性を判断するために画像データを処理するように構成され得る。
[0087]「実質的に」または「約」という用語が、本明細書において、任意の定量的比較、値、測定、または他の表記法に起因する可能性のある固有の不確実性の程度を表すのに利用され得ることに留意されたい。これら用語はまた、本明細書において、検討する主題の基本的機能を変化させることなく、ある定量的表現が、記載される基準から逸脱する場合の許容される程度を表すのにも利用される。
[0088]本明細書で特定の実施形態を示して説明してきたが、特許請求される主題の精神および範囲から逸脱することなく、多様な他の変形形態および変更形態が作られ得ることを理解されたい。また、特許請求される主題の種々の態様が本明細書で説明されるが、これらの態様は組合せで利用されることを必要としない。したがって、添付の特許請求の範囲は、特許請求される主題の範囲内にあるようなすべての変形形態および変更形態を包含することが意図される。

Claims (20)

  1. エンドエフェクタ較正組立体であって、前記エンドエフェクタ較正組立体が:
    電子制御装置と;
    前記電子制御装置に通信可能に結合される第1のカメラ組立体と;
    前記電子制御装置に通信可能に結合される第2のカメラ組立体と、
    を備え、
    前記第1のカメラ組立体の第1の画像捕捉経路が前記第2のカメラ組立体の第2の画像捕捉経路と交差し、前記電子制御装置が:
    前記第1のカメラ組立体から画像データを受信し;
    前記第2のカメラ組立体から画像データを受信し;
    前記第1のカメラ組立体および前記第2のカメラ組立体から受信した前記画像データに基づいてロボットエンドエフェクタの位置を較正する、
    エンドエフェクタ較正組立体。
  2. 前記第1の画像捕捉経路が前記第2の画像捕捉経路と直角に交差するように方向付けられる、請求項1に記載のエンドエフェクタ較正組立体。
  3. ハウジングをさらに備え、前記ハウジングが:
    第1の側壁と;
    前記第1の側壁に結合される第2の側壁であって、
    前記第1のカメラ組立体が前記第1の側壁に設置される、
    第2の側壁と;
    を備え、
    前記第2のカメラ組立体が前記第2の側壁に設置され、前記第1のカメラ組立体に対して直角となるように配置される、
    請求項1に記載のエンドエフェクタ較正組立体。
  4. 前記ハウジングが、開口部を通して前記エンドエフェクタを受けるように構成される前記開口部を有するエンクロージャを備える、請求項3に記載のエンドエフェクタ較正組立体。
  5. 前記第1の画像捕捉経路および前記第2の画像捕捉経路のうちの少なくとも一方の方に光を向けるように位置決めされる1つまたは複数のバックライト組立体をさらに備える、請求項1に記載のエンドエフェクタ較正組立体。
  6. 第1の光が前記第1の画像捕捉経路に沿って方向付けられるように、前記第1のカメラ組立体の反対側に配置される第1のバックライト組立体と;
    第2の光が前記第2の画像捕捉経路に沿って方向付けられるように、前記第2のカメラ組立体の反対側に配置される第2のバックライト組立体と
    をさらに備える、請求項1に記載のエンドエフェクタ較正組立体。
  7. 前記電子制御装置が、前記第1のカメラ組立体および前記第2のカメラ組立体から受信した前記画像データに基づいて特定のロボットエンドエフェクタを特定する、請求項1に記載のエンドエフェクタ較正組立体。
  8. エンドエフェクタ較正システムであって、前記エンドエフェクタ較正システムが:
    電子制御装置と;
    前記電子制御装置に通信可能に結合されるロボットアームと;
    前記ロボットアームの端部に結合されるロボットエンドエフェクタと;
    前記電子制御装置に通信可能に結合される第1のカメラ組立体と;
    前記電子制御装置に通信可能に結合される第2のカメラ組立体と
    を備え、
    前記第1のカメラ組立体の第1の画像捕捉経路が前記第2のカメラ組立体の第2の画像捕捉経路と交差し、前記電子制御装置が;
    前記ロボットエンドエフェクタを前記第1の画像捕捉経路および前記第2の画像捕捉経路の中に配置するように前記ロボットアームを移動させ;
    前記第1のカメラ組立体から画像データを受信し;
    前記第2のカメラ組立体から画像データを受信し;
    前記第1のカメラ組立体および前記第2のカメラ組立体から受信した前記画像データに基づいて前記ロボットエンドエフェクタの位置を較正する、
    エンドエフェクタ較正システム。
  9. 前記電子制御装置が、前記ロボッドエンドエフェクタの複数の向きの画像データを捕捉するために前記ロボットアームを用いて前記ロボットエンドエフェクタの位置を調整する、請求項8に記載のエンドエフェクタ較正システム。
  10. 前記第1の画像捕捉経路が前記第2の画像捕捉経路と直角に交差するように方向付けられる、請求項8に記載のエンドエフェクタ較正システム。
  11. ハウジングをさらに備え、前記ハウジングが:
    第1の側壁と;
    前記第1の側壁に結合される第2の側壁であって、
    前記第1のカメラ組立体が前記第1の側壁に設置され;
    前記第2のカメラ組立体が前記第2の側壁に設置され、前記第1のカメラ組立体に対して直角となるように配置される、
    第2の側壁と、
    を備える、請求項8に記載のエンドエフェクタ較正システム。
  12. 前記ハウジングが、開口部を通して前記エンドエフェクタを受けるように構成される前記開口部を有するエンクロージャを備える、請求項11に記載のエンドエフェクタ較正システム。
  13. 前記第1の画像捕捉経路および前記第2の画像捕捉経路のうちの少なくとも一方の方に光を向けるように位置決めされる1つまたは複数のバックライト組立体をさらに備える、請求項8に記載のエンドエフェクタ較正システム。
  14. 第1の光が前記第1の画像捕捉経路に沿って方向付けられるように、前記第1のカメラ組立体の反対側に配置される第1のバックライト組立体と;
    第2の光が前記第2の画像捕捉経路に沿って方向付けられるように、前記第2のカメラ組立体の反対側に配置される第2のバックライト組立体と
    をさらに備える、請求項8に記載のエンドエフェクタ較正システム。
  15. 前記電子制御装置が、前記第1のカメラ組立体および前記第2のカメラ組立体から受信した前記画像データに基づいて特定のロボットエンドエフェクタを特定する、請求項8に記載のエンドエフェクタ較正システム。
  16. ロボットエンドエフェクタの位置を較正するための方法であって、前記方法が;
    前記ロボットエンドエフェクタを第1のカメラ組立体の第1の画像捕捉経路内および第2のカメラ組立体の第2の画像捕捉経路内に同時に配置するステップと;
    前記第1のカメラ組立体および前記第2のカメラ組立体から受信した画像データに基づいて前記ロボットエンドエフェクタの位置を較正するステップと
    を含む、
    方法。
  17. 前記第1のカメラ組立体および前記第2のカメラ組立体から受信した画像データに基づいて前記ロボットエンドエフェクタの位置を較正するステップが:
    前記第1の画像捕捉経路に対して垂直な第1の平面において前記ロボットエンドエフェクタの第1の位置を判断するために前記第1のカメラ組立体からの画像データを処理するステップと;
    前記第2の画像捕捉経路に対して垂直な第2の平面において前記ロボットエンドエフェクタの第2の位置を判断するために前記第2のカメラ組立体からの画像データを処理するステップと
    を含む、
    請求項16に記載の方法。
  18. 前記第1の画像捕捉経路および前記第2の画像捕捉経路内で前記ロボットエンドエフェクタの位置を調整するステップをさらに含む、請求項17に記載の方法。
  19. 1つまたは複数のバックライト組立体を用いて前記ロボットエンドエフェクタに後方から光を当てるステップをさらに含む、請求項17に記載の方法。
  20. 前記第1のカメラ組立体および前記第2のカメラ組立体から受信した前記画像データに基づいて特定のロボットエンドエフェクタを特定するステップをさらに含む、請求項19に記載の方法。
JP2020519698A 2017-10-06 2018-10-05 エンドエフェクタ較正の組立体、システム、および方法 Pending JP2020536753A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762568869P 2017-10-06 2017-10-06
US62/568,869 2017-10-06
PCT/US2018/054621 WO2019071133A1 (en) 2017-10-06 2018-10-05 END EFFECTOR CALIBRATION ASSEMBLIES, SYSTEMS, AND METHODS

Publications (1)

Publication Number Publication Date
JP2020536753A true JP2020536753A (ja) 2020-12-17

Family

ID=65993796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519698A Pending JP2020536753A (ja) 2017-10-06 2018-10-05 エンドエフェクタ較正の組立体、システム、および方法

Country Status (8)

Country Link
US (1) US11260531B2 (ja)
EP (1) EP3691841A4 (ja)
JP (1) JP2020536753A (ja)
KR (1) KR20200064095A (ja)
AU (1) AU2018346698A1 (ja)
CA (1) CA3078376A1 (ja)
IL (1) IL273807A (ja)
WO (1) WO2019071133A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
CN111590594B (zh) * 2020-06-22 2021-12-07 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06170768A (ja) * 1992-12-04 1994-06-21 Meidensha Corp ロボットの位置ずれ検出装置
JP2012035391A (ja) * 2010-08-11 2012-02-23 Kawada Kogyo Kk 作業ロボット用エンドエフェクタ交換装置およびその一部を具える作業ロボット
JP2016185572A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5374830A (en) * 1984-10-12 1994-12-20 Sensor Adaptive Machines, Inc. Target based determination of robot and sensor alignment
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
WO1998041610A2 (en) * 1997-03-17 1998-09-24 Canadian Space Agency Method and apparatus for automatically inoculating culture media with bacterial specimens from clinical specimen containers
US8180487B1 (en) 2008-09-30 2012-05-15 Western Digital Technologies, Inc. Calibrated vision based robotic system
US8406922B2 (en) 2009-07-31 2013-03-26 Fanuc Robotics America, Inc. System and method for setting the tool center point of a robotic tool
EP2722136A1 (en) 2012-10-19 2014-04-23 inos Automationssoftware GmbH Method for in-line calibration of an industrial robot, calibration system for performing such a method and industrial robot comprising such a calibration system
US9304338B2 (en) * 2012-11-01 2016-04-05 Apple Inc. Methods for assembling display structures
US9114534B2 (en) * 2013-01-14 2015-08-25 Matthew E Trompeter Robot calibration systems
US20140365006A1 (en) * 2013-06-07 2014-12-11 Matthew E. Trompeter Visual Datum Reference Tool
US10039219B1 (en) * 2015-09-28 2018-07-31 Western Digital Technologies, Inc. Method and devices for picking and placing workpieces into devices under manufacture using dual robots
JP6430986B2 (ja) 2016-03-25 2018-11-28 ファナック株式会社 ロボットを用いた位置決め装置
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06170768A (ja) * 1992-12-04 1994-06-21 Meidensha Corp ロボットの位置ずれ検出装置
JP2012035391A (ja) * 2010-08-11 2012-02-23 Kawada Kogyo Kk 作業ロボット用エンドエフェクタ交換装置およびその一部を具える作業ロボット
JP2016185572A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム

Also Published As

Publication number Publication date
IL273807A (en) 2020-05-31
WO2019071133A1 (en) 2019-04-11
AU2018346698A1 (en) 2020-04-23
EP3691841A1 (en) 2020-08-12
KR20200064095A (ko) 2020-06-05
EP3691841A4 (en) 2021-06-30
US20190105780A1 (en) 2019-04-11
CA3078376A1 (en) 2019-04-11
US11260531B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
KR102038396B1 (ko) 터치 프로브에 대하여 시각 시스템을 켈리브레이팅하기 위한 시스템 및 방법
EP3272473B1 (en) Teaching device and method for generating control information
US9916506B1 (en) Invisible fiducial markers on a robot to visualize the robot in augmented reality
EP2881705B1 (en) Accessory for coordinate measuring machine
US10380764B2 (en) System and method for performing vision system planar hand-eye calibration from straight line features
EP3173194A1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
JP2020536753A (ja) エンドエフェクタ較正の組立体、システム、および方法
ITTO990519A1 (it) Braccio articolato indipendente dal calcolatore principale
TW201414546A (zh) 電線分類機及分類電線的方法
JP2020138292A (ja) ロボットシステムおよび制御方法
US9979933B1 (en) Modular vision system
Utter et al. Open-source five degree of freedom motion platform for investigating fish-robot interaction
JP2012064175A (ja) 光学情報読取装置の照明設定支援装置
WO2017085811A1 (ja) ティーチング装置及び制御情報の生成方法
JP2020138293A (ja) ロボットシステムおよび制御方法
JP2020517966A (ja) 対象物を光学的に検査する検査装置、検査装置を備えた製造システム、及び、検査装置を用いて対象物を光学的に検査する方法
WO2021054059A1 (ja) 撮像装置
JPH0545117A (ja) 光学式3次元位置計測方法
Kiswanto et al. MicroEye: A low-cost online tool wear monitoring system with modular 3D-printed components for micro-milling application
JP2021050940A (ja) 撮像装置
US20220227002A1 (en) End effector, and control device for controlling end effector
JP7055883B2 (ja) ロボット
CN111300426B (zh) 一种高智能人型机器人感测头的控制系统
JP2003046297A (ja) 撮像システムおよび電気部品装着システム
JP2017213667A (ja) 位置決め装置及び穿孔装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240202