JP2006105782A - ロボットビジョンによる計測装置及びロボット制御装置 - Google Patents

ロボットビジョンによる計測装置及びロボット制御装置 Download PDF

Info

Publication number
JP2006105782A
JP2006105782A JP2004292829A JP2004292829A JP2006105782A JP 2006105782 A JP2006105782 A JP 2006105782A JP 2004292829 A JP2004292829 A JP 2004292829A JP 2004292829 A JP2004292829 A JP 2004292829A JP 2006105782 A JP2006105782 A JP 2006105782A
Authority
JP
Japan
Prior art keywords
robot
imaging unit
unit
image processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004292829A
Other languages
English (en)
Other versions
JP4137862B2 (ja
Inventor
Yoshiki Hashimoto
良樹 橋本
Minoru Enomoto
穣 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2004292829A priority Critical patent/JP4137862B2/ja
Priority to EP05021637.3A priority patent/EP1645373B1/en
Priority to US11/242,934 priority patent/US7817847B2/en
Priority to CNB2005101082565A priority patent/CN100408282C/zh
Publication of JP2006105782A publication Critical patent/JP2006105782A/ja
Application granted granted Critical
Publication of JP4137862B2 publication Critical patent/JP4137862B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)

Abstract

【課題】 視覚センサの撮像部を複数のロボットで付け替えて使用する場合の作業効率改善。
【解決手段】 可搬式操作部40から撮像指令をロボット制御装置11、ネットワーク回線30、トランシーバ6を介して無線で撮像部4に送り、計測対象物50を撮像する。画像データは無線でトランシーバ6に送られ、ネットワーク回線30を介してロボット制御装置11内の画像処理装置21で処理され、P1〜P3の3次元位置が計測され、ロボット1に対する計測対象物50の3次元相対位置姿勢が求められる。撮像部4をロボット2、3に着け替え、各対応する計測対象物について同様の計測を行なう。ネットワーク回線30と無線の利用でケーブル取り外し・接続作業が削減される。画像処理装置はロボット制御装置の外部に置き、ネットワークに組み込んでも良い。
【選択図】 図1

Description

本発明は、ロボットビジョンによる計測装置及びロボット制御装置に関し、例えば、ロボットのオフライン教示時におけるロボットと計測対象の相対位置姿勢と、実際のロボットにおけるロボットと計測対象の相対位置姿勢間の誤差を計測し、誤差を補正する際に有用な、ロボットビジョンによる計測装置並びに同計測装置に関連して使用されるロボット制御装置に関する。
ロボットのオフライン教示、シミュレーションで作成したプログラムを、実際のロボットに適用する場合、実際のロボットと周辺物体(諸機器等の計測対象)の相対位置とオフライン時の相対位置間に誤差が生じる。また、稼動中のロボットシステムを他の場所に移設する場合には、移設、設置の前後において、ロボットと周辺機器間の相対位置に誤差が生じる。このような誤差を測定し、補正等を行うために、ビジョンシステムを使用することがある。
このような目的で使用される従来のビジョンによる計測装置では、1台のロボットとロボット制御装置に対し、1台のカメラと画像処理装置が必要であり、もしも1台の画像処理装置を複数台のロボットで使用する場合には、ロボットに関連した所要の計測が完了する度に、カメラと画像処理装置をロボット制御装置から外し、次に計測が行なわれるロボットのロボット制御装置に接続し直す必要があった。そのため、ロボット毎にカメラと画像処理装置をロボット制御装置に再接続するに要する時間が嵩み、効率が悪くなっていた。また、カメラと画像処理装置間の接続もケーブルを使用しているので、このケーブルの接続にも手間がかかった。なお、このような問題を簡便に解決する技術を記載された公知文献は見当らない。
本発明の基本的な目的は、上記従来技術の問題点を解消することにある。即ち、本発明は、「ロボットと同ロボットとの3次元相対位置姿勢が計測される計測対象物」が複数組存在した場合でも、ロボット毎の3次元相対位置姿勢の計測を効率よく行うことができるようにし、また、そのことを通して、効率良く教示データ/プログラムの補正を行うことができるようにすることを企図している。
本発明は、計測するロボット毎にカメラと画像処理装置をロボット制御部に接続する手間を無くすことができるようなシステム構成をとることで、上記課題を解決するものである。本発明によれば、複数のロボット制御装置と画像処理装置及びカメラがネットワーク回線で接続され、1台のカメラの画像データを複数のロボット制御装置で共有できるようにする。また、画像を無線にて送信できるカメラを用いることで、カメラのケーブルをロボットに配線する手間を省き、より一層の省力化を達成可能とするものである。
より具体的に言えば、本発明は、先ず、ロボットのアーム、又は該アーム先端部に支持された作業ツールに撮像部が取付けられた視覚センサにより計測対象物の少なくとも3つの計測箇所の3次元位置を計測することにより前記ロボットと前記計測対象物の3次元相対位置姿勢を検出するロボットビジョンによる計測装置に適用される。
そして、請求項に記載された発明の特徴に従えば、前記視覚センサの画像処理部を内蔵するロボット制御装置がネットワーク回線により前記撮像部と接続されており、前記ロボット制御装置の可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から前記ネットワーク回線を経由して前記ロボット制御装置に転送する手段を備え、該転送された画像データが前記画像処理部で処理されるようになっている。
ここで、計測装置に更に、周期的に前記撮像部により画像データを取込んで前記ネットワーク回線を経由して前記ロボット制御部に送り、前記可搬式操作部に設けた表示部に表示する手段を設け、撮像部が捉えている対象をモニタできるようにすることもできる(請求項2)。
また、前記撮像部は、取込んだ画像データを前記ネットワーク回線に接続されたレシーバに無線で送信するように構成することもできる(請求項3)。
また、請求項4に記載された発明の特徴に従えば、前記撮像部とケーブルにより接続された画像処理部とロボット制御装置とがネットワーク回線で接続され、前記ロボット制御装置の可搬式操作部に対する操作により、前記撮像部が取込んだ画像データが前記画像処理部に送られて画像処理され、該画像処理結果が前記ネットワーク回線を経由して前記ロボット制御装置に転送される手段が設けられる。
ここで、周期的に前記撮像部により取込んだ画像データを前記画像処理部、及び前記ネットワーク回線を経由して前記ロボット制御部に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにすることができる(請求項5)。
また、前記撮像部は取込んだ画像データを前記画像処理部に接続されたレシーバに無線で送信するように構成することもできる(請求項6)。
以上、いずれの発明においても、前記視覚センサは、カメラによる画像処理を行う視覚センサであり、異なる複数位置での該カメラ画像から、計測箇所の3次元位置を求めるものであって良く、あるいは、3次元視覚センサであっても良い(請求項7、請求項8)。
また、前記ロボットとそれを制御するロボット制御装置が複数組あり、全ての該ロボット制御装置が前記ネットワーク回線に接続されており、いずれか1台のロボットのアーム、又は該アーム先端部の作業ツールに前記撮像部を取付けて計測を行うようにしても良い(請求項9)。
そして、本発明はロボット制御装置に適用することも可能であり、請求項10に記載されたロボット制御装置は、請求項1乃至請求項9の内、いずれか1項に記載された計測装置により得られた3次元相対位置に基づいて、前記ロボットの教示位置の補正を行う手段を備えていることを特徴としている。
本発明によれば、ロボット制御装置、画像処理装置及びカメラ(画像撮像部と画像レシーバ)の相互間(画像処理装置をロボット制御装置に内蔵しない場合)、あるいは、ロボット制御装置(但し、画像処理装置を内蔵)、画像処理装置及びカメラ(画像撮像部と画像レシーバ)の相互間がネットワーク回線で結ばれ、同ネットワーク回線を介して必要なデータの通信が行われるため、計測毎に必要だったケーブルの接続作業が削減される。また、更に視覚センサの撮像部(カメラ)で捉えた画像の伝達に無線を利用する方式を組み合わせて用いることで、複数のロボットで付け替えて使用する際に、撮像部(カメラ)に接続されるケーブルについて必要となっていたケーブルの接続作業も削減できる。
従って、ロボット毎における3次元相対位置の計測作業が効率化され、教示データ/プログラムの補正も迅速に行えるようになる。更に、本発明で計測に使用する画像処理装置には高速処理能力は不要であり、低性能の画像処理装置で十分なためロボット制御装置に内蔵させることも容易である。
図1は、本発明の第1の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示している。同図に示したように、システムは、複数(ここでは3台を例示)のロボット(実機)1〜3、それらロボットを夫々制御するロボット制御装置11〜13、ロボット1〜3のための動作プログラムをオフラインで作成し、シミュレーションを行なう機能を備えたロボットシミュレータ14を含んでいる。また、システムは、視覚センサを用いた計測装置を構成するために、撮像部(カメラ)4、トランシーバ6及び画像処理装置21〜23を備えている。
ここで、撮像部(カメラ)4とトランシーバ6は無線方式で信号をやりとりする公知のもので、符号5、7は夫々撮像部(カメラ)4及びトランシーバ6のアンテナ(送受信兼用)を表わしている。また、本実施形態では、画像処理装置21〜23は、公知の態様で各ロボット制御装置11〜13に内蔵されている。そして、トランシーバ6、ロボット制御装置11〜13及びロボットシミュレータ14は、ネットワーク回線30で結ばれている。また、ロボット制御装置11〜13に共通して使用できる可搬式操作部40が用意され、ロボット制御装置11〜13の内の任意の1つ(ここではロボット制御装置11を例示)に接続されている。
可搬式操作部40はLCD等を用いた表示部付のもので、オペレータ10の操作により、同可搬式操作部40が接続されたロボット制御装置(図示された状態ではロボット制御装置11)に対して動作指令を送り、対応するロボット(図示された状態ではロボット1)を動作させる機能の他、撮像部(カメラ)4に撮像動作とそれに続く画像データ送信を行なわせるための指令をロボット制御装置に送る機能を有している。更に、撮像部(カメラ)4により取得された画像は、可搬式操作部40の表示部上に表示することが可能になっている。
各ロボット1〜3の近傍には、それぞれ周辺機器等の計測対象物があり、各計測対象物について、各対応するロボット1〜3との3次元相対位置が計測される。但し、図示の都合上、図1ではロボット1に対応する計測対象物50のみを示し、ロボット2、3に対応する計測対象物は図示を省略した。ロボット2、3に対応する計測対象物は、ロボット1に対応する計測対象物50と一般には異なるものであるが、同じであっても構わない。
各ロボット1〜3とそれに対応する計測対象物について3次元相対位置の計測を行なう際には撮像部(カメラ)4による撮像が行なわれるが、ここで使用される撮像部(カメラ)4は1台のみである。従って、ロボット−計測対象物の組み合わせが替わる毎に、撮像部(カメラ)4の付け替えが行なわれる。
例えば、ロボット1、2、3の順序で各対応する計測対象物について3次元相対位置の計測を行なうとした場合、先ず、図示されているように、ロボット1のアームの先端部に撮像部(カメラ)4を装着した状態で、ロボット1と計測対象物50について3次元相対位置の計測が行なわれる。ロボット1と計測対象物50の組み合わせについての計測が完了したら、撮像部(カメラ)4をロボット1から取り外し、ロボット2のアームに装着する(破線4a参照)。
ロボット2と対応する計測対象物(図示省略)の組み合わせについての計測が完了したら、撮像部(カメラ)4をロボット2から取り外し、ロボット3のアームに装着する(破線4b参照)。ロボット3と対応する計測対象物(図示省略)の組み合わせについての計測が完了したら適宜、撮像部(カメラ)4をロボット3から取り外せば良い。
このように、本実施形態では、1台の撮像部(カメラ)4を順次別のロボットに付け替えて使用するのであるが、画像処理装置21〜23については、それぞれのロボット制御装置11〜13に内蔵されており、撮像部(カメラ)4との信号のやりとりは、それらロボット制御装置とネットワーク回線30で結ばれたトランシーバ6を介して行なわれる。従って、従来必要であった画像処理装置の接続変えに伴うケーブル取り外し・接続作業は不要となる。また、撮像部(カメラ)4のための制御信号、画像信号の伝達は無線方式で行なわれるので、撮像部(カメラ)4自身の接続変えに伴うケーブル取り外し・接続作業も不要となる。
各ロボット1〜3のアーム、又はその先端部に設けられた作業ツールに撮像部(カメラ)4を装着した状態で、各ロボット1〜3に対する各対応計測対象物(ロボット1には計測対象物50が対応;ロボット2、3については計測対象物の図示を省略)の3次元相対的位置姿勢が計測されるが、計測結果は、例えば各対応するロボット制御装置11〜13のメモリに一旦格納される。格納された3次元相対的位置姿勢データは、同じ計測対象物を作業対象とするロボットプログラムの教示点データの修正に利用できる。例えば、稼動中のロボットシステムを他の場所に移設する場合、移設の前後における各3次元相対的位置姿勢データから、移設前と同等のロボット作業を実現するために必要な教示点の補正量が同次変換行列の形で求められる。
また、ロボットシミュレータ14内で作成されたオフラインデータの修正、即ち、各ロボットとそれに対応する計測対象物を含むワークセルデータ及び同ワークセルを前提として作成されたオフラインプログラムの教示データの修正に利用でききる。なお、視覚センサを用いて、ロボットに対する計測対象物の3次元相対的位置姿勢を求める手順自体は周知である。例えばロボット1について言えば、計測対象物50の3点(一直線上に並ばない)P1、P2、P3を適当に選び、その3点の3次元位置を計測すれば、その3点が作る三角形P1P2P3の位置・姿勢が、そのロボットに対する計測対象物の3次元相対的位置姿勢を表すことになる。
図示されているように、撮像部(カメラ)4と画像処理装置を組み合わせたものを用いる場合、周知のように、異なる複数位置(ロボット位置)での画像から、各計測箇所(例えばP1〜P3)の3次元位置を求めることができる。また、例えばスリット光投光部を撮像部(カメラ)4に加えた周知の3次元視覚センサを用いる場合には、単一の位置の計測で各計測箇所(例えばP1〜P3)の3次元位置を求めることができることは言うまでもない。
なお、上記実施形態では、画像処理装置21〜23は、それぞれロボット制御装置11〜13に内蔵したが、ロボット制御装置の外部に画像処理装置を用意することもできる。その場合、画像処理装置は1台用意し、ネットワーク回線で各ロボット制御装置と結べば良い。そのようなシステム構成例を第2の実施形態として図2に示した。第2の実施形態の構成と機能は、外部の画像処理装置を複数のロボット制御装置で共用することに関連した事項を除けば第1の実施形態と同様である。
図2に示したように、システムは、複数(ここでは3台を例示)のロボット(実機)1〜3、それらロボットを夫々制御するロボット制御装置24〜26、ロボット1〜3のための動作プログラムをオフラインで作成し、シミュレーションを行なう機能を備えたロボットシミュレータ14を含んでいる。また、システムは、視覚センサを用いた計測装置を構成するために、撮像部(カメラ)4、トランシーバ6及び画像処理装置8を備えている。
第1の実施形態と同じく、撮像部(カメラ)4とトランシーバ6は無線方式で信号をやりとりする公知のもので、符号5、7は夫々撮像部(カメラ)4及びトランシーバ6のアンテナ(送受信兼用)を表わしている。画像処理装置8は例えばパーソナルコンピュータに所要のソフトウェアを装備した周知のもので、ネットワーク回線を介してトランシーバ6、各ロボット制御装置24〜26及びロボットシミュレータ14に接続さている。また、ロボット制御装置11〜13に共通して使用できる可搬式操作部40が用意され、ロボット制御装置24〜26の内の任意の1つ(ここではロボット制御装置24を例示)に接続されている。可搬式操作部40については、第1実施形態で使用したものと同様である。即ち、同可搬式操作部40の操作により、同可搬式操作部40が接続されたロボット制御装置(図示された状態ではロボット制御装置24)に対して動作指令を送り、対応するロボット(図示された状態ではロボット1)を動作させる機能の他、撮像部(カメラ)4に撮像動作とそれに続く画像データ送信を行なわせるための指令をロボット制御装置に送る機能を有している。更に、撮像部(カメラ)4により取得された画像は、可搬式操作部40の表示部上に表示することが可能になっている。
第1の実施形態の場合と同様に、各ロボット1〜3の近傍には、それぞれ周辺機器等の計測対象物があり、各計測対象物について、各対応するロボット1〜3との3次元相対位置が計測される。但し、図示の都合上、図1ではロボット1に対応する計測対象物50のみを示し、ロボット2、3に対応する計測対象物は図示を省略した。ロボット2、3に対応する計測対象物は、ロボット1に対応する計測対象物50と一般には異なるものであるが、同じであっても構わない。
各ロボット1〜3とそれに対応する計測対象物について3次元相対位置の計測を行なう際には撮像部(カメラ)4による撮像が行なわれるが、第2の実施形態においても使用される撮像部(カメラ)4は1台のみで、ロボット−計測対象物の組み合わせが替わる毎に、撮像部(カメラ)4の付け替えが行なわれる。撮像部(カメラ)4の付け替えについては、第1の実施形態で説明した通りなので、繰り返さないが、本実施形態でも、画像処理装置8については、撮像部(カメラ)4との信号のやりとりは、ネットワーク回線30で結ばれたトランシーバ6を介して行なわれるので、従来必要であった画像処理装置の接続変えに伴うケーブル取り外し・接続作業は不要となる。また、第1の実施形態の場合と同様に、撮像部(カメラ)4のための制御信号、画像信号の伝達は無線方式で行なわれるので、撮像部(カメラ)4自身の接続変えに伴うケーブル取り外し・接続作業も不要となる。
各ロボット1〜3のアーム、又はその先端部に設けられた作業ツールに撮像部(カメラ)4を装着した状態で、各ロボット1〜3に対する各対応計測対象物(ロボット1には計測対象物50が対応;ロボット2、3については計測対象物の図示を省略)の3次元相対的位置姿勢が計測される点も第1の実施形態と同様である。計測結果は、例えば各対応するロボット制御装置24〜26のメモリに一旦格納される。既述の通り、格納された3次元相対的位置姿勢データは、同じ計測対象物を作業対象とするロボットプログラムの教示点データの修正に利用できる。また、ロボットシミュレータ14内で作成されたオフラインデータの修正に利用できる。なお、視覚センサを用いて、ロボットに対する計測対象物の3次元相対的位置姿勢を求める手順も第1の実施形態と特に変わるところはない。但し、計測に必要な、画像処理は画像処理装置8内で行なわれ、処理結果が対応するロボット制御装置に送られる。計測対象物50の(一直線上に並ばない)3点(例えばP1、P2、P3)の3次元位置が計測され、その3点が作る三角形P1P2P3の位置・姿勢が、そのロボットに対する計測対象物の3次元相対的位置姿勢を表すことになることも第1実施形態と同様である。また、視覚センサとして撮像部(カメラ)4と画像処理装置を組み合わせたものを用いること、例えばスリット光投光部を撮像部(カメラ)4に加えた周知の3次元視覚センサを用いることいずれも可能であること、各計測箇所(例えばP1〜P3)の3次元位置の求め方などについては周知なのでこれ以上は述べない。
第1あるいは第2の実施形態で実行される計測関連処理の概要を記したフローチャートである。各ステップの要点を記せば次のようになる。
ステップS1;計測対象物に対応するロボットに撮像部(カメラ)4を装着する。例えば、計測対象物50(図1、図2参照)の計測から始めるとして、撮像部(カメラ)4をロボット1に装着する装着箇所は、既述の通り、ロボットのアーム先端部(又はアーム先端部に支持された作業ツール上)とする。
ステップS2;対応するロボット制御装置に画像を取り込むための設定を行なう。例えば、計測対象物50(図1、図2参照)の計測から始める場合は、ロボット制御装置11(第1実施形態の場合)あるいはロボット制御装置24(第2実施形態の場合)に画像を取り込むように設定を行なう。この設定は可搬式操作部40の画面入力で行えるようにしておく。
ステップS3;ロボットと撮像部(カメラ)の間の相対位置を求めるキャリブレーションを行なう。このようなキャリブレーション自体は周知なのでキャリブレーションの実行手順の説明は省略する。
ステップS4;計測のためのロボット位置決め回数を表わす指標nをn=1に初期設定する。
ステップS5;可搬式操作部40の画面で撮像画面をモニタしながらロボットを動かし、適当な位置でロボットを位置決めし、計測対象物の画像を取り込む。例えば、計測対象物50の画像データは、無線でトランシーバ6で受信され、ロボット制御装置11(第1実施形態の場合)あるいはパーソナルコンピュータ8(第2実施形態の場合)に取り込まれる。
ステップS6;対応するロボット制御装置に内蔵された画像処理装置(第1実施形態の場合)あるいはパーソナルコンピュータ8(第2実施形態の場合)内で画像処理を行なう。例えば点P1〜P3を抽出し、画像面での位置を求める。
ステップS7;n>2であればステップS9へ進む。n>2でなければステップS8へ進む。
ステップS8;指標nに1を加算して、ステップS5へ戻る。
ステップS9;計測対象物上の3点(計測対象物50の例ではP1〜P3)の3次元位置を求め、ロボットに対する計測対象物の3次元相対位置姿勢を計算する。
ステップS10;求められた3次元相対位置姿勢に基づいて、オフラインで教示したプログラム(ロボットシミュレータ14からロボット制御装置に転送)の教示点データを補正する。
以上でロボット−計測対象物の1つの組み合わせ(例えばロボット1と計測対象物50の組み合わせ)についての処理が終了する。次に、計測した次の組み合わせがあれば、前述のように撮像部(カメラ)4をその組み合わせのロボットに着け替えて、上記処理ステップS1〜S10を実行する。以下、同様に、順次撮像部(カメラ)4の着け替えと、上記処理ステップが繰り返す。
このようにして、実際のロボットと計測対象間の3次元相対位置姿勢を求めることができる。この3次元相対位置姿勢とオフライン教示時に使用した3次元相対位置姿勢間の誤差を求め、実際の教示プログラムを補正することができる。また、ロボットシステム移設時には、移設前後における移設、設置誤差を補正することができる。
さらに、計測した実際のロボットと計測対象間の3次元相対位置姿勢を利用して、シミュレータ上のパラメータを補正して、より正確なオフライン教示や別動作のオフライン教示、シミュレーションを行う事も可能となる。
本発明の第1の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示した図である。 本発明の第2の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示した図である。 第1あるいは第2の実施形態で実行される計測関連処理の概要を記したフローチャートである。
符号の説明
1〜3 ロボット
4 撮像部(カメラ)
5、7 アンテナ
6 トランシーバ
8 画像処理装置(パーソナルコンピュータ)
10 オペレータ
11〜13 ロボット制御装置(画像処理装置を内蔵)
14 ロボットシミュレータ
21〜23 画像処理装置(ロボット制御装置に内蔵)
24〜26 ロボット制御装置(画像処理装置を内蔵せず)
30 ネットワーク回線
40 可搬式操作部(教示操作盤)
50 計測対象物

Claims (10)

  1. ロボットのアーム、又は該アーム先端部に設けられた作業ツールに撮像部が取付けられた視覚センサにより計測対象物の少なくとも3つの計測箇所の3次元位置を計測することにより前記ロボットと前記計測対象物の3次元相対位置姿勢を検出するロボットビジョンによる計測装置において、
    前記視覚センサの画像処理部を内蔵するロボット制御装置がネットワーク回線により前記撮像部と接続されており、
    前記ロボット制御装置の可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から前記ネットワーク回線を経由して前記ロボット制御装置に転送する手段を備え、
    該転送された画像データが前記画像処理部で処理されることを特徴とする、ロボットビジョンによる計測装置。
  2. 周期的に前記撮像部により画像データを取込んで前記ネットワーク回線を経由して前記ロボット制御部に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにした、請求項1に記載のロボットビジョンによる計測装置。
  3. 前記撮像部は取込んだ画像データを前記ネットワーク回線に接続されたレシーバに無線で送信することを特徴とする、請求項1又は請求項2に記載のロボットビジョンによる計測装置。
  4. ロボットのアーム、又は該アーム先端部に設けられた作業ツールに撮像部が取付けられた視覚センサにより計測対象物の少なくとも3つの計測箇所の3次元位置を計測することにより前記ロボットと前記計測対象物の3次元相対位置姿勢を検出するロボットビジョンによる計測装置において、
    前記撮像部とケーブルにより接続された画像処理部とロボット制御装置とがネットワーク回線により接続されており、
    前記ロボット制御装置の可搬式操作部に対する操作により、前記撮像部が取込んだ画像データが前記画像処理部に送られて画像処理され、該画像処理結果が前記ネットワーク回線を経由して前記ロボット制御装置に転送される手段を備えたことを特徴とする、ロボットビジョンによる計測装置。
  5. 周期的に前記撮像部により取込んだ画像データを前記画像処理部、及び前記ネットワーク回線を経由して前記ロボット制御部に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにした、請求項4に記載のロボットビジョンによる計測装置。
  6. 前記撮像部は取込んだ画像データを前記画像処理部に接続されたレシーバに無線で送信することを特徴とする、請求項4又は請求項5に記載のロボットビジョンによる計測装置。
  7. 前記視覚センサが、カメラによる画像処理を行う視覚センサであり、異なる複数位置での該カメラ画像から、計測箇所の3次元位置を求めることを特徴とする、請求項1乃至請求項6の内いずれか1項に記載のロボットビジョンによる計測装置。
  8. 前記視覚センサが、3次元視覚センサであることを特徴とする、請求項1乃至請求項6の内いずれか1項に記載のロボットビジョンによる計測装置。
  9. 前記ロボットとそれを制御するロボット制御装置が複数組あり、全ての該ロボット制御装置が前記ネットワーク回線に接続されており、いずれか1台のロボットのアーム、又は該アーム先端部に設けられた作業ツールに前記撮像部を取付けて計測を行うことを特徴とする、請求項1乃至請求項8の内いずれか1項に記載のロボットビジョンによる計測装置。
  10. 請求項1乃至請求項9の内、いずれか1項に記載された計測装置により得られた3次元相対位置に基づいて、前記ロボットの教示位置の補正を行う手段を備えたことを特徴とする、ロボット制御装置。
JP2004292829A 2004-10-05 2004-10-05 計測装置及びロボット制御装置 Expired - Fee Related JP4137862B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004292829A JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置
EP05021637.3A EP1645373B1 (en) 2004-10-05 2005-10-04 Robot system with vision sensor
US11/242,934 US7817847B2 (en) 2004-10-05 2005-10-05 Robot system with vision sensor
CNB2005101082565A CN100408282C (zh) 2004-10-05 2005-10-08 具有视觉传感器的机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004292829A JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置

Publications (2)

Publication Number Publication Date
JP2006105782A true JP2006105782A (ja) 2006-04-20
JP4137862B2 JP4137862B2 (ja) 2008-08-20

Family

ID=35462123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004292829A Expired - Fee Related JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置

Country Status (4)

Country Link
US (1) US7817847B2 (ja)
EP (1) EP1645373B1 (ja)
JP (1) JP4137862B2 (ja)
CN (1) CN100408282C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720573B2 (en) 2006-06-20 2010-05-18 Fanuc Ltd Robot control apparatus
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
JP2014069306A (ja) * 2012-10-02 2014-04-21 Canon Inc ロボットシステム及び無線カメラ装置
JP2015013329A (ja) * 2013-07-04 2015-01-22 キヤノン株式会社 生産装置
JP2015013330A (ja) * 2013-07-04 2015-01-22 キヤノン株式会社 生産装置
JP2018106542A (ja) * 2016-12-27 2018-07-05 ファナック株式会社 作業計画装置
JP2018176420A (ja) * 2018-08-01 2018-11-15 キヤノン株式会社 ロボット制御方法、物品の製造方法、及びロボット装置
JP2019104093A (ja) * 2017-12-14 2019-06-27 ファナック株式会社 ロボットシステム
WO2024090490A1 (ja) * 2022-10-25 2024-05-02 株式会社アイシン 穴検査システム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961860B2 (ja) * 2006-06-27 2012-06-27 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
CN100432696C (zh) * 2006-06-27 2008-11-12 上海大学 基于仿生人眼控制的地面运动目标低空自动跟踪系统
US20100017026A1 (en) * 2008-07-21 2010-01-21 Honeywell International Inc. Robotic system with simulation and mission partitions
KR101524020B1 (ko) * 2009-03-06 2015-05-29 엘지전자 주식회사 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
US8600552B2 (en) * 2009-10-30 2013-12-03 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
JP4837116B2 (ja) * 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
US10475240B2 (en) * 2010-11-19 2019-11-12 Fanuc Robotics America Corporation System, method, and apparatus to display three-dimensional robotic workcell data
ITTO20110214A1 (it) * 2011-03-10 2012-09-11 Febo S R L Metodo e impianto di trasferimento per disporre un pezzo in un orientamento richiesto, e pinza di robot per tale impianto di trasferimento
JP2012223839A (ja) * 2011-04-15 2012-11-15 Yaskawa Electric Corp ロボットシステムおよびロボットシステムの駆動方法
CN102303314B (zh) * 2011-05-17 2013-07-24 北方工业大学 工业生产中的碳碗中心和导槽定位装置及其定位方法
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
JP6052576B2 (ja) * 2012-05-30 2016-12-27 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
CN103192404B (zh) * 2013-04-12 2016-01-13 安徽埃夫特智能装备有限公司 工业机器人视觉抓具
WO2014182707A2 (en) * 2013-05-06 2014-11-13 Iphoton Solutions, Llc Volume reconstruction of an object using a 3d sensor and robotic coordinates
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
US9724795B2 (en) * 2013-11-07 2017-08-08 Apex Brands, Inc. Tooling system with visual identification of attached component
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
CN105773619A (zh) * 2016-04-26 2016-07-20 北京光年无限科技有限公司 用于实现人形机器人抓取行为的电控系统和人形机器人
JP6348149B2 (ja) * 2016-07-08 2018-06-27 ファナック株式会社 ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム
CN106737683A (zh) * 2017-01-11 2017-05-31 吉林省凯迪科技有限公司 校正工业机器人离线编程在现场中的误差的方法
JP6434550B2 (ja) * 2017-02-06 2018-12-05 ファナック株式会社 可搬型ロボット
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
CN107471230A (zh) * 2017-09-30 2017-12-15 四川大学 一种叶片多机器人智能协同作业控制系统
JP6595558B2 (ja) * 2017-10-30 2019-10-23 ファナック株式会社 レーザ加工システム
US11478936B2 (en) * 2019-10-09 2022-10-25 Canon Kabushiki Kaisha Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
US11623305B2 (en) * 2020-10-16 2023-04-11 Verdant Robotics, Inc. Autonomous laser treatment system for agricultural objects
JP2022109392A (ja) 2021-01-15 2022-07-28 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
JP2548027B2 (ja) * 1988-06-30 1996-10-30 ファナック株式会社 アークビジョンセンサ操作方式
US5204942A (en) * 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
JP3012463B2 (ja) * 1993-12-22 2000-02-21 松下電工株式会社 組立装置
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
WO2000045229A1 (en) * 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
US6681151B1 (en) 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置
KR100483790B1 (ko) * 2002-03-22 2005-04-20 한국과학기술연구원 마이크로 조립용 다자유도 원격조종 로봇 시스템
CN100337796C (zh) * 2003-01-18 2007-09-19 新田株式会社 机器人系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720573B2 (en) 2006-06-20 2010-05-18 Fanuc Ltd Robot control apparatus
JP2014069306A (ja) * 2012-10-02 2014-04-21 Canon Inc ロボットシステム及び無線カメラ装置
JP2015013329A (ja) * 2013-07-04 2015-01-22 キヤノン株式会社 生産装置
JP2015013330A (ja) * 2013-07-04 2015-01-22 キヤノン株式会社 生産装置
US9278454B2 (en) 2013-07-04 2016-03-08 Canon Kabushiki Kaisha Production apparatus
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
JP2018106542A (ja) * 2016-12-27 2018-07-05 ファナック株式会社 作業計画装置
US10434648B2 (en) 2016-12-27 2019-10-08 Fanuc Corporation Task planning device
JP2019104093A (ja) * 2017-12-14 2019-06-27 ファナック株式会社 ロボットシステム
US10759053B2 (en) 2017-12-14 2020-09-01 Fanuc Corporation Robot system
JP2018176420A (ja) * 2018-08-01 2018-11-15 キヤノン株式会社 ロボット制御方法、物品の製造方法、及びロボット装置
WO2024090490A1 (ja) * 2022-10-25 2024-05-02 株式会社アイシン 穴検査システム

Also Published As

Publication number Publication date
EP1645373A2 (en) 2006-04-12
JP4137862B2 (ja) 2008-08-20
EP1645373A3 (en) 2012-11-21
EP1645373B1 (en) 2017-11-22
CN1757492A (zh) 2006-04-12
US7817847B2 (en) 2010-10-19
US20060072809A1 (en) 2006-04-06
CN100408282C (zh) 2008-08-06

Similar Documents

Publication Publication Date Title
JP4137862B2 (ja) 計測装置及びロボット制御装置
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
CN110154017B (zh) 输送机跟踪系统以及校准方法
JP2700965B2 (ja) 自動キャリブレーション方式
JP3733364B2 (ja) 教示位置修正方法
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
CN103770112A (zh) 机器人系统及加工件的制造方法
US20150127124A1 (en) Information processing system, information processing method, information processing apparatus, portable terminal, and control method and control program thereof
CN101092035A (zh) 机器人控制装置
US11090810B2 (en) Robot system
US20060025890A1 (en) Processing program generating device
US20050159842A1 (en) Measuring system
JP5523392B2 (ja) キャリブレーション装置及びキャリブレーション方法
JP2005074600A (ja) ロボット及びロボット移動方法
JP5538179B2 (ja) 画像処理装置及び画像処理方法
WO2020032211A1 (ja) データ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システム
US11691287B2 (en) Robot system
JP5573537B2 (ja) ロボットのティーチングシステム
EP3800007A1 (en) Eyeglass lens peripheral edge processing system and eyeglass lens peripheral edge processing program
JP6646034B2 (ja) ロボットシステム
JP2020037165A (ja) 動作プログラムの変数を監視するロボットの制御装置
CN112454392B (zh) 机器人控制装置
JP7095417B2 (ja) 制御システム、制御システムの制御方法、および制御システムのプログラム
CN114619233B (zh) 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
EP4279227A1 (en) Robot system and robot control method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R150 Certificate of patent or registration of utility model

Ref document number: 4137862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees